Red de Revistas Cientficas de Amrica Latina, el Caribe, Espaa y Portugal

Sistema de Informacin Cientfica

GARCA ROS, Rafael; IQDOCENT - Grupo de Innovacin Educativa de la Universitat de Valencia; Grupo de Trabajo del Practicum de Psicologa Diseo y utilizacin de rbricas en la enseanza universitaria: una aplicacin en la titulacin de Psicologa Electronic Journal of Research in Educational Psychology, vol. 10, nm. 28, 2012, pp. 1477-1492 Universidad de Almera Almeria, Espaa
Disponible en: http://www.redalyc.org/articulo.oa?id=293124654024

Electronic Journal of Research in Educational Psychology, ISSN (Versin electrnica): 1696-2095 jfuente@ual.es Universidad de Almera Espaa

Cmo citar?

Nmero completo

Ms informacin del artculo

Pgina de la revista

www.redalyc.org
Proyecto acadmico sin fines de lucro, desarrollado bajo la iniciativa de acceso abierto

Diseo y utilizacin de rbricas en la enseanza universitaria: una aplicacin en la titulacin de Psicologa

GARCA ROS, Rafael1; IQDOCENT - Grupo de Innovacin Educativa de la Universitat de Valencia2; y Grupo de Trabajo del Practicum de Psicologa3
Departamento de Psicologa Evolutiva y de la Educacin, Universitat de Valncia 2 Grupo de Innovacin Educativa, Universitat de Valncia 3 Grupo de Trabajo del Practicum del Grado de Psicologa, Universitat de Valncia
1

Espaa

Rafael Garca-Ros. Departamento Psicologa Evolutiva y de la Educacin. Facultad Psicologa. Universitat Valncia. Blasco Ibez, 21. 46010-Valencia. Email: Rafael.Garcia@uv.es.
2

Grup de Innovaci i Qualitat Docent. Grupo consolidado de innovacin de la Universitat de Valncia. Rafael Garca-Ros (coordinador), Mara.C. Fuentes, Esperanza Gonzlez, Gabriel Molina, Luis Moya, Luis Natividad, Josefa Prez-Blasco, Francisco Prez-Gonzlez, Mara F. Rodrigo y Paz Viguer. Web grupo: sites.google.com/ site/iqdocentuveg/
3

Grupo de trabajo Practicum. M. Teresa Corts (Vicedecana de Practicum), Vicenta vila, Marian Benedito, Laura Dolz, Teresa Cervera, Conrado Fernndez, Rafael Garca-Ros y Purificacin Snchez. ___________________ Correspondencia: Rafael Garca Ros. Departamento Psicologa Evolutiva y de la Educacin. Facultad Psicologa. Universitat Valncia. Blasco Ibez, 21. 46010-Valencia. Email: Rafael.Garcia@uv.es.

Education & Psychology I+D+i and Editorial EOS (Spain)

Rafael Garca Ros et al.

Resumen
Este trabajo presenta los resultados del proyecto de innovacin ARA-Rubrics, dirigido al diseo y validacin de rbricas para la evaluacin y desarrollo de competencias en la titulacin de Psicologa. De forma ms especfica, se han elaborado rbricas centradas en tres aspectos esenciales en el desempeo acadmico y profesional de los egresados de la titulacin de psicologa: indagacin cientfica anlisis y elaboracin de informes cientficos segn normativa de la American Psychology Association-, desarrollo de presentaciones orales con apoyo visual y competencias bsicas en el practicum de la titulacin. Los resultados se discuten en trminos de sus repercursiones instruccionales en el seno de las titulaciones universitarias.

Palabras Clave: Rbricas, innovacin, mtodos evaluacin, enseanza universitaria

Recibido: 23/05/12

Aceptacin inicial: 06/06/12

Aceptacin final: 16/11/12

- 1478 -

Electronic Journal of Research in Educational Psychology, 10(3), pp: 1477-1492. ISSN: 1696-2095. 2012, no. 28

Diseo y utilizacin de rbricas en la enseanza universitaria: Una aplicacin en la titulacin de Psicologa

Designing and using rubrics in higher education: an innovation project in the Psychology degree

Abstract
This paper presents the results of the innovation project ARA-Rubrics, which was led to the design and validation of rubrics for the assessment and development of some skills in the degree in Psychology. More specifically, rubrics have been developed focusing on three key aspects in academic and professional psychology: scientific inquiry -analysis and scientific reporting in accordance with regulations of the American Psychology Association-, development of oral presentations and visual aids basic skills, and competences in the practicum of the degree. The results are discussed in terms of their instructional implications.

Keywords: Rubrics, innovation, assessment methods, higher education

Received: 05/23/12

Initial acceptance: 06/06/12

Final acceptance: 11/16/12

Electronic Journal of Research in Educational Psychology, 10(3), pp: 1477-1492. ISSN: 1696-2095. 2012, no. 28

- 1479 -

Rafael Garca Ros et al.

Introduccin Las rbricas constituyen herramientas de evaluacin no convencionales que pueden definirse como guas para evaluar la calidad de las elaboraciones y el nivel de ejecucin alcanzado por los estudiantes en una amplia variedad de tareas complejas (p.e., el anlisis de la adecuacin de un artculo cientfico, el desarrollo de investigaciones y la comunicacin de sus resultados a travs de un informe, el desarrollo de presentaciones orales con apoyo visual), que difcilmente pueden ser evaluadas a travs de tcnicas de evaluacin convencionales, dado que implican considerar un amplio rango de posibles respuestas y de elaboraciones satisfactorias (Struyven, Dochy y Janssens, 2005). Numerosos autores y los propios estudiantes universitarios- suelen argumentar que las rbricas tambin pueden servir para fines instruccionales mucho ms relevantes, ya que permiten (a) utilizar la evaluacin como un recurso para promover el aprendizaje activo, la puesta en marcha de procesos cognitivos de alto nivel y la adquisicin de competencias, (b) facilitar los criterios de ejecucin a alcanzar en la realizacin de las tareas, favoreciendo el desarrollo de las habilidades de autorregulacin y autoevaluacin de las propias elaboraciones, (c) recibir retroalimentacin especfica sobre cmo mejorar los niveles de ejecucin y, (d) facilitar al profesorado informacin de los resultados de aprendizaje que van alcanzando los estudiantes (Garca-Ros, 2011).

Sin embargo, pese a la amplitud de investigaciones, materiales y recursos web disponibles sobre la elaboracin de rbricas, su utilizacin todava resulta escasa en el contexto universitario. Ms especficamente, mientras que los estudiantes suelen valorar positivamente su utilizacin (Garca-Ros y Prez-Gonzlez, 2011a), se observan numerosas resistencias a su aplicacin entre el profesorado universitario. Resistencias que pueden ser atribuidas a las controversias existentes sobre su posible fiabilidad y validez o, tal como sealan diversos autores, a la escasa formacin del profesorado universitario sobre estas metodologas y herramientas de evaluacin (Reddy y Andrade, 2010). En cualquier caso, la investigacin ha constatado que su utilizacin puede promover un aprendizaje de mayor calidad en la enseanza secundaria y universitaria, facilitando que los estudiantes focalicen su atencin y esfuerzos sobre los criterios de bondad en la elaboracin de los proyectos de trabajo, promoviendo una autoevaluacin mucho ms precisa y ajustada de sus elaboraciones o permitiendo al profesorado ofre-

- 1480 -

Electronic Journal of Research in Educational Psychology, 10(3), pp: 1477-1492. ISSN: 1696-2095. 2012, no. 28

Diseo y utilizacin de rbricas en la enseanza universitaria: Una aplicacin en la titulacin de Psicologa

cer juicios ms vlidos sobre el nivel de adquisicin de competencias y proporcionando retroalimentacin de mayor calidad (Jonsson y Svingby, 2007).

Desde esta perspectiva, el propsito general de este trabajo es presentar el proceso de desarrollo y validacin de diversas rbricas dirigidas a facilitar la adquisicin y evaluacin de competencias en la titulacin de Psicologa (indagacin cientfica, presentaciones orales con apoyo visual y competencias profesionales en el Practicum de la titulacin) en el marco del proyecto ARA-Rubrics (Evaluacin de Resultados de Aprendizaje: Las rbricas como instrumento de evaluacin en la enseanza universitaria). De forma ms especfica, la pretensin del citado proyecto ha sido (a) desarrollar un conjunto de rbricas, compartido entre todo el profesorado de la titulacin, que permita unificar los criterios a considerar en su evaluacin y, especialmente, los aspectos sobre los que centrar la atencin al disear y desarrollar las actividades de aprendizaje en que se ven implicadas estas competencias, (b) proporcionar herramientas que permitan evaluar su evolucin y desarrollo a lo largo de los distintos cursos acadmicos, facilitando la determinacin de los niveles y estandards de ejecucin en los distintos criterios considerados a travs de la titulacin y, (c) promover una mayor coordinacin y coherencia entre los objetivos, actividades y criterios de evaluacin considerados por el profesorado en el diseo de experiencias de aprendizaje en las distintas materias del grado.

En esta lnea, y siguiendo los principios destacados en la investigacin previa sobre cmo incrementar la utilidad, adecuacin y eficacia instruccional de este tipo de herramientas (Andrade, 2005; Tierney y Marielle, 2004), en las rbricas desarrolladas, se han especificado los siguientes aspectos:

- Criterios de evaluacin a considerar para evaluar las elaboraciones de los estudiantes (p.e., Apoyo visual: relevancia y adecuacin de las imgenes, grafos y esquemas util izados). - Niveles de ejecucin de cada criterio (inadecuado, bsico/a mejorar, adecuado y muy adecuado), graduados en funcin de su adecuacin. - Descripcin de los niveles de ejecucin de forma clara, reflejando las diferencias entre los mismos.

Electronic Journal of Research in Educational Psychology, 10(3), pp: 1477-1492. ISSN: 1696-2095. 2012, no. 28

- 1481 -

Rafael Garca Ros et al.

- Estrategia de calificacin. Valoracin cuantitativa para cada criterio y nivel de ejecucin, permitiendo efectuar una valoracin analtica (criterio a criterio) y holstica (sumatorio de las puntuaciones obtenidas en todos los criterios).

A continuacin se describen las tres rbricas desarrolladas en el marco del proyecto de trabajo, las competencias acadmicas y profesionales a las que se vinculan cada una de ellas y el proceso seguido en su elaboracin. Se podr comprobar cmo el proceso de validacin de las mismas se encuentra en fases diferentes: La rbrica dirigida a desarrollar y evaluar las competencias relativas a presentaciones orales con apoyo visual ha sido validada a travs de su utilizacin en el aula y de las valoraciones efectuadas por los propios estudiantes, as como de la convergencia entre su aplicacin entre estudiantes y profesorado para evaluar presentaciones en el aula (Garca-Ros, 2011). La rbrica dirigida a evaluar competencias de indagacin cientfica ha sido desarrollada a partir de la adaptacin de trabajos previos efectuados en el contexto norteamericano, a travs de la discusin de las mismas y acuerdo entre profesorado de las distintas reas de conocimiento implicadas en el Grado de psicologa (Halonnen, Bosack, Clay, McCarthy, Hill, McEntarffer, Mehrotra, Nesmith, Weaber y Whitlock, 2009; Stellmack, Konheim-Kalskstein, Manor, Massey y Schmitz, 2009; Thaler, Kazemi y Huscher, 2009). Por ltimo, la que se encuentra en una fase ms incipiente es la rbrica dirigida a evaluar las memorias de prcticum del Grado de Psicologa en la Universitat de Valncia puesto en marcha en este mismo curso-, que especifica los criterios y niveles de ejecucin considerados y acordados por profesorado experto en este mbito, siempre siguiendo las competencias especificadas en el plan de estudios del citado ttulo, y que tambin est siendo considerada en universidades y titulaciones muy diversas (p.e., Estap-Dubreil, Rullan, Lpez, Pons y Tena, 2012)

Desarrollo de una rbrica para evaluar competencias de indagacin cientfica

Un aspecto fundamental en el desarrollo de cualquier investigacin es dar a conocer cmo se ha realizado ese estudio, as como los resultados y conclusiones derivados del mismo. El informe de investigacin representa el medio ms reconocido de satisfacer este objetivo, haciendo posible que otras personas distintas a las que han participado en su realizacin puedan conocer, valorar y replicar esa investigacin. Ahora bien, el contenido de un informe de investigacin puede adoptar diversas formas (entrega para una asignatura, trabajo de fin de grado, tesis de mster, comunicacin en un congreso, artculo en una revista cientfica) y
- 1482 Electronic Journal of Research in Educational Psychology, 10(3), pp: 1477-1492. ISSN: 1696-2095. 2012, no. 28

Diseo y utilizacin de rbricas en la enseanza universitaria: Una aplicacin en la titulacin de Psicologa

cada una puede seguir unos patrones especficos en su confeccin. Ante esta variabilidad, se ha generalizado entre la comunidad cientfica el uso de una serie de pautas relativas a qu hay que contar y cmo hay que contarlo, cuyo principal cometido ha sido favorecer la lectura de los informes de investigacin independientemente de quien los haya escrito. As, por ejemplo, en el mbito de la Psicologa hay un nmero muy importante de revistas en que se pide que los trabajos que se enven para ser evaluados, sigan en su redaccin el Manual de Publicaciones de la APA (American Psychological Association, 2009).

De lo anterior se deriva que una competencia cientfica bsica a adquirir por parte de los estudiantes es aplicar esas pautas y recomendaciones a la hora de analizar, difundir o publicar un informe de investigacin, pues una parte importante de su desarrollo profesional se va a basar en una formacin continuada basada en la revisin de los trabajos cientficos, as como en la realizacin de estudios que van a implicar la redaccin de informes en que se describan los resultados obtenidos. En este sentido, la existencia de una rbrica orientada a evaluar de forma clara y explcita las pautas a seguir en la elaboracin de un informe de investigacin resulta especialmente til para la adquisicin de este tipo de competencia cientfica, pues permite desarrollar tanto la capacidad para evaluar de forma objetiva y crtica la calidad de aquello que lean, como la capacidad para redactar informes de investigacin que se ajusten al estndar cientfico y, en ltimo trmino, interiorizar los aspectos bsicos de la aplicacin del mtodo cientfico. Desde esta perspectiva, la elaboracin de rbricas dirigidas a facilitar la evaluacin y desarrollo de las competencias de indagacin cientfica en la titulacin de Psicologa ha centrado el inters de distintos investigadores en los ltimos aos.

En esta lnea, partiendo de los criterios del Manual de Publicaciones de la APA, Thaler el al. (2009) desarrollan una rbrica para evaluar distintos proyectos de trabajo de las materias metodolgicas del Departamento de Psicologa de la Universidad de California (aplicacin de principios metodolgicos, utilizacin de tcnicas estadsticas, ajuste de las presentaciones a las normas APA y habilidades de comunicacin escrita). Tras la seleccin aleatoria de 55 trabajos de estudiantes, constatan una adecuada fiabilidad interjueces en sus valoraciones a travs de la rbrica (correlacin promedio de .68). Los autores enfatizan la importancia de promocionar el desarrollo y validacin de estas herramientas, as como la necesidad de promover su utilizacin compartida entre distintas universidades.

Electronic Journal of Research in Educational Psychology, 10(3), pp: 1477-1492. ISSN: 1696-2095. 2012, no. 28

- 1483 -

Rafael Garca Ros et al.

En esta misma lnea, Stellmack et al. (2009) tambin evalan la fiabilidad y validez de una rbrica dirigida a evaluar la aplicacin de las normas APA en las elaboraciones de los estudiantes de la titulacin de Psicologa en la Universidad de Minnesota. Tras seleccionar aleatoriamente 40 elaboraciones de los estudiantes y valorarlas a travs de la rbrica, consideraron dos procedimientos distintos para estimar los acuerdos entrejueces (tres profesores distintos) e intrajueces (valoracin del trabajo y valoracin posterior tras dos semanas por el mismo juez) para cada uno de los ocho criterios considerados en la rbrica. El acuerdo interjueces alcanz un valor de kappa de .84 utilizando un criterio laxo (existencia de acuerdo en un criterio cuando la valoracin difiere como mximo un nivel) y de .33 con un criterio conservador (acuerdo en un criterio cuando la valoracin es idntica), otorgando puntuaciones finales muy consistentes entre ellos. Los resultados para el acuerdo intrajueces alcanz el 98% con el criterio laxo y el 78% con el criterio estricto.

Por ltimo, Halonnen et al. (2009) tambin elaboran una rbrica para describir y evaluar el progreso de las habilidades cientficas en la titulacin de Psicologa, proporcionando un ejemplo sobre cmo aplicarla en un proyecto de la materia de Historia de la Psicologa. Los autores enfatizan la utilidad de este tipo de herramientas para promover un aprendizaje activo, facilitar el desarrollo de competencias cientficas, mejorar el desarrollo metacognitivo, as como para evaluar y enriquecer la calidad formativa de las titulaciones.

Siguiendo las directrices de estos trabajos, y tomando como punto de partida las rbricas desarrolladas en los mismos, se elabor una nueva rbrica dirigida a evaluar este tipo de competencias en Psicologa. Tras su anlisis por los componentes del grupo de innovacin, se discuti en tres sesiones de trabajo la estructura, organizacin y contenido especfico a considerar en la rbrica hasta llegar a la versin final desarrollada. A destacar que el grupo de trabajo est integrado por profesorado de los distintos departamentos universitarios del grado de psicologa, as como que estas competencias son especficas de las materias de Metodologa de Ciencias del Comportamiento, pero tambin de carcter transversal para el resto de reas de conocimiento, niveles y materias del plan de estudio (p.e., anlisis y valoracin de artculos cientficos, planteamiento de informes y proyectos de trabajo e investigacin, elaboracin de trabajo final de grado). La versin final de la rbrica desarrolada integra 17 criterios diferentes a considerar en el anlisis o elaboracin de un trabajo cientfico siguiendo la normativa APA (vase en la tabla 1 un criterio relativo a la seccin Mtodo, y en el anexo 1 la rbrica completa en relacin a los apartados Resumen e Introduccin).
- 1484 Electronic Journal of Research in Educational Psychology, 10(3), pp: 1477-1492. ISSN: 1696-2095. 2012, no. 28

Diseo y utilizacin de rbricas en la enseanza universitaria: Una aplicacin en la titulacin de Psicologa

Tabla 1. Rbrica de evaluacin de competencias de indagacin cientfica: Ejemplo de criterio de evaluacin y descripcin de niveles de ejecucin del mismo
Criterio Adecuado (2) - Explica de forma clara y completa los pasos seguidos en la investigacin. Descripcin del Procedimiento -Destaca cmo se manipula la variable independiente y cmo se mide la dependiente. - No se observan saltos ni lagunas en el procedimiento seguido ni en su explicacin. - Se describen suficientemente las condiciones experimentales. - Se destacan o parafrasean las instrucciones y cuestiones utilizadas con los participantes. A mejorar (1) El nivel de detalle hace difcil replicar el estudio. No queda totalmente claro cmo se ha realizado el estudio. Su descripcin salta de un punto a otro o La seccin contiene informacin no relevante para el procedimiento. Inadecuado (0) Faltan muchos detalles del procedimiento que imposibilitan replicar e estudio. La descripcin del procedimiento carece de sentido o no dispone de orden /lgica clara. o La manipulacin y medida de las variables no queda clara.

Desarrollo de una rbrica para evaluar habilidades de presentacin oral en contextos universitarios La determinacin de elaborar una rbrica dirigida a evaluar y promover este tipo de competencias se bas en los resultados y conclusiones de recientes investigaciones con estudiantes de nuevo acceso a la universidad, que repetidamente manifiestan niveles de autoeficacia extremadamente bajos respecto a hablar en pblico, analizar variables, clculos matemticos-estadsticos y adecuacin de soluciones y manejar el estrs que generan las situaciones acadmicas (Garca-Ros y Prez-Gonzlez, 2011b). La rbrica desarrollada considera 14 criterios diferentes organizados en tres bloques -principios bsicos y aplicacin, habilidades de comunicacin y apoyo visual- para la evaluacin de este tipo de proyectos de trabajo (Garca-Ros, 2011). A continuacin, en la tabla 2 se presenta un ejemplo de criterio de evaluacin relativo al desarrollo de apoyos visuales en las presentaciones.

Electronic Journal of Research in Educational Psychology, 10(3), pp: 1477-1492. ISSN: 1696-2095. 2012, no. 28

- 1485 -

Rafael Garca Ros et al.

Tabla 2. Rbrica para evaluar presentaciones orales con apoyo visual: Ejemplo de criterio de evaluacin y descripcin de niveles de ejecucin del mismo
Criterio Muy adecuado (3) Todas tienen relacin con el tema y conexin con el discurso, facilitan que la audiencia comprenda el material y resultan amenas/atraen la atencin Adecuado (2) Todas tienen relacin con el tema y facilitan que la audiencia comprenda el material, aunque algunas adolecen de amenidad o no estn conectadas con el discurso A mejorar (1) Aunque la mayora de ellas estn relacionadas con el tema, no favorecen su comprensin ni la motivacin de la audiencia Inadecuado (0) Incorpora diapositivas no pertinentes , no facilita la comprensin ni motivacin de la audiencia.

Apoyo visual: Adecuacin de diapositivas

Los resultados destacan la elevada convergencia entre la aplicacin de la rbrica por el profesorado y por los propios estudiantes para evaluar las presentaciones efectuadas por sus compaeros. De forma ms concreta, se obtuvo un nivel de asociacin muy elevado entre las calificaciones derivadas de su aplicacin por el profesor y por los pares ( r = .89, p < .001), aunque mostrando un promedio ligeramente superior las valoraciones efectuadas por estos ltimos. Adicionalmente, los estudiantes destacaron su utilidad para clarificar y conocer mejor los criterios de valoracin del proyecto de trabajo realizado, desarrollar unas expectativas ajustadas sobre el nivel de ejecucin a alcanzar, planificar el desarrollo de sus presentaciones y evaluar la adecuacin de los productos resultantes. Adicionalmente, los estudiantes destacaron que la rbrica constituye una herramienta vlida y fiable para evaluar este tipo de proyectos, que permite evaluar competencias importantes para el ejercicio profesional y que facilita desarrollar habilidades que utilizarn en situaciones futuras (Garca-Ros, 2011).

Desarrollo de una rbrica para evaluar informes de practicum

En los ltimos aos se ha impulsado desde la Conferencia de Decanos de Psicologa la coordinacin en la planificacin y desarrollo de las propuestas instruccionales relativas al practicum de la titulacin. En esta lnea, se han ido efectuando diversas reuniones de trabajo entre los vicedecanos y responsables de practicum para acordar las competencias prioritarias en el campo profesional que deban ser objeto de evaluacin especfica en el desarrollo del practicum, as como los criterios, herramientas y fuentes de informacin a considerar.

- 1486 -

Electronic Journal of Research in Educational Psychology, 10(3), pp: 1477-1492. ISSN: 1696-2095. 2012, no. 28

Diseo y utilizacin de rbricas en la enseanza universitaria: Una aplicacin en la titulacin de Psicologa

Este ltimo curso se cre un grupo de trabajo en la Facultad de Psicologa de la Universitat de Valncia, constituido por un grupo de profesores de las distintas reas de conocimiento implicadas y con amplia experiencia previa como tutores de practicum, dirigido a concretar todas estas cuestiones (la implantacin efectiva del practicum del grado de Psicologa en nuestra universidad se efectuar en el curso acadmico 2012-13 y en Logopedia en el curso 2013-14), as como a desarrollar una rbrica, ajustada a las caractersticas del centro y de las titulaciones en nuestra universidad, dirigida a evaluar los informes elaborados por los estudiantes.

Tabla 3. Competencias especficas a evaluar por los tutores acadmicos en el informe de practicum del grado de Psicologa
E1- Saber analizar necesidades y demandas de los usuarios en diferentes contextos, determinando las metas de las actuaciones a realizar E3- Ser capaz de analizar, planificar y realizar una entrevista (tcnicas cualitativas de recogida de informacin) E4- Ser capaz de describir y medir variables (personalidad, inteligencia y otras aptitudes, actitudes, etc.) y procesos cognitivos, emocionales, psicobiolgicos y conductuales E5- Ser capaz de diagnosticar, siguiendo los criterios propios de la profesin E7- Saber describir y medir los procesos de interaccin, la dinmica y la estructura grupal e intergrupal E11- Saber analizar el contexto donde se desarrollan las conductas individuales, los procesos grupales y organizacionales E15- Ser capaz de definir los objetivos, elaborar el plan de la intervencin en funcin del propsito de la misma (prevencin, tratamiento, rehabilitacin, insercin, acompaamiento...) y saber elegir las tcnicas de intervencin psicolgica adecuadas para alcanzar los objetivos E 26- Ser capaz de elaborar informes orales y escritos, mostrando un razonamiento crtico E 27-Ajustarse a las obligaciones deontolgicas de la Psicologa

Electronic Journal of Research in Educational Psychology, 10(3), pp: 1477-1492. ISSN: 1696-2095. 2012, no. 28

- 1487 -

Rafael Garca Ros et al.

Tabla 4. Rbrica para la valoracin del informe de practicum: Ejemplo de criterio de evaluacin y descripcin de niveles de ejecucin del mismo.
Competencias Criterios Inadecuado(0) No enuncia propuestas de mejora y se limita a describir las actividades realizadas Bsico(1) Identifica propuestas de mejora referidas a conceptos o principios (saber qu) y procedimientos (saber cmo) Satisfactorio(2) Identifica propuestas de mejora referidas a conceptos o principios (saber qu), a procedimientos (saber cmo) y las relaciona con dimensiones actitudinales (saber estar/ser) Avanzado(3) Identifica propuestas de mejora referidas a conceptos o principios (saber qu) y a procedimientos (saber cmo) y las relaciona con dimensiones actitudinales (saber estar/ser) y con sus necesidades de formacin futura

Identifica propuestas de mejora en las actividades desarrolladas. E15, E21, T20

Las tareas bsicas desarrolladas por este equipo de trabajo han consistido en (a) discutir y seleccionar las competencias especficas y generales a considerar en la valoracin de las memorias del practicum vanse en la tabla 3 la seleccin de competencias especficas-, (b) definir los criterios e indicadores para valorar la adquisicin de las correspondientes competencias, (c) especificar los niveles y estndares de ejecucin a considerar en cada uno de los criterios vase en la tabla 4 un ejemplo- y, (d) efectuar una propuesta de estructura, organizacin y contenidos a considerar en la elaboracin de las memorias que faciliten la consideracin e integracin de estos aspectos.

De este modo, a travs de la rbrica se pretende: (a) coordinar y homogeneizar los criterios de evaluacin utilizados por los tutores acadmicos del practicum del grado de psicologa en la valoracin de las memorias de los estudiantes; (b) ofrecer a estos ltimos una gua externa manifiesta que permita identificar los criterios y niveles de evaluacin a los que deben responder, facilitando la autorregulacin de su actividad (planificacin, desarrollo y evaluacin) y una autoevaluacin realista de su trabajo y, (c) proporcionar una herramienta que facilite la evaluacin formativa y proporcionar retroalimentacin ajustada al nivel de ejecucin de los estudiantes.

- 1488 -

Electronic Journal of Research in Educational Psychology, 10(3), pp: 1477-1492. ISSN: 1696-2095. 2012, no. 28

Diseo y utilizacin de rbricas en la enseanza universitaria: Una aplicacin en la titulacin de Psicologa

Conclusiones

El objetivo bsico de este trabajo ha sido presentar los resultados del proyecto de innovacin ARA-Rubrics dirigido al desarrollo y validacin de rbricas dirigidas a facilitar la adquisicin y evaluacin de diversas competencias de la titulacin de Psicologa. Coincidiendo con los resultados y conclusiones de la investigacin previa en contextos universitarios (Garca-Ros, 2011; Reddy y Andrade, 2010), los estudiantes perciben estas herramientas como especialmente tiles para distintos propsitos instruccionales: clarificar los requisitos que deben cumplir sus elaboraciones, centrar la atencin en los elementos a considerar y regular el desarrollo de las mismas, facilitar una autoevaluacin realista y mejorar la calidad de la retroalimentacin que se recibe del profesorado. De este modo, en este trabajo tambin se pretende enfatizar su consideracin como guas instruccionales para el desarrollo de las actividades acadmicas y proyectos de trabajo, as como su utilidad como soporte para la revisin y retroalimentacin a proporcionar a los estudiantes, y no slo como herramientas para calificar la calidad de sus elaboraciones finales (Stellmack, Keenan, Sandidge, Sippl, Konheim-Kalstein, 2012).

Por otro lado, mencin especial cabe ofrecer a la importancia que los estudiantes conceden a que las rbricas sean acordadas y compartidas entre todo el profesorado que plantea actividades similares. La investigacin previa tambin ha incidido en esta cuestin, concluyendo que los estudiantes pueden llegar a percibir las rbricas ms como una herramienta para satisfacer las demandas de un profesor concreto que como una representacin de los criterios de calidad en la realizacin de los proyectos de trabajo (Andrade y Du, 2005). As, slo la coordinacin del profesorado y la unificacin de criterios sobre qu y cmo evaluar las competencias permitir centrar los esfuerzos en facilitar la adquisicin y progresin en las mismas, as como determinar los niveles y estndares de ejecucin a lo largo de los estudios universitarios.

En cualquier caso, la tarea no ha acabado aqu. En lo que respecta a las rbricas relativas a competencias de indagacin cientfica y practicum, quedan pendientes cuestiones como analizar la fiabilidad intrajueces e interjueces en la aplicacin de las mismas para valorar las elaboraciones de los estudiantes, comprobar su utilidad para promover un aprendizaje de mayor calidad facilitando que los estudiantes autorregulen su propio trabajo y autoevalen de forma realista sus propias elaboraciones, o comprobar la consistencia entre los criterios que

Electronic Journal of Research in Educational Psychology, 10(3), pp: 1477-1492. ISSN: 1696-2095. 2012, no. 28

- 1489 -

Rafael Garca Ros et al.

utilizan profesores y estudiantes en su aplicacin. A todas ellas pretenden dar respuesta distintas acciones emprendidas en la actualidad, cuyo objetivo bsico es experimentar la adecuacin y funcionamiento de las rbricas desarrolladas en distintos niveles y materias de la titulacin.

Referencias American Psychological Association (2009). Publication Manual of the American Psychological Association (6 ed.). New York: Autor. Andrade, H. (2005). Teaching with rubrics: The Good, the Bad, and the Ugly. College teaching, 53 (1), 27-31. doi:10.3200/CTCH.53.1.27-31 Andrade, H. y Du, Y. (2005). Student perspectives on rubric-referenced assessment. Practical Assessment, Research & Eval., 10(3). http://pareonline.net/getvn.asp?v=10&n=3. Estap-Dubreil, G., Rullan, M., Lpez, C., Pons, J. y Tena, D. (2012). Rbricas y evaluacin de competencias en los TFG. Un paso atrs para saltar. VII Conferencia Internacional de Docencia Universitaria i Innovaci. Barcelona, 2012. Garca-Ros, R. (2011). Anlisis y validacin de una rbrica para evaluar habilidades de presentacin oral en contextos universitarios. Electronic Journal of Research in Educational Psychology, 9, 1043-1062. Garca-Ros, R., y Prez-Gonzlez (2011a). Assessment preferences of preservice teachers: analysis according to academic level and relationship with learning styles and motivational orientation. Teaching in Higher Education, 16, 719-731.

doi:10.1080/13562517.2011.570434 Garca-Ros, R., y Prez-Gonzlez (2011b).Transicin a la universidad: Dimensiones motivacionales, expectativas y problemticas de los estudiantes de nuevo acceso. Trabajo de investigacin no publicado. Vicerrectorado de Estudios: Universitat de Valncia. Halonnen, J. S.,Bosack, T., Clay, Sh., McCarthy, M., Dunn, D. S., Hill, G. W., McEntarffer, R., Mehrotra, Ch., Nesmith, R., Weaber, K. A. y Whitlock, K. (2009). A rubric for learning, teaching, and assessing scientific inquiry in Psychology. Teaching of Psychology, 30, 196-208. doi:10.1207/S15328023TOP3003_01 Jonsson, A. y Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences. Educational Research Review, 2, 130-144.

doi:10.1016/j.edurev.2007.05.002
- 1490 Electronic Journal of Research in Educational Psychology, 10(3), pp: 1477-1492. ISSN: 1696-2095. 2012, no. 28

Diseo y utilizacin de rbricas en la enseanza universitaria: Una aplicacin en la titulacin de Psicologa

Reddy, Y. M. y Andrade, H. (2010). A review of rubric use in higher education. Assessment and Evaluation in Higher Education, 35, 435-448. doi:10.1080/02602930902862859 Stellmack, M. A., Konheim-Kalskstein, Y., Manor, J., Massey, A. R. y Schmitz, J. A. (2009). An assessment of reliability and validity of a rubric for grading APA-style introductions. Teaching of Psychology, 36, 102-107. doi:10.1080/00986280902739776 Stellmack, M.A., Keenan, N.K., Sandidge, R.R., Sippl, A.L., Konheim-Kalstein, Y.L. (2012). Review, revise and resubmit: The effects of self-critique, peer review, and instructor feedback on student writing. Teaching of Psychology, 39, 235-244. doi: 10.1177/0098628312456589. Struyven, K., Dochy, F. y Janssens, S. (2005). Students perceptions about evaluation and assessment in higher education: A review. Assessment and Evaluation in Higher Education, 30, 325-341. doi:10.1080/02602930500099102 Thaler, N., Kazemi, E. y Huscher, C. (2009). Developing a rubric to assess student learning outcomes using a class assignment. Teaching of Psychology, 36, 113-116. doi:10.1080/00986280902739305 Tierney, R. y Marielle S. (2004). What's still wrong with rubrics: focusing on the consistency of performance criteria across scale levels. Practical Assessment, Research & Evaluation, 9 (2). http://pareonline.net/getvn.asp?v=9&n=2

Electronic Journal of Research in Educational Psychology, 10(3), pp: 1477-1492. ISSN: 1696-2095. 2012, no. 28

- 1491 -

Rafael Garca Ros et al.

Anexo 1. Rbrica sobre competencias indagacin cientfica (evaluacin de la aplicacin normas APA): Apartados relativos a resumen e introduccin del trabajo.
Resumen Adecuado (3) Integra un resumen conciso (mx. 150 palabras) que destaca: -El contexto de la investigacin -Su metodologa bsica -Los principales resultados obtenidos -Las conclusiones de la investigacin Adecuado (3) -Describe claramente estudios previos con suficiente nivel de detalle para que una persona no familiarizada con el tema pueda entenderlo -Se destacan las limitaciones o puntos dbiles de los estudios previos cuando resulta necesario -Se apoyan los argumentos con citas cuando es necesario. -Se definen claramente los trminos cuando es necesario. El trabajo especifica con claridad - por qu se debe estudiar este tema - su fundamentacin y aportes respecto a estudios previos. -Aporta una descripcin general de la investigacin (lo que se va a hacer) sin detalles metodolgicos exhaustivos. -Quedan claras las variables (p.e., identifica VI y VD) - La hiptesis es clara y contiene trminos definidos operativamente. - El trabajo est organizado de forma lgica con un argumento coherente. - Utiliza transiciones para conectar las ideas y enlazar los prrafos. - La hiptesis surge de forma lgica de la argumentacin e investigacin previa. -Incluye al menos cinco fuentes evaluadas por pares -Todas las fuentes estn relacionadas con el tema y citadas en el trabajo Aceptable (2) Algunos aspectos estn incompletos o resultan poco claros. A mejorar (1) Faltan muchos elementos necesarios. Inadecuado (0) No existe o su informacin no resulta til.

Introduccin Revisin de la literatura y apoyo a los argumentos

Aceptable (2) Algunos aspectos de la revisin estn incompletos o son poco claros O Se presenta informacin irrelevante sobre la literatura revisada.

A mejorar (1) La revisin de la literatura es poco clara o incompleta, hasta tal punto que una persona no familiarizada con el tema tiene dificultad para entenderla.

Inadecuado (0) La descripcin de las fuentes utilizadas es poco clara o incompleta O No hay revisin de la literatura previa.

Objetivo del estudio

Descripcin del estudio y la hiptesis

No explica de forma clara o convincente las razones, fundamentacin y aportaciones del estudio. Se describen estudio y e hiptesis, aunque de forma poco clara.

Incluye parte de esta informacin, pero hay elementos importantes que no se incorporan. Falta la descripcin del estudio o la hiptesis.

No se incluye informacin al respecto.

Faltan ambos elementos.

Organizacin general y lgica

Fuentes

Al trabajo le falta de organizacin y fluidez lgica O la hiptesis surge de forma lgica de la argumentacin aunque la conexin no se expresa claramente. Una de las fuentes es irrelevante O una de las cinco fuentes requeridas no ha sido evaluada por pares O una fuente citada no est en las referencias

-La falta de organizacin y/ o fluidez lgica, hace difcil seguir el trabajo - La hiptesis no emerge de la argumentacin.

Inadecuadas organizacin y fluidez lgica. Las ideas no estn conectadas. Sin argumentacin clara. Falta una de las cinco fuentes requeridas O todas las fuentes son irrelevantes O las cinco fuentes requeridas no han sido evaluadas por iguales O falta la pgina de referencias

Ms que una fuente es irrelevante O ms que una (2-4) de las requeridas no han sido evaluadas por pares O ms que una fuente citada no est en las referencias O una de las referencias no se menciona en el trabajo

- 1492 -

Electronic Journal of Research in Educational Psychology, 10(3), pp: 1477-1492. ISSN: 1696-2095. 2012, no. 28