El USO DE RBRICAS PARA LA EVALUACIN EN LOS CURSOS EN LNEA1

MEd. Ida Virginia Fallas Monge Universidad Estatal a Distancia Costa Rica

Resumen del contenido

Una de las mayores dificultades que enfrentan los facilitadores de los cursos en lnea, es la necesidad de contar con herramientas que les permitan evaluar el desempeo del estudiante en forma objetiva y consistente. Los foros de discusin de manera particular, presentan un reto ya que se debe considerar no solo la cantidad de intervenciones del estudiante, sino ante todo la calidad de dichas participaciones. Adems se debe tomar en cuenta el tipo de aporte y su pertinencia, por ejemplo se debe analizar si el estudiante es generador de ideas o si ms bien responde a las iniciativas de los otros participantes. En este contexto, las rbricas pueden convertirse en una herramienta til para estudiantes y educadores. Las rbricas a semejanza de las listas de cotejo permiten valorar el aprendizaje, los conocimientos y las competencias, logrados por el estudiante en un trabajo o actividad particular; pero a diferencia de las segundas, estas plantillas establecen una gradacin o unos niveles de la calidad de los diferentes criterios con los que se puede desarrollar un objetivo, una competencia, un contenido o cualquier otro tipo de tarea que se lleve a cabo en el proceso de aprendizaje. En este taller se orienta al facilitador del curso en lnea sobre la manera en la cual puede utilizar las rbricas para evaluar y retroalimentar el trabajo de los estudiantes en un curso virtual.

Introduccin Hoy en da se podra decir que el nmero de universidades que no cuentan con cursos total o parcialmente en lnea es sumamente bajo. An instituciones cuya tradicin de aos ha sido la presencialidad, estn buscando alternativas que les permitan incorporar la virtualidad dentro de sus sistemas de educacin. Se estima que las empresas relacionadas con la industria de la educacin en lnea tendrn un crecimiento anual del 70%, de acuerdo con la firma de anlisis de mercado estadounidense International Data Corporation ( IDC.) A su vez se pronostica que el volumen de negocios que la educacin a travs de Internet registrar en el ao 2005, ser de 23,000 millones de dlares, lo que representa un enorme crecimiento comparado con los 1,700 millones reportados en 1999.

Ponencia presentada en la Conferencia Internacional de Educacin a Distancia, San Juan Puerto Rico, Agosto, 2005.

Esta amplia oferta de cursos en lnea, va acompaada de una necesidad de establecer reglas para estandarizar los requisitos mnimos de calidad de estos programas. Como una iniciativa en este sentido, ocho comisiones acreditadoras en los Estados Unidos, han propuesto una serie de lineamientos denominados Las mejores prcticas para los grados acadmicos ofrecidos en modalidad electrnica, con la finalidad de crear un marco de calidad para la educacin en lnea. Estos lineamientos procuran ayudar a las instituciones educativas en el planeamiento de actividades de educacin a distancia y sirven como marco de referencia para la autoevaluacin de dichos programas. En el reporte mencionado se describen cinco aspectos que se deben considerar para desarrollar un programa de educacin en lnea de calidad: contexto y compromiso institucional, currculo e instruccin, apoyo al docente, apoyo al estudiante y finalmente evaluacin y retroalimentacin. Esta ponencia se enmarca dentro de la ltima rea indicada. La evaluacin en nuestros das demanda una mayor atencin, dado que las nuevas prcticas de enseanza en lnea, requieren un nuevo modelo de evaluacin tanto del desempeo del estudiante como del programa mismo.

Evaluacin y retroalimentacin
En el nuevo paradigma educativo, dnde se est dando un cambio en el nfasis de la enseanza centrada en el maestro, hacia el aprendizaje centrado en el estudiante, es fundamental que la evaluacin sea parte integral del proceso, aportando informacin til para estudiantes, profesores e instituciones, propiciando la discusin sobre las dificultades detectadas en el aprendizaje con el propsito de poner en marcha acciones correctivas y siendo aplicada de forma continua a lo largo de todo el proceso. Correctamente entendido, el papel primario de la evaluacin es obtener informacin til, que le permita al estudiante saber en todo momento, si va por el camino adecuado para alcanzar las metas acadmicas que se le han propuesto. Dicha informacin le permitir, ya sea por s slo, o con la gua del educador, conocer sus deficiencias y sus fortalezas, y le posibilitar la bsqueda de actividades o estrategias que le permitan superar las primeras y sacar ventaja de las segundas. Por lo tanto, no se debe entender la evaluacin como la distribucin de pruebas al final de un periodo para asignar calificaciones y determinar quienes aprueban y quines no aprueban. De acuerdo con Zabala (2000) el peso de los exmenes convencionales en la evaluacin de los alumnos universitarios es segn su propia opinin, abrumador. Adems, ms de dos de cada tres consideran que, para superarlos, el aprendizaje memorstico es clave, o mejor an, la clave, y que buena parte de lo aprendido se olvida pronto. Los profesores por su parte confirman que las pruebas escritas convencionales, son la base de la evaluacin de los alumnos universitarios. An cuando

sealan una utilizacin minoritaria de otros tipos de procedimientos como pruebas objetivas, sobre todo, trabajos individuales, en grupo, etc., el peso relativo que dentro del proceso evaluador tienen las pruebas convencionales es siempre mayor. La investigacin ha demostrado que los diferentes tipos de aprendices requieren distintos niveles de apoyo y que el tipo de apoyo que se le brinde al estudiante puede determinar su xito en el aprendizaje a distancia (Ally & Fahy, 2002). En este sentido la evaluacin del aprendizaje ms que un elemento coercitivo, debe convertirse en una herramienta de retroalimentacin que le permita al estudiante tener claro los estndares de desempeo que se esperan en las distintas tareas y descubrir los aspectos especficos en los cuales debe poner un mayor esfuerzo. Por todo lo anterior, al considerar el aspecto de la evaluacin en lnea, lo primero que debe quedar claro es que sera absurdo repetir los mismos esquemas cuestionados en el modelo tradicional; ms bien, esto ambientes de aprendizaje virtual deberan brindarnos una oportunidad para replantearnos el tema de la evaluacin en general y propiciar una bsqueda de modelos alternativos para la valoracin de los aprendizajes.

Foros de discusin
En los cursos en lnea, los foros de discusin, se convierten en herramientas que nos brindan grandes posibilidades para la construccin del conocimiento. En sus orgenes el foro o Comitium era el lugar en el que se reuna el Senado de la antigua Roma y donde se presentaba a debate un tema que era a continuacin pblicamente discutido por los presentes. En Internet los foros de mensajes o foros de discusin constituyen una aplicacin tecnolgica que le da soporte a las discusiones en lnea. Su origen se remonta a los aos 1980 y 1990 cuando alcanzaron gran popularidad los sistemas de noticias BBS (Bulletin Board System) y la denominada Usenet. Los foros proveen uno de los mejores medios de comunicacin entre los miembros de una comunidad en Internet, ya que se convierten en el lugar de expresin, opinin y consulta de los integrantes de la misma, potenciando la comunicacin y posibilitando el contacto y conocimiento entre los mismos. En el foro se colocan temas de inters que generan un intercambio entre los participantes de la comunidad, quienes aportan sus opiniones, intervienen respondiendo a los comentarios de otros participantes, sugieren material de consulta, difieren en sus puntos de vista, etc. Estos foros generalmente cuentan con un moderador que orienta la discusin, y procura mantenerla interesante. La experiencia ha mostrado que una de las claves del xito de los foros reside en la calidad de la pregunta que se proponga o el inters que el tema propuesto despierte en la comunidad. En este sentido, los foros no deberan

abrirse simplemente para completar temas del currculo, donde se propone un nuevo contenido para su discusin. Si se desea que el foro sea una herramienta generadora de ideas y de puntos de vista divergentes, la forma en la cul se plantee la pregunta o el tema de discusin debe ser cuidadosamente estudiada. Una de las mayores dificultades que enfrentan los facilitadores de los cursos en lnea, es la necesidad de contar con herramientas que les permitan evaluar el desempeo del estudiante en forma objetiva y consistente. Los foros de discusin de manera particular, presentan un reto al facilitador ya que se debe considerar no solo la cantidad de intervenciones del estudiante, sino ante todo la calidad de dichas participaciones. Adems se debe tomar en cuenta el tipo de aporte y su pertinencia, por ejemplo se debe analizar si el estudiante es generador de ideas o si ms bien responde a las iniciativas de los otros participantes. En este contexto, las rbricas pueden convertirse en una herramienta til tanto para estudiantes como para educadores.

Rbricas
Las rbricas estn directamente relacionadas con la denominada evaluacin del desempeo, autntica o formativa. En este modelo de evaluacin, como su nombre lo indica, se busca determinar el nivel o la eficacia mostrada por un estudiante en el desempeo de una tarea. Cuando se habla de rbricas, una de las primeras preguntas que surgen es son lo mismo que las listas o tablas de cotejo? La respuesta a esta interrogante es no, las listas de cotejo presentan un objetivo de aprendizaje, una competencia, una actitud, etc., que se espera que los y las estudiantes dominen al final de un proceso. Una lista de cotejo para evaluar el aporte individual de cada estudiante en un proyecto grupal podra tener la siguiente apariencia:
LISTA DE COTEJO: APORTE INDIVIDUAL AL PROYECTO EN GRUPOS ASPECTOS A CONSIDERAR Aporta significativamente a la investigacin. Respeta la opinin de sus compaeros Trabaja ordenadamente Cumple en el tiempo previsto Cumple con su parte del trabajo SI NO

El principal problema de las tablas de cotejo es la interpretacin libre que deja de los criterios de evaluacin, por ejemplo, los y las alumnas se pueden preguntar, qu entiende el profesor como aporte significativo a la investigacin, qu implica cumplir con mi parte del trabajo?, etc. Otro problema que surge, es que generalmente los y las educadoras son quienes aplican las tablas de cotejo y en ciertos tipos de trabajo es difcil tener claro el desempeo individual; en la hoja anterior por ejemplo, de qu manera puede el educador comprobar que un determinado estudiante respeta la opinin de sus compaeros? Las rbricas a semejanza de las listas de cotejo permiten valorar el aprendizaje, los conocimientos y/o las competencias, logrados por el estudiante en un trabajo o materia particular; pero a diferencia de las segundas, las rbricas establecen una gradacin o unos niveles de la calidad de los diferentes criterios con los que se puede desarrollar un objetivo, una competencia, un contenido o cualquier otro tipo de tarea que se lleve a cabo en el proceso de aprendizaje. De acuerdo con Goodrich H. (2000) la rbrica es una herramienta de evaluacin que identifica ciertos criterios para un trabajo, o sea lo que cuenta; por lo tanto, la rbrica le ayuda al estudiante a determinar cmo se evaluar su trabajo. Por ejemplo, una rbrica para un proyecto de multimedia enlistar aquellas actividades o tareas que el estudiante debe de incluir para recibir una determinada nota o evaluacin, tales como claridad, organizacin, aspectos estticos, etc., pero adicionalmente se indicar los diferentes niveles de calidad para cada uno de estos criterios. Al establecer los criterios, uno de los mayores retos es evitar un lenguaje poco claro; por ejemplo un trmino como creatividad es difcil de definir. Si se quiere que la rbrica retroalimente a los alumnos, estos conceptos deben ser definidos en los descriptores, utilizando palabras que el estudiante entienda con claridad. Otra recomendacin importante es utilizar un lenguaje positivo; en lugar del empleo de trminos como desordenado o pasivo, es recomendable indicar por ejemplo, que el estudiante no organiza la informacin de forma clara o que requiere de la motivacin por parte del facilitador para participar en la discusin. Existen diferentes rbricas de evaluacin desarrolladas por profesionales en aspectos como reportes escritos y presentaciones orales, sin embargo la recomendacin es que sea el educador en unin con su grupo de estudiantes quienes diseen las rbricas de los diferentes proyectos. Es importante comparar diferentes proyectos, buenos y malos para identificar las caractersticas que hacen que, los buenos proyectos sean buenos y los malos proyectos sean malos. Esta prctica reafirma el argumento que se utiliza con mayor frecuencia al recomendar el uso de este modelo de evaluacin, el cual afirma que las rbricas ayudan a definir que se entiende por calidad.

Por lo general, las rbricas especifican el nivel de desarrollo esperado para obtener diferentes niveles de calidad. Estos pueden estar expresados en trminos de una escala como: Excelente, Bueno, Necesita mejorar, etc. o en

trminos numricos como 4, 3, 2, 1. La siguiente es una rbrica diseada para evaluar las ponencias presentadas en un congreso. RBRICA PARA EVALUAR PRESENTACIN
CATEGORA El o la ponente Calidad del contenido 4 Excelente Completo entendimiento del tema Cada punto principal apoyado con hechos relevantes, estadsticas o ejemplos. Precisin al contestar todas las preguntas planteadas sobre el tema Enfoque en el tema el 100% de la presentacin Todos los argumentos vinculados con una idea principal y organizados de manera lgica 3 Buen trabajo 2 Aceptable 1 Necesita mejorar Escaso entendimiento del tema

Buen entendimiento Buen entendimiento del tema de ciertas partes del tema Mayora de los puntos principales apoyados con hechos relevantes, estadsticas o ejemplos. Precisin al contestar la mayora de las preguntas planteadas sobre el tema Enfoque en el tema entre el 99% y el 90% de la presentacin Mayora de los argumentos vinculados claramente con una idea principal y organizados de manera lgica Ttulo original y conforme al tema desarrollado Demuestra considerable trabajo. Uso general de gestos, contacto visual, tono de voz y nivel de entusiasmo adecuado para mantener la atencin de la audiencia

Cada punto principal Puntos principales apoyado con hechos sin apoyos relevantes, estadsticas o ejemplos, pero dudosa relevancia de algunos. Precisin al contestar ciertas preguntas planteadas sobre el tema Imprecisin al contestar las preguntas planteadas sobre el tema Tema de la presentacin difcil de determinar Argumentos no vinculados claramente con una idea principal

Seguimiento del tema y organizacin

Enfoque en el tema entre el 89% y el 75% de la presentacin Todos los argumentos vinculados claramente con una idea principal, pero la organizacin no siempre es precisa y lgica. Ttulo conforme a ciertos aspectos desarrollados Fortalece la presentacin.

Ttulo creativo y pertinente Demuestra Apoyo considerable audiovisual y trabajo y estilo de creatividad. presentacin Uso consistente de gestos, contacto visual, tono de voz y nivel de entusiasmo adecuado para mantener la atencin de la audiencia Originalidad

Ttulo sin relacin con los contenidos No existe o resta valor a la presentacin. Estilo que no mantiene la atencin de la audiencia

Uso espordico de gestos, contacto visual, tono de voz y nivel de entusiasmo adecuado para mantener la atencin de la audiencia

Gran originalidad; Cierta originalidad; Reconoce el empleo ideas creativas e ideas nuevas y de ideas de otras ingeniosas perspicacia personas; escasa evidencia de ideas originales.

No aporta nuevas ideas o enfoques.

A continuacin se presenta un ejemplo sencillo de una rbrica que he diseado para ser usada en la Universidad Estatal a Distancia, para evaluar el trabajo en un curso en lnea, incluyendo la participacin en los foros de discusin. RBRICA PARA VALORAR LA PARTICIPACIN DEL ESTUDIANTADO EN EL CURSO EN LNEA

Criterios: Excelente el o la estudiante Dominio del tema Demuestra excelencia en el en el curso manejo de los conceptos claves. Participacin en el Critica constructivamente el aprendizaje trabajo de otros. colaborativo Sustento terico de Provee evidencias que sus opiniones apoyan sus opiniones de acuerdo con su experiencia y lecturas previas del material. Aportes Frecuentemente ofrece innovadores nuevas interpretaciones del en las discusiones material que se discute. Calidad de los Sus contribuciones son aportes relevantes, de alto contenido e invitan a la reflexin. Puntualidad de los Sus participaciones se hacen aportes a tiempo y son relevantes.

Bueno Muestra evidencia de comprender la mayora de los conceptos. Es capaz de disentir o coincidir en ciertos aspectos. Tiene habilidad bsica para apoyar sus opiniones y demuestra conocimiento del material de estudio. Ocasionalmente ofrece un punto de vista divergente. Participa de forma regular en la discusin con aportes interesantes. Ocasionalmente necesita que un facilitador/a le invite a participar y algunas de sus participaciones se hacen en forma tarda. Algunos de sus trabajos no reflejan el mayor esfuerzo o no se entregaron a tiempo.

Necesita mejorar Tiene un conocimiento superficial del material. Rara vez expresa su propia opinin sobre los temas discutidos. No aporta evidencias que apoyen sus opiniones. No emite nuevas perspectivas a los temas discutidos. Ofrece puntos de vista cortos, superficiales o irrelevantes. Casi nunca toma la iniciativa para participar, generalmente lo hace fuera de tiempo. La mayora de sus trabajos podran mejorarse y ser entregados en los plazos establecidos.

Cumplimiento de Presenta trabajos de gran tareas calidad siempre a tiempo.

Las rbricas sirven para analizar la forma en la cul est aprendiendo el estudiante, y por lo tanto se pueden considerar como una herramienta de evaluacin formativa, sobre todo cuando se convierten en parte integral del proceso de aprendizaje. Esto se logra de manera especial cuando el estudiante es parte integral del proceso y no solamente conoce a priori los criterios que se tomarn en cuenta en su evaluacin, sino que tambin se le brindan oportunidades para autoevaluarse y para coeevaluar a sus compaeros; incluso cuando, una vez familiarizado con el proceso, se le da la posibilidad de colaborar en la creacin de la rbrica de evaluacin.

Por que usar rbricas?

La autora Helen Goodrich mencionada anteriormente indica algunas razones de la importancia para utilizar las rbricas como herramientas de evaluacin: 1. Las rbricas mejoran el desempeo del estudiante ya que propician condiciones favorables para el aprendizaje. Cuando los alumnos reciben las rbricas de antemano, entienden cmo los evaluarn y pueden prepararse por consiguiente, ya que tienen pautas explcitas con respecto a las expectativas del profesor. 2. Cuando se utilizan las rbricas para la autoevaluacin de los estudiantes, ellos y ellas mejoran considerablemente su capacidad de localizar problemas en su propio trabajo y desarrollar estrategias para resolver esas dificultades por s mismos. Las rbricas incrementan en el estudiante el sentido de responsabilidad hacia su propio trabajo. 3. Cuando los y las educadoras evalan los trabajos, proyectos, intervenciones, etc., saben con claridad qu determina la calidad de dichos productos. La mayora de los educadores que utilizan stas tcnicas encuentran que la evaluacin se convierte en un proceso mucho ms objetivo y que les permite brindar retroalimentacin ms precisa al estudiante en torno a los aspectos en los que debe mejorar.

Herramienta en lnea para la creacin de rbricas

Existe un excelente sitio de Red que permite crear diferentes rbricas, que pueden ser impresas, exportadas a una pgina web o descargadas en una hoja de clculo. La herramienta se llama RubiStar y se encuentra en el sitio: http://rubistar.4teachers.org/index.php RubiStar es gratuita gracias a una concesin del Ministerio de Educacin de los Estados Unidos de Amrica y por lo tanto puede ser empleada las veces que se requiera. Adems cuenta con una excelente coleccin de rbricas ya diseadas para proyectos especficos, que se encuentran disponibles tanto en el idioma ingls como en espaol. Con esta informacin concluyo esta ponencia, esperando que la misma sea til para los educadores virtuales, quienes tomando las palabras del poeta nos encontramos tambin en la dura tarea de reconocer que generalmente...no hay camino sino que se hace camino al andar.

Bibliografa
Ally, M. & Fahy, P. J. (2002). Using students learning styles to provide support in distance education. Artculo publicado en la 18th Annual Conference on Distance Teaching and Learning Proceedings, Madison, Agosto 14 - 16.

Best practices for electronically offered degree and certificate programs

Disponible en: http://www.wcet.info/resources/accreditation/Accrediting%20%20Best%20Practices.pdf. Consultado 11/7/2005 EDUTEKA. Matriz de Valoracin. Disponible en: http://www.eduteka.org/ediciones/recomendado_julio02.htm. Consultado 11/7/2005 Goodrich H. (2000) "Using Rubrics to Promote Thinking and Learning"; "Educational Leaderdship". Volume 57 Number 5 February 2000. (United States) International Data Corporation (IDC) (2004). Education Markets Research. Disponible en : http://www.idc.org/. Consultado 11/7/2005 International Data Corporation (IDC) (2004 IDC's Latin America Top 10 Consumer Market Predictions for 2005. Disponible en : http://www.idc.org/. Consultado 11/7/2005 Zavala Vidiella, Antoni (2000). La prctica educativa. Unidades de anlisis, en La prctica educativa. Cmo ensear. Gra. Espaa,.