DISEO de rbricas

Instrumentos de evaluacin educativa #02

Javier Corts De las Heras

Diseo de rbricas. Cuaderno de instrumentos de evaluacin #2

Autor: Javier Corts De las Heras (e-mail: cortes_jav@gva.es)
Diseo y maquetacin: Perro-Ballena Productions
2014
Esta obra est sujeta a la licencia ReconocimientoCompartirIgual 4.0 Internacional de Creative Commons. Para
ver
una
copia
de
esta
licencia,
visite
http://creativecommons.org/licenses/by-sa/4.0/.

AcbVa
-2-

ndice de contenidos
0. Introduccin .................................................................................................................................. 4
1. La evaluacin de ejecuciones ........................................................................................................ 5
2. Diseo de rbricas....................................................................................................................... 11
3. Revisin de la rbrica.................................................................................................................. 20
Bibliografa ........................................................................................................................................ 22

-3-

0. Introduccin
En este segundo cuaderno de instrumentos de evaluacin educativa se abordarn
los pasos necesarios para disear rbricas como instrumento privilegiado en la evaluacin
de ejecuciones o del desempeo. As, como para el caso del diseo de cuestionarios de
rendimiento (tambin llamadas pruebas objetivas), que constituye el cuaderno de
instrumentos de evaluacin #1, los contenidos que se van a tratar tienen un carcter
eminentemente prctico que, esperemos, sirvan de gua en la construccin de los
instrumentos que van a ser utilizados en la evaluacin de los aprendizajes en el aula.
Como se ver, los ejemplos que van a ir apareciendo se basan en el currculo oficial
de la Comunitat Valenciana: Decreto 108/2014, para Educacin Primaria y el todava vigente
Decreto 112/2007, para Educacin Secundaria Obligatoria. Pero fundamentalmente nos
centraremos ms en el de Educacin Primaria, por tener un diseo ms til para el tema de
fondo que nos ocupa, la evaluacin referida al criterio.
Desde esta premisa, y recordando lo dicho en el documento Gua de evaluacin
educativa para el profesorado de educacin primaria y secundaria (Corts de las Heras, 2014),
nuestros elementos de trabajo son los criterios de evaluacin y en la medida de lo posible,
los indicadores de logro que se hayan establecido a partir de stos o, como en otros
contextos de evaluacin se denominan, descriptores. Siempre y cuando estos criterios de
evaluacin estn redactados en forma de resultados de aprendizaje (lo que se espera que
el estudiante alcance a conocer al finalizar un perodo formativo) con su sintaxis completa:
proceso, contenido y naturaleza de la ejecucin, estaremos en condiciones ptimas de
disear nuestros instrumentos de evaluacin. Ellos sern los que nos ayuden a determinar
qu tipo de pruebas e instrumentos son los ms idneos para evaluar los aprendizajes de
nuestro alumnado y, para el caso de las rbricas, sern aquellos que tengan que ver con
desempeos complejos o productos. De aqu que comenzaremos este cuaderno prctico
con algo de teora, describiendo qu se entiende por evaluacin de ejecuciones.
Una vez descritas las principales caractersticas y pasos que se siguen en la
evaluacin de ejecuciones, el cuaderno se centra en las rbricas:
Su concepto,
tipos ,
los pasos para su diseo, desde la determinacin de los criterios de
realizacin y atributos hasta la eleccin de una escala y,
los criterios de calidad de una rbrica, que tienen que ver con su
validez y fiabilidad.

-4-

1. La evaluacin de ejecuciones
En la gua de evaluacin anteriormente mencionada (Corts de las Heras, 2014) se
dieron unas pinceladas sobre el concepto de evaluacin autntica, corriente evaluativa
que ha surgido como rechazo a la evaluacin tradicional, centrada en el desarrollo de
pruebas objetivas que, aunque tcnicamente impecables, poco o nada han ayudado en el
diseo de intervenciones educativas. En la evaluacin autntica cobraban fuerza tres
grandes aspectos: a) el planteamiento de tareas complejas en contextos reales o simulados,
b) su carcter formativo y c) el uso amplio de indicadores y adems compartido con los
estudiantes.
As para Wiggins (1998, p. 22 y ss.):
Una evaluacin es autntica cuando la anclamos en el tipo de trabajo real
que la gente hace. Es autntica porque vemos si los estudiantes pueden usar
inteligentemente lo que han aprendido en situaciones que paulatinamente se
aproximan a situaciones adultas y si pueden presentar innovaciones ante
nuevas situaciones.

Un trmino que suele asimilarse al de evaluacin autntica en muchos contextos es

el de evaluacin de ejecuciones o del desempeo (del ingls: performance assessment) y es
porque en este enfoque se concentran una variedad de estrategias evaluativas que
pretenden emular contextos reales, uno de los requisitos de la evaluacin autntica. Sin
embargo, no necesariamente ha de compartir su carcter formativo o compartir con los
estudiantes los criterios de realizacin. Es decir, la evaluacin de ejecuciones es un requisito
indispensable de la evaluacin autntica, pero no suficiente para que sta se d. Pinsese
en el acceso a un puesto de trabajo de comercial donde se evale la capacidad de
argumentacin delante de una audiencia, en este caso no es necesario compartir con los
candidatos los criterios de puntuacin y desde luego no tiene un carcter formativo, pero
no por ello deja de ser una evaluacin de un desempeo en un contexto real (o simulado).
Por tanto, la evaluacin de ejecuciones es idnea cuando aquello que se quiere
evaluar son contenidos procedimentales, habilidades de alto nivel, hbitos sociales, trabajo
cooperativo, conductas en la toma de decisiones e incluso productos complejos. Tambin,
cuando el objetivo es obtener informacin relevante sobre el proceso o razonamiento
utilizado en la resolucin de determinadas tareas. Asimismo, es un enfoque que puede ser
muy vlido en contextos donde no hay tiempos o condiciones determinadas y que incluyan
incluso aspectos de la vida real cuya concrecin puede no estar establecida formalmente en
el currculo oficial.
Las posibles preguntas que ahora podramos hacernos son:
1. Es posible una evaluacin del desempeo desde nuestras
aulas? No solo es posible, si no que ya se da en algunos casos.
Otra cuestin ser que dispongamos de los instrumentos vlidos
y fiables para evaluar ese desempeo.
2. Qu elementos del currculo permiten discernir cundo es
apropiada una evaluacin de este estilo? Aquellos elementos
en los que se observe claramente que el aprendizaje es sobre
habilidades complejas o de alto nivel cognitivo, de productos, etc.
Y esto se puede observar, en nuestro caso, en los criterios de
evaluacin, y sus especificaciones en indicadores de logro, que
servirn como base para el diseo de los instrumentos
apropiados.
En cualquier caso, siempre partimos de una alineacin de los elementos
curriculares, tanto prescriptivos como no prescritivos; y entre ellos, como parte central
estn los criterios de evaluacin. stos guan tambin la instruccin y el diseo de ejercicios,
actividades y tareas en las programaciones didcticas, pudindose aprovechar algunas de
estas actividades como pruebas de evaluacin, bien sea en situaciones formales o
-5-

informales. O disear especficamente situaciones de prueba para valorar la consecucin de

los aprendizajes fijados en uno o varios criterios de evaluacin.

Pasos en la evaluacin de ejecuciones

Tal como ocurre en el diseo de pruebas objetivas (vase Cuaderno de evaluacin
educativa #01) o en el punto 4. Fases en la evaluacin referida al criterio para clase del
documento Gua de evaluacin educativa para el profesorado de educacin primaria y
secundaria, en el contexto de la evaluacin del desempeo se pueden seguir las mismas
fases. Veamos la tabla que compara el esquema general con el de la evaluacin de
ejecuciones.
Evaluacin referida al criterio
(proceso general)

E
e
d
R
v
i

Evaluacin del desempeo

1. Anlisis del dominio de aprendizaje a

evaluar.

1. Delimitacin del propsito de la evaluacin

2.
Especificacin
de
criterios
de
evaluacin, prueba, instrumentos y
escalas.

2. Especificacin de criterios para la evaluacin del

desempeo: prueba, instrumentos y escalas.

3. Elaboracin del instrumento.

3. Desarrollo de la rbrica.

4. Revisin del instrumento.

4. Revisin de la rbrica.

5. Realizacin de la prueba y evaluacin del

aprendizaje.

5. Realizacin de la prueba y evaluacin del

aprendizaje.

6. Informacin y toma de decisiones.

6. Informacin y toma de decisiones.

Tabla 1: Fases en la evaluacin referida al criterio vs. evaluacin del desempeo.

1. Delimitacin del propsito de la evaluacin

El punto central de esta primera fase es el anlisis de lo que queremos evaluar. Es lo
que en otros contextos se denomina anlisis del dominio. As que, deberamos responder a
una serie de preguntas, si antes no lo hemos hecho.
qu conceptos, destrezas o conocimientos en general se quiere evaluar?
qu deberan saber los alumnos sobre esto que quiero evaluar?

a qu nivel van a realizar los alumnos el desempeo?

qu tipo de razonamiento ser evaluado: razonamiento,
memorizacin, creacin?

procesos,

Si tenemos la suerte de encontrarnos con un currculo donde se especifica qu es lo

que los alumnos deben ser capaces de hacer al finalizar una determinada unidad didctica,
trimestre, curso, es decir hay resultados de aprendizaje bien definidos, como puede ser el
caso de nuestro currculo con los criterios de evaluacin, ya tenemos el camino bastante
andado.
Los criterios de evaluacin, y sus posibles especificaciones (indicadores de logro,
micro-criterios de evaluacin, descriptores) si estn redactados en trminos de resultado
de aprendizaje encierran una informacin valiossima, no solo para determinar las
actividades de enseanza, sino tambin las actividades de evaluacin o pruebas y por
extensin el tipo de instrumento ms adecuado.

-6-

Ejemplo de delimitacin del dominio desde los criterios de evaluacin (resultados de

aprendizaje)
Unidad didctica: El mundo en cifras 6 de Ed. Primaria
Criterios de evaluacin (resultados de aprendizaje):
6MAT BL5.1. Recoger y registrar informaciones cuantificables a partir de:
encuestas, medios de comunicacin, INE, internet,..., utilizando la media, la
moda y el rango, para analizar informacin de inters humano o relacionada
con su vida cotidiana.

Indicadores de logro:
6MAT BL5.1.1. Recoge y registra informaciones cuantificables a partir de:
encuestas, medios de comunicacin, INE, internet,...
6MAT BL5.1.2. Interpreta y analiza
datos sobre informaciones
cuantificables a partir de: encuestas, medios de comunicacin, INE, internet,...,
utilizando la media, la moda y el rango.

Anlisis del dominio:

Nivel de ejecucin
Recoger (observar)-registrar, analizar e interpretar

Contenido
Informacin cuantificable de inters humano
Moda, media, rango

Naturaleza de la ejecucin
Encuestas, medios de comunicacin, INE, Internet
A partir de este punto se podra ir pensando en el tipo de actividad de evaluacin:
- Son acciones complejas que no se suelen dar a la vez, si no en un proceso a lo
largo de un determinado tiempo.
o qu actividades de evaluacin podra plantear? Una exposicin oral
con presentacin donde se den unas conclusiones, un informe escrito
donde plasmen el proceso, una prueba escrita donde identifiquen datos y
los analicen e interpreten
o cundo voy a evaluar el desempeo? Un da, varios das, en clase, en una
actividad extraescolar, desde mi casa con un producto que me
entreguen
o cmo y con qu voy a evaluar? Evalo solo yo, que se valoren entre
ellos utilizando algn instrumento dependiendo de la prueba de
evaluacin: prueba objetiva, ensayo de opinin, lista de cotejo, una
rbrica
- Necesitan haber trabajado conceptos como la moda, media y rango
- Necesitan haber manejado fuentes de informacin analgica y digital
(encuestas, medios de comunicacin diferentes, INE, Internet)

2. Especificacin de criterios para la evaluacin

Una vez analizado el dominio, se puede tener alguna pista ms clara sobre qu tipo
de prueba se quiere utilizar para evaluar el desempeo que est incluido en los criterios de
evaluacin. Se trata ahora de elegir esta prueba y de especificar aquellas condiciones que
permitan delimitar las acciones que el evaluador (docente) debe tener en cuenta y aquellas
condiciones de la prueba que se indicarn al alumnado. Es ideal que estas condiciones sean
pblicas y compartidas, incluso elaboradas o consensuadas entre el docente y el alumnado.
-7-

En resumen, se debe:
1. Elegir la prueba de evaluacin.
2. Especificar si la situacin de evaluacin ser formal o informal.
3. Especificar las condiciones de la prueba.
En cualquier caso se debe ser muy preciso a la hora de delimitar las condiciones de
realizacin: han de ser iguales para todos, salvo adaptaciones necesarias; con los mismos
materiales, tiempo de ejecucin, recursos humanos, con las mismas instrucciones
4. Definir los criterios de realizacin: se dedicar un apartado especial, ya que es
una parte fundamental para el desarrollo de las rbricas.
5. Elegir el tipo de rbrica (las veremos ms adelante) y escala de medida.

Ejemplo de especificacin de criterios para la evaluacin

Criterios para la evaluacin:
-

Se acota el tema dentro de la UDI: p.ej. Indicadores de pases del mundo

(salud, economa, educacin...)

Se delimita la prueba: Informe escrito

Y sus lmites o condiciones: la estructura, extensin y contenido del informe
(p.ej. el nmero de indicadores a registrar); agrupamiento: en grupo; fecha
de entrega; materiales a proporcionar (pginas web); visita al Instituto
Valenciano de Estadstica; sesiones donde se podr trabajar en clase y
consultar al profesor
Instrumento: rbrica (holstica)
Escala de medida: de 1 a 4 (Necesita mejorar, Adecuado, Bueno, Excelente)

Como se ha dicho, estos criterios para la evaluacin deberan ser pblicos y

consensuados, en la medida de lo posible, con el alumnado.

Los criterios de realizacin

Los criterios de realizacin son el paso previo al desarrollo de rbricas y nacen de:
a) los lmites impuestos por los criterios de evaluacin (aquello que se debe
evaluar de forma prescriptiva) y,
b) Los lmites impuestos por la prueba o actividad de evaluacin, que a su vez
estaba limitada por los criterios de evaluacin.
Especifican an ms si cabe cules son los atributos del desempeo que van a ser
evaluados, y resultan de una riqueza inestimable para el proceso de enseanza y
aprendizaje porque, siendo compartidos, proporcionan al alumnado un horizonte de
desempeo.

-8-

Para el desarrollo de los criterios de realizacin se recomiendan una serie de pasos,

que por otra parte resultan bastante lgicos:
1. Identificar globalmente la destreza o producto.
Quiz este paso ya lo hayamos realizado en la especificacin de los criterios para la
evaluacin. Se tratara de pensar en la ejecucin de la actividad de evaluacin que va a
realizar nuestro alumnado (sea un producto o una destreza) de forma global. Qu pasos
realizar un alumno tipo en el desempeo, con qu dificultades se encontrar, qu utilizar
(recursos materiales), si es un producto, qu caractersticas tendrPosiblemente sea
interesante que realicemos nosotros la actividad o, si tenemos experiencia, pensar tambin
en esas otras veces en las que se ha encomendado esta actividad a otro tipo de alumnado.
2. Listar sus aspectos importantes.
Una vez identificada la destreza o el producto, su desempeo, se tratara de listar
aquellos aspectos, al menos aquellos que se alinean con los criterios de evaluacin del
currculo, fcilmente identificables, y otros ms especficos que no se alejan de ellos
respecto al proceso o procesos cognitivos implcitos, los contenidos y la naturaleza de la
ejecucin.
3. Limitar el nmero de criterios (observables).
La lista anterior debe reducirse de manera que eliminemos aspectos redundantes y
no observables. Es bueno quedarse con una lista que en cualquier caso no supere un
nmero determinado de criterios. Se ha de pensar en que stos son los que van a servir de
base para elaborar la rbrica y una rbrica excesivamente analtica va a dificultar la
evaluacin.
4. Pensar sobre conductas importantes incluidas en la actividad de evaluacin.
Como prueba definitiva se someter la lista limitada de criterios a una ltima
revisin, donde se comprobar si son criterios que representan las conductas ms
importantes de la actividad que ha de realizar el alumnado y pueden describirse lo
suficientemente como para poder evaluarlas de forma fiable. De nada servira incluir, por
ejemplo, una actitud de cooperacin con los compaeros si no se dan las condiciones para
observarla o simplemente no la podemos describir o es accesoria.
5. Expresar los criterios de realizacin en trminos de conductas (alumnos) o
caractersticas (producto).
Por ltimo, se hace necesario expresar los criterios de realizacin en trminos de
conductas (para el caso de destrezas) o de caractersticas (para el caso de productos). Estas
descripciones son fundamentales para el desarrollo de la rbrica y cada una de ellas vendr
identificada con un atributo o variable. Es la etiqueta que describe la caracterstica principal
del criterio de realizacin.
Adems, si el desempeo sigue una secuencia temporal, podremos ordenar los
criterios en el orden en el que van a ser observados. Esto facilitar el proceso de calificacin
del desempeo con la rbrica, especialmente si se realiza a la par que el desempeo (p.ej.:
una exposicin oral sobre un tema).
Todos estos pasos que estn expuestos linealmente no tienen por qu ocurrir en
ese orden. De hecho es un proceso que requiere de revisiones continuas, ir hacia adelante y
hacia atrs hasta conseguir el propsito deseado. De hacerlo bien, se est incidiendo en la
construccin de un instrumento vlido respecto al contenido a evaluar.

Ejemplo de descripcin de criterios de realizacin y sus atributos

NOTA: Los atributos van en negrita.
Bsqueda
Consulta diversos medios fiables en la recogida de informacin.
-9-

Relevancia
Incluye datos de indicadores relevantes en educacin, economa y salud de
distintos pases.
Claridad
Refleja con claridad los datos de los diferentes pases pudindose identificar y
asociar fcilmente a cada pas al que pertenecen y distinguirse de otros
indicadores.
Anlisis
Analiza de forma cuantitativa el fenmeno estudiado a partir de los datos
estableciendo comparaciones entre los diferentes pases usando la media, la
moda y el rango.
Interpretacin
Establece una interpretacin clara y congruente a partir de los datos obtenidos,
dando una visin global a partir del anlisis.
En los siguientes apartados se desarrollarn las fases 3. y 4. del proceso de
evaluacin del desempeo expuesto en la Tabla 1. Las fases 5. y 6. no difieren del uso de
otros instrumentos en el marco de la evaluacin referida al criterio y no sern tratadas en
este documento.

-10-

2. Diseo de rbricas
Definicin
El trmino rbrica, en el contexto de la evaluacin, proviene del ingls scoring rubric,
que traducido literalmente es rbrica para puntuar. Efectivamente, se tiene claro que es
un instrumento de evaluacin que sirve para puntuar o al menos para calificar al estudiante
en el ejercicio de un desempeoy quiz los angloparlantes que propusieron el trmino le
aadieron este adjetivo (scoring) al sustantivo (rubric) para denotar un tipo especial de
rbrica.
Segn el Longman Dictionary of Contemporary English, el trmino rubric es un
conjunto de instrucciones o una explicacin en un libro o examen, etc. Con el adjetivo, y
tomado de manera literal, se est diciendo que es un conjunto de instrucciones que sirve
para puntuar.
En el diccionario de la Real Academia de la Lengua Espaola, en su 23 edicin,
rbrica est definido como:
1. Rasgo o conjunto de rasgos de forma determinada, que como parte de la
firma pone cada cual despus de su nombre o ttulo, [...].
2. Epgrafe o rtulo.
3. Cada una de las reglas que ensean la ejecucin y prctica de las
ceremonias y ritos de la Iglesia catlica en los libros litrgicos.

Es decir, nada que ver con el concepto ingls moderno. Quiz porque an no se haya
incorporado plenamente su uso como ese conjunto de reglas o instrucciones que se utiliza
en un examen. As, las referencias remiten al uso en la firma (esos rallajos que hacemos
encima de nuestro nombre, quien lo utilice, cuando firmamos algn documento) o a un uso
ms antiguo, que remite adems a la etimologa de la palabra, derivada del latn ruber
(rojo)1, que era el color utilizado en los epgrafes o rtulos de los libros y probablemente en
el conjunto de las reglas de la liturgia.
Dejando la cuestin estrictamente lxica y centrndose en la cuestin pedaggica,
en distintos libros, artculos y otro tipo de documentos que tratan las rbricas, suelen
aparecer diferentes definiciones. Por ejemplo, la del glosario de trminos de pruebas
estandarizadas del Educational Testing Service (ETS), encargados de la evaluacin de PISA
ltimamente (https://www.ets.org/understanding_testing/glossary/) que define rbrica
como un conjunto de reglas para puntuar las respuestas a un tem de respuesta
construida2, a veces denominado gua de puntuacin o valoracin (scoring guide).
Personalmente, creo que no es una definicin de aplicacin general por estar demasiado
contextualizada en pruebas estandarizadas. As, las guas de valoracin utilizada en las
pruebas PISA, por ejemplo, no son estrictamente una rbrica. La rbrica requiere de algunas
caractersticas ms especficas.
En otros documentos se encontrarn otras definiciones, aqu se propone una que
tiene sentido con lo que se va a exponer seguidamente.

Como curiosidad, Jose Antonio Milln en el primer captulo de su libro El candidato melanclico
hace mencin a rbrica y otras derivadas de la misma raz: rubor, rub, rubeola
2

Una pregunta de una prueba objetiva que requiere de una respuesta abierta, y generalmente larga.
En el cuaderno de evaluacin sobre pruebas objetivas aparecen este tipo de tems.

-11-

Rbrica
Instrumento de calificacin que utiliza la descripcin cualitativa de los criterios
de realizacin de una tarea o actividad compleja a evaluar de forma graduada. As,
proporciona pautas con respecto a cmo se va a apreciar el trabajo de un estudiante.
Como ya se ha dicho, la rbrica es un excelente instrumento para la evaluacin del
desempeo, aunque no es el nico, existen otras alternativas como la lista de cotejo o las
escalas observacionales, quiz ms apropiadas cuando la informacin a registrar se limita a
la determinacin de si se cumple o no con unos criterios especficos. En el esquema
siguiente se hace una clasificacin de los distintos tipos reconocidos para la evaluacin del
desempeo, y las rbricas se sitan como un tipo de escala o gua de valoracin. La
explicacin sobre el tipo de rbricas (analticas u holsticas) se da ms adelante.

Ventajas y desventajas del uso de rbricas

Las rbricas nacen sin duda como una alternativa al uso de pruebas objetivas para la
evaluacin de aprendizajes que son complejos, que suponen interaccin o el uso de
destrezas cognitivas de alto nivel. Aprendizajes que no se pueden valorar como correctos o
incorrectos.
Otra de las grandes ventajas es que su uso se puede extender a todos los niveles
educativos, desde la Educacin Infantil hasta la Educacin Superior, y pueden ser utilizadas
en diferentes materias y situaciones. Son tremendamente verstiles.
Son tiles en un enfoque de evaluacin para el aprendizaje o evaluacin con
propsitos formativos: apoyan la exploracin de hasta qu punto unos determinados
criterios de realizacin se han alcanzado y permiten proporcionar retroalimentacin a los
estudiantes sobre cmo mejorar sus realizaciones. Es ms, en su construccin, desde la
definicin de los criterios de realizacin, puede participar el alumnado con mayor o menor
apoyo del docente segn el nivel educativo en el que se encuentre.
Sin embargo, muchas de las rbricas no son beneficiosas para el aprendizaje,
principalmente por problemas de diseo: el proceso de construccin no se hace
adecuadamente y puede haber inconsistencias en las descripciones de los criterios de
realizacin en los diferentes niveles de la escala. Por ejemplo, las ms comunes y accesibles
en Internet contienen fallos de diseo y no slo afectaran a la instruccin, sino tambin a la
-12-

validez de los resultados.

Por otra parte, no todo aprendizaje es evaluable con rbricas, especialmente
aquellos que se refieren a aspectos muy concretos del currculo, y que pueden ser ms
fcilmente evaluables con una lista de cotejo o incluso con una prueba objetiva. Por el
hecho de estar de moda no deben desdearse otros instrumentos y no se debe forzar la
mquina, por ejemplo: no contar con el contexto de una actividad de evaluacin y rubricar
criterios de evaluacin o intentar rubricar cada tem de una prueba objetivaSon
ejemplos que suelen verse habitualmente y cada vez ms.

Tipos de rbricas
Habitualmente se suele hacer una clasificacin de las rbricas en: a) holsticas o b)
analticas, atendiendo a cmo consideran la evaluacin del desempeo, si como un todo o
por partes respectivamente.
Tambin existe otra clasificacin atendiendo al tipo de desempeo que se evala, si
es especfico o es general, quedando as rbricas que son especficas o rbricas que son
genricas, y esto depender del tipo de criterios por los que se evaluar en ese desempeo.
En esta clasificacin no se profundizar demasiado, simplemente sirva decir que las
rbricas genricas se dan cuando existen desempeos que renen caractersticas similares
independientemente del contenido, que son interdisciplinares, por ejemplo, la presentacin
de una informacin (siempre y cuando el contenido de esa presentacin no sea objeto de
evaluacin). Por el contrario, las rbricas especficas de la tarea, enfatizan las
caractersticas peculiares de una tarea concreta que no volver a repetirse y estn
centradas en conceptos, hechos o destrezas y habilidades muy especficas.
Obviamente tanto con un tipo de clasificacin como con otra, aunque ms con la
ltima desarrollada, puede haber enfoques mixtos donde se combinan aspectos genricos y
especficos o dos rbricas que se combinen para formar una sola, con una evaluacin
holstica y otra analtica de diferentes partes del desempeo. En definitiva, se puede hacer
este tipo de combinaciones obteniendo cuatro tipos de rbricas: holstica especfica o
genrica y analtica especfica o genrica.
Especial descripcin merecen las rbricas holsticas y analticas. Pero antes
mencionemos los elementos esenciales con los que cualquier rbrica debe presentarse.
1) Criterios de realizacin (opcional).
2) Atributos, asociados a cada criterio de realizacin.
3) Niveles de desempeo.
4) Descripcin de los niveles de desempeo.
La forma en la que lo hagan determinar si estamos ante una rbrica holstica o
analtica. Estos elementos se distribuyen en forma de matriz, filas por columnas, donde
niveles y atributos fundamentalmente se reparten los papeles.

Rbricas holsticas
Cuando se da la superposicin de criterios o son criterios muy asociados, es mejor
utilizar este tipo de rbrica. Los criterios se consideran en combinacin en una sola escala
descriptiva. Apoyan valoraciones ms amplias sobre la calidad del proceso o del producto.
Una valoracin holstica puede tambin formar parte de una analtica como un factor ms,
aunque este tipo de mtodos tiene la dificultad de sobreponer los criterios de la rbrica
holstica con los otros factores.
Su uso resulta ms prctico, ms rpido que las rbricas analticas. Sin embargo, al
proporcionar una valoracin global del desempeo se pierden detalles especficos y su uso
formativo est limitado, al contrario que las analticas, usndose preferiblemente en
evaluaciones con propsito sumativo. Tambin dada su limitada escala de puntuacin este
uso sumativo se circunscribe casi al hecho de proporcionar una calificacin (excelente,
notable, bien), ms que una puntuacin.
-13-

En la rbrica holstica los niveles suelen aparecer delimitando las filas y los criterios
de realizacin y sus atributos se combinan para proporcionar una descripcin para cada uno
de estos niveles.

Ejemplo de rbrica holstica

Se consulta una nica fuente de informacin no fiable. Los indicadores no son relevantes y se
1
Necesita mejorar dificulta la lectura de los mismos. Adems, los anlisis y la interpretacin no son congruentes
con los datos obtenidos.

2
Suficiente

Se consulta una nica fuente de informacin aunque fiable. Algn indicador de los presentados
es relevante en todas o alguna de las reas y se refleja de forma clara, aunque no es suficiente
para permitir una lectura sencilla de los datos. El anlisis y la interpretacin es congruente con
los datos en alguna ocasin.

3
Bueno

Se consultan diversas fuentes de informacin, aunque alguna de ellas puede no ser fiable. La
mayor parte de indicadores y los datos asociados son relevantes y permiten una lectura sencilla
de casi toda la informacin. El anlisis y la interpretacin se mantiene casi siempre congruente
con los datos obtenidos.

4
Excelente

Se han consultado diversas fuentes de informacin fiables. Todos los indicadores y datos son
relevantes y estn reflejados de forma clara, permitiendo una lectura directa de los datos. El
anlisis de los datos es completo y permite una interpretacin totalmente congruente.

Rbricas analticas
En las rbricas analticas los criterios de realizacin, con sus atributos, se evalan en
los distintos niveles proporcionando una descripcin para cada uno de ellos. Cada atributo
recibir una puntuacin por separado, aunque tambin puede obtenerse con propsitos
sumativos una puntuacin global del desempeo. Ocasionalmente se asignan pesos a la
evaluacin de cada atributo.
La principal ventaja en el uso de este tipo de rbricas es que proporciona tanto a los
estudiantes como al docente una imagen muy clara de por qu obtienen la puntuacin que
obtienen los alumnos y se detecta mejor qu partes del desempeo requieren de una
revisin por parte de ambos. Su funcin es diagnstica y con propsitos claramente
formativos, aunque ya se ha dicho que puede utilizarse una puntuacin global del
desempeo con propsitos sumativos. Sin embargo, para crearlas se necesita mucho
tiempo y su uso en la prctica de la evaluacin requiere de mucha destreza, especialmente
-14-

en desempeos que se evalan en el mismo momento de su realizacin.

En este esquema, se aprecia que los niveles forman ahora las columnas, y los
atributos, cada uno de ellos por separado, las filas. Para cada atributo, y en cada nivel, se da
una descripcin. Adicionalmente, se puede considerar que un atributo pese ms en el
conjunto de atributos que otro, as pueden utilizarse o bien porcentajes o bien factores de
multiplicacin de los atributos, cuyo uso es ms sencillo, y en el fondo es similar al uso de
porcentajes.

-15-

Ejemplo de rbrica analtica

Atributos

1
Necesita mejorar

2
Suficiente

3
Bueno

4
Excelente

Bsqueda

Ha consultado una nica Ha consultado una nica Ha consultado varias

fuente de informacin no fuente de informacin fuentes
de
fiable.
fiable.
informacin aunque
alguna no sea fiable.

Ha consultado varias
fuentes
de
informacin, todas
ellas fiables.

Relevancia

Ningn
indicador
es
relevante en las tres reas
(educacin, economa y
salud).

Algn indicador es
relevante, en todas o
alguna de las tres reas
(educacin, economa y
salud).

La mayor parte de
indicadores
son
relevantes en las tres
reas
(educacin,
economa y salud).

Todos los indicadores

son relevantes en las
tres
reas
(educacin,
economa y salud).

Claridad

Ningn dato est reflejados Algn

dato
est
de forma clara, dificultando reflejado de forma
la lectura de stos.
clara, aunque no es
suficiente para permitir
una lectura sencilla de
stos.

La mayor parte de los

datos est reflejada
de forma clara,
aunque puede que
alguno no permita
una lectura sencilla
de stos.

Todos los datos estn

reflejados de forma
clara permitiendo la
lectura directa y
sencilla de stos.

Anlisis

El anlisis de los datos no

est
basado
en
el
establecimiento
de
comparaciones entre los
valores de distintos pases.

Una pequea parte del

anlisis se basa en el
establecimiento
de
comparaciones entre los
valores de distintos
pases.

La mayor parte del

anlisis se basa en el
establecimiento de
comparaciones entre
los
valores
de
distintos pases.

Se realiza un anlisis
completo de los
datos
obtenidos
estableciendo
comparaciones entre
los
valores
de
distintos pases.

En alguna parte de la
interpretacin se puede
observar congruencia
con los datos obtenidos.

En la mayor parte de
la interpretacin se
puede
observar
congruencia con los
datos obtenidos.

Toda
la
interpretacin
es
congruente con el
anlisis de los datos
obtenidos.

Interpretacinn No
Interpretaci

se
realiza
una
interpretacin congruente
con el anlisis de los datos
obtenidos.

Punt.

Peso %
(opcional)

TOTAL

En este ejemplo, considerando la rbrica en un uso sumativo, como hay cuatro

niveles y cinco atributos la puntuacin oscilar entre los 5 y los 20 puntos. Si adems se
aade a esto la utilizacin de factores de multiplicacin, la escala de puntuacin variar. Por
ejemplo, si se decide que el atributo Anlisis valga el doble, la puntuacin a obtener por
cualquier estudiante oscilar entre los 6 y los 24 puntos.

Proceso de elaboracin de una rbrica

El proceso propiamente dicho de redactar una rbrica es relativamente simple,
aunque no sencillo de llevar a cabo correctamente. Se requiere de prctica para elaborar
rbricas con la suficiente validez y fiabilidad en su amplio sentido, cuestiones que sern
tratadas ms adelante. As, una vez descritos los criterios de realizacin e identificados sus
atributos quedan unos pocos pasos ms. Si no hemos decidido qu tipo de rbrica vamos a
utilizar, sera ahora el momento de realizarlo: analtica u holstica?, especfica o genrica?
Obviamente esta decisin depende del tipo de desempeo y criterios de evaluacin que
estn implicados.

Nmero de niveles y etiquetado

El primer paso que debemos realizar es la determinacin del nmero de niveles de
desempeo que vamos a utilizar y el uso de nmeros (puntuacin), adjetivos que definan el
desempeo (calificacin) o letras (A, B, C...) o cualquier combinacin de estos elementos.
Si se asignan numerales se suele utilizar desde el 1 hasta el mximo nivel (por
ejemplo 4). Hay otras rbricas que utilizan el 0 como puntuacin mnima hasta el mximo
nivel, y otras variantes ms imprecisas como utilizar saltos numricos (por ejemplo: 10, 15,
20, 25) o rangos en cada nivel (por ejemplo: 1,0-3,9; 4,0-4,9; 5,0-5,9; 6-6,9; 7,0-8,9; 9-10).
stas ltimas opciones no son recomendables ya que, observando que se trata de rbricas
usadas para puntuar, obligan a determinar dentro de un nivel qu puntuacin voy a asignar
-16-

y en base a qu se hacen distinciones dentro de ste. Y si esto no est especificado, incidir

negativamente en la fiabilidad y equidad de la evaluacin.
Con el uso de calificadores pasa exactamente lo mismo, hay multitud de
formulaciones, aunque no tienen el problema de los numerales y suelen utilizarse para
establecer una etiqueta al desempeo que, en el caso de requerir una calificacin
oficialmente, son fcilmente utilizables (insuficiente, suficiente, bien, notable,
sobresaliente). Otras frmulas:
- malo, regular, bueno, excelente
- comienzo, en desarrollo, realizado, ejemplar
- inadecuado, regular, bien, muy bien
- incipiente, en proceso, avanzado, excelente
- ...
El nmero de niveles ms usual se sita entre tres y cinco niveles. Un mayor nmero
de niveles implica generalmente una prdida de consistencia en las descripciones de stos y
como consecuencia incide en la fiabilidad de la puntuacin o calificacin otorgada en el
desempeo. No obstante, el nmero de niveles ha de adecuarse al grado de complejidad de
la actividad de evaluacin a evaluar.
Otra cuestin es decidir si va a ser un nmero par o impar de niveles. En esto no hay
un acuerdo unnime, aunque hay una gran parte de autores que se decantan por un nmero
par, polarizando los desempeos en buenos/malos, evitando as situaciones intermedias
cmodas para el evaluador.

Estrategia general de desarrollo de los descriptores

Una vez determinado el nmero de niveles viene la parte ms complicada, la
descripcin de los niveles en los trminos que seala el criterio de realizacin.
Para mantener la consistencia de las descripciones (y por tanto obtener un
instrumento vlido) se recomienda mantener todos los elementos que seala el criterio de
realizacin, que est redactado en trminos de conducta observable. Lo que variara de
nivel a nivel es el grado de desempeo de esa conducta, y esos grados se basan en tres
tipos de calificadores:
- de cantidad: ninguno, alguno, la mayora, todos
- de frecuencia: nunca, raramente, a veces, usualmente, siempre
- de intensidad: ligeramente, moderadamente, principalmente, extremadamente

Ejemplo de uso de calificadores en los descriptores

Esta es la descripcin de un criterio de realizacin y su atributo (precisin) en una
rbrica analtica con cuatro niveles (los otros atributos se obvian en el ejemplo: amplitud,
relevancia y claridad)
Actividad de evaluacin: Dibujar un mapa de la comarca con los elementos geogrficos
proporcionados.
Criterio de realizacin: Las convenciones de los mapas (ttulo, leyenda, puntos
cardinales y elementos geogrficos como ros, montaas, ciudades, carreteras...) se usan
correctamente y los elementos geogrficos se sitan con precisin.
Atributo: Precisin
Nivel 1: Las convenciones de los mapas y los elementos geogrficos son raramente precisos.
Nivel 2: Las convenciones de los mapas y los elementos geogrficos son a veces precisos.
Nivel 3: Las convenciones de los mapas y los elementos geogrficos son usualmente precisos.
Nivel 4: Las convenciones de los mapas y los elementos geogrficos son siempre precisos.
-17-

El ejemplo anterior es sencillo. En algunas rbricas se mantiene durante un nivel

ms o dos una cierta parte de la conducta y la otra va variando. Por ejemplo, en el caso del
ejemplo anterior podra darse que usara siempre las convenciones de los mapas en el
segundo nivel ya pero todava raramente situase con precisin los elementos geogrficos.
No obstante, nos moveramos siempre con la descripcin de los elementos que integran la
conducta en diferentes grados de desempeo utilizando los calificadores anteriormente
mencionados.
Lo que no es justificable, por ser un error comn de consistencia de las
descripciones, es aadir conductas o elementos conforme se van describiendo niveles ms
altos de desempeo que no se han descrito en el criterio de realizacin, o viceversa, ir
quitando elementos de la conducta que desaparecen de la descripcin conforme se
describen niveles ms bajos de desempeo. Otro error comn es introducir elementos o
conductas que estn fuera del criterio de realizacin, que ni siquiera se han contemplado, o
cambiar el nivel de destreza cognitiva (por ejemplo, para un atributo de identificacin de
elementos pedir en niveles altos de desempeo que reflexionen sobre los elementos
identificados).

Ejemplo de una rbrica inconsistente

Actividad de evaluacin: Lectura en silencio de un libro de lectura a su eleccin.
Criterio de realizacin : El alumno/a lee independientemente y est en la tarea durante
el perodo de lectura silenciosa.
Atributo: Lectura silenciosa

Nivel 1: Est fuera de la tarea y se comporta de manera disruptiva durante el perodo de

lectura silenciosa.
Nivel 2: Tiene dificultad en la eleccin de libros para la lectura silenciosa.
Nivel 3: Lee independientemente durante el periodo de lectura silenciosa.
Nivel 4: Elige libros con entusiasmo y lee independientemente durante el proceso de lectura
silenciosa.
Las correcciones sugeridas por Robin y Simon (2004) son:
1. Si la habilidad lectora es el objetivo, pensar el criterio de realizacin para
asegurarse de que el atributo tiene sentido.
2. Si las conductas de aprendizaje van a ser medidas, y la autonoma y la atencin
son los atributos deseados, reelaborar los descriptores como se muestra:
Atributo: Autonoma y atencin
Nivel 1: El estudiante raramente lee independientemente y permanece en la tarea muy poco
tiempo durante el perodo de lectura silenciosa.
Nivel 2: El estudiante a veces lee independientemente y permanece en la tarea algo de
tiempo durante el perodo de lectura silenciosa.
Nivel 3: El estudiante usualmente lee independientemente y permanece en la tarea la mayor
parte de tiempo durante el perodo de lectura silenciosa.
Nivel 4: El estudiante siempre lee independientemente y permanece en la tarea todo el
tiempo durante el perodo de lectura silenciosa.
Finalmente, para acabar ya con este apartado, por dnde se debera comenzar a
redactar una rbrica?
Se recomienda por tanto comenzar bien por el nivel superior y luego describir el
inferior, o viceversa. Seguidamente se describiran los niveles intermedios. En el caso de la
rbrica holstica se tendr que hacer una vez nicamente, y en el caso de las rbricas
analticas se tendr que hacer para cada atributo.
-18-

Uso de testigos o muestras de anclaje en las rbricas holsticas

Un aspecto importante o deseable en el uso de rbricas holsticas es el uso de
testigos o muestras ejemplares, cuando esto sea posible (por ejemplo, redacciones). Esto
significa ni ms ni menos que escoger de entre las realizaciones de los estudiantes aquellas
que estn en el lmite superior de cada nivel, de manera que nos sirvan como elemento
global de comparacin.
En subsiguientes evaluaciones, si se han establecido bien las rbricas y los testigos,
al evaluar un desempeo de forma global tendremos tanto elementos verbales
(descripciones), como elementos visuales (testigos) para situar la ejecucin de un
estudiante determinado en un nivel.
La pregunta a realizar sera: esta redaccin est mejor o peor que este modelo de
nivel 1? Si est mejor, pasara a formar parte del siguiente nivel, el 2, y lo compararamos de
nuevo con el modelo lmite del nivel 2 para hacer la misma pregunta. Si est peor, lo
dejaramos en el nivel 1 (el mnimo).
Tener buenos modelos o testigos requiere de tiempo, de haber trabajado
suficientemente con la rbrica y tener producciones de los alumnos que sean
significativamente clarificadoras y tiles para valorar globalmente un desempeo
determinado.

En resumen, el proceso de construccin de una rbrica, contemplado desde su

inicio, queda reflejado en este esquema. Quedara por ltimo, abordar la cuestin de la
revisin de una rbrica.

-19-

3. Revisin de la rbrica
En este apartado se muestran aquellos aspectos que se han debido tener en cuenta
a lo largo del proceso de elaboracin de una rbrica y que ahora servirn como elementos
de revisin. Todos ellos inciden en dos caractersticas fundamentales de cualquier
instrumento, y sobre ellas ya se ha hablado en anteriores documentos de esta serie, la
fiabilidad y la validez. Dos conceptos ntimamente relacionados pero no en la misma
direccin. Obtener un instrumento fiable no implica que sea vlido. Ahora bien, si el
esfuerzo est en obtener un instrumento vlido es seguro que ser en cierta forma fiable.

Validez de la rbrica
En principio se destacan caractersticas que se refieren a cmo el instrumente mide
lo que el evaluador pretende medir (validez) en base al contenido que recoge el
instrumento: es ese contenido y no otro el que se quiere evaluar; y en base a la construccin
del propio instrumento respetando la estructura o constructo del contenido (dominio) a
evaluar. As, una rbrica bien construida debe:
a) describir fielmente el contenido que se quiere evaluar y en toda su extensin. Es
decir, estn todos los atributos del desempeo o producto a evaluar y estn bien descritos
(p.ej.: si se quiere evaluar el conocimiento sobre historia, pero se describe en trminos de
exposicin del conocimiento sobre historia, no se est evaluando el conocimiento sino la
exposicin; por otra parte tambin se deben evaluar todos aquellos aspectos observables
que se entienden por conocimiento sobre historia o al menos los ms relevantes).
b) contener atributos apropiados que se corresponden con los de la respuesta del
alumno en el desempeo o producto que es evaluado (p.ej.: si se evala el razonamiento,
los errores de pronunciacin en la explicacin del estudiante son irrelevantes al propsito
de la evaluacin y no deberan incluirse en los criterios de realizacin).

Fiabilidad de la rbrica
Este concepto tiene que ver con la precisin de la medida o calificacin, en algunos
casos, de los instrumentos de evaluacin. De ah que es importante como primera
caracterstica que los niveles de la rbrica estn bien definidos y permitan una separacin
clara en la ejecucin o producto. Si no fuese as, cualquier asignacin de nivel a un
desempeo evaluado tendra ms de arbitrario de lo deseable.
Otra caracterstica tiene que ver con lo que ya se ha comentado en el apartado de
Estrategia general de desarrollo de los descriptores, y es que aunque los descriptores para
cada nivel de la escala sean diferentes de los anteriores o los siguientes, esa diferencia la
deben dar los cambios producidos en la cualidad de los criterios con el uso de esos
calificadores que se han mostrado anteriormente, y no la debera dar la introduccin
explcita o implcita de nuevos criterios o cambios en la importancia que toman los mismos.
Desde el punto de vista del uso de las rbricas es deseable que adems se hagan
comprobaciones del funcionamiento de las rbricas desde el punto de vista de la fiabilidad.
Se puede hacer de dos modos:
a) Valorar los mismos productos o desempeos (si est la posibilidad) por un
mismo docente dos o ms veces con las rbricas elaboradas, para comprobar si
se llega a las mismas conclusiones. Entre la primera y segunda valoracin se
recomienda un perodo largo de lavado, es decir, dejar pasar el tiempo para no
condicionar la valoracin de la segunda vez por el recuerdo de la primera
valoracin.
b) Valorar los mismos productos o desempeos por varios docentes con las mismas
rbricas.
Es interesante anotar qu porcentaje de coincidencias se ha obtenido. Si est por
-20-

debajo del 80%, la rbrica se puede mejorar todava un poco ms. Menos del 60% de
coincidencias requieren de una revisin profunda de las rbricas tal y como se ha sealado
en este apartado de fiabilidad, tanto en la fiabilidad intrajueces (un mismo valorador en dos
o ms tiempos diferentes), como en la fiabilidad interjueces (distintos evaluadores valoran
varios desempeos). Esto se puede hacer sin necesidad de recurrir a tcnicas estadsticas
ms o menos complejas.
Tambin cabe destacar que el uso de testigos (muestras de desempeo o de
anclaje) entre los diferentes niveles de la rbrica va a contribuir a la consecucin de un
instrumento fiable.

Otros aspectos: validez aparente y ecolgica

Existen otros aspectos destacables en una rbrica, que no hacen ms que mejorar
su apariencia o su uso en un determinado contexto:
Por ejemplo, que las descripciones en cada nivel sean comprensibles, usen un
lenguaje claro y directo que las hace prcticas y fciles de usar. Que tengan una estructura
clara, tal como se expone y se ejemplifica en este documentoSon cuestiones relacionadas
con la llamada validez aparente, que no es ms que un tipo de validez de contenido que
viene a destacar, la comodidad o motivacin en el uso, en este caso por los docentes, de las
rbricas elaboradas.
En otro orden de cosas, una rbrica que sea respetuosa con los aprendizajes, que no
sea una injerencia sobre el modo de aprender y de ensear habitual en una clase, es una
rbrica con validez ecolgica, un tipo de validez externa (todas las anteriores son internas,
del instrumento). Esto se puede conseguir por ejemplo:
a) Haciendo que las descripciones en los distintos niveles de la rbrica, o en
general, ponen el foco en el logro positivo (xito) de la realizacin, no en la falta
de ese logro (p. ej.: inaudible vs. necesita proyectar la voz para que se le oiga...).
As, cuando se propone retroalimentacin a los alumnos, se hace en trminos
positivos. Es una caracterstica que cuesta mucho de conseguir, se est
acostumbrado a sancionar la falta de logro.
b) Compartiendo la rbrica antes de su uso con los estudiantes, de forma que ellos
conocen previamente sobre qu se les va a evaluar, o elaborarla directamente
con ellos.
Siempre nos quedar el consuelo del cubo de Rubrik, si no nos sale, siempre
podemos intentarlo de otra forma:

Aunque estoy convencido de que con empeo y un procedimiento, acaba por salir.
-21-

4. Bibliografa
Brualdi Timmins, A.C. (1998). Implementing performance assessment in the
classroom. Practical Assessment, Research & Evaluation, 6(2). Recuperado 13 junio 2014 de
http://PAREonline.net/getvn.asp?v=6&n=2.
ERIC/AE (2014). Scoring Rubrics Definitions and Construction. Disponible on-line en:
http://ericae.net/faqs/rubrics/scoring_rubrics.htm].
Gonzalez, J. (2014). Know your terms: holistic, analytic and single-point rubrics.
Recuperado 1 junio 2014 de http://www.cultofpedagogy.com/holistic-analytic-single-pointrubrics/.
Mertler, C.A. (2001). Designing scoring rubrics for your classroom. Practical
Assessment, Research & Evaluation, 7(25). Recuperado 13 junio 2014 de
http://PAREonline.net/getvn.asp?v=7&n=25.
Moskal, B. (2000). Scoring rubrics: what, when and how?. Practical Assessment,
Research
&
Evaluation,
7(3).
Recuperado
13
junio
2014
de
http://PAREonline.net/getvn.asp?v=7&n=3.
Moskal, B. (2003). Recommendations for developing classroom performance
assessments and scoring rubrics. Practical Assessment, Research & Evaluation, 8(14).
Recuperado 13 junio 2014 de http://PAREonline.net/getvn.asp?v=8&n=14.
Moskal, B. M. y Leydens, J.A. (2000). Scoring rubric development: validity and
reliability. Practical Assessment, Research & Evaluation, 7(10). Recuperado 13 junio 2014 de
http://PAREonline.net/getvn.asp?v=7&n=10.
Simon, M. y Forgette R. (2001). A rubric for scoring postsecondary academic skills.
Practical Assessment, Research & Evaluation, 7(18). Recuperado 13 junio 2014 de
http://PAREonline.net/getvn.asp?v=7&n=18.
Tiemey, R. y Simon, M. (2004). What's still wrong with rubrics: focusing on the
consistency of performance criteria across scale levels. Practical Assessment, Research &
Evaluation, 9(2). Recuperado 13 junio 2014 de http://PAREonline.net/getvn.asp?v=9&n=2.
Wiggins, G. (1998). Educative Assessment. Designing Assessments To Inform and
Improve Student Performance. Jossey-Bass Publishers, San Francisco, CA.

-22-

-23-