Documentos de Académico
Documentos de Profesional
Documentos de Cultura
AcbVa
-2-
ndice de contenidos
0. Introduccin..................................................................................................................................... 4
1. La evaluacin de ejecuciones .......................................................................................................... 5
2. Diseo de rbricas......................................................................................................................... 11
3. Revisin de la rbrica.................................................................................................................... 20
Bibliografa .......................................................................................................................................... 22
-3-
0. Introduccin
En este segundo cuaderno de instrumentos de evaluacin educativa se abordarn
los pasos necesarios para disear rbricas como instrumento privilegiado en la evaluacin
de ejecuciones o del desempeo. As, como para el caso del diseo de cuestionarios de
rendimiento (tambin llamadas pruebas objetivas), que constituye el cuaderno de
instrumentos de evaluacin #1, los contenidos que se van a tratar tienen un carcter
eminentemente prctico que, esperemos, sirvan de gua en la construccin de los
instrumentos que van a ser utilizados en la evaluacin de los aprendizajes en el aula.
Como se ver, los ejemplos que van a ir apareciendo se basan en el currculo oficial
de la Comunitat Valenciana: Decreto 108/2014, para Educacin Primaria y el todava vigente
Decreto 112/2007, para Educacin Secundaria Obligatoria. Pero fundamentalmente nos
centraremos ms en el de Educacin Primaria, por tener un diseo ms til para el tema de
fondo que nos ocupa, la evaluacin referida al criterio.
Desde esta premisa, y recordando lo dicho en el documento Gua de evaluacin
educativa para el profesorado de educacin primaria y secundaria (Corts de las Heras, 2014),
nuestros elementos de trabajo son los criterios de evaluacin y en la medida de lo posible,
los indicadores de logro que se hayan establecido a partir de stos o, como en otros
contextos de evaluacin se denominan, descriptores. Siempre y cuando estos criterios de
evaluacin estn redactados en forma de resultados de aprendizaje (lo que se espera que
el estudiante alcance a conocer al finalizar un perodo formativo) con su sintaxis completa:
proceso, contenido y naturaleza de la ejecucin, estaremos en condiciones ptimas de
disear nuestros instrumentos de evaluacin. Ellos sern los que nos ayuden a determinar
qu tipo de pruebas e instrumentos son los ms idneos para evaluar los aprendizajes de
nuestro alumnado y, para el caso de las rbricas, sern aquellos que tengan que ver con
desempeos complejos o productos. De aqu que comenzaremos este cuaderno prctico
con algo de teora, describiendo que se entiende por evaluacin de ejecuciones.
Una vez descritas las principales caractersticas y pasos que se siguen en la
evaluacin de ejecuciones, el cuaderno se centra en las rbricas: el concepto, los tipos, los
pasos para su diseo, desde la determinacin de los criterios de realizacin y atributos,
hasta la eleccin de una escala y finalmente en los criterios de calidad de una rbrica que
tienen que ver con su validez y fiabilidad.
-4-
1. La evaluacin de ejecuciones
En la gua de evaluacin anteriormente mencionada (Corts de las Heras, 2014) se
dieron unas pinceladas sobre el concepto de evaluacin autntica, corriente evaluativa
que ha surgido como rechazo a la evaluacin tradicional, centrada en el desarrollo de
pruebas objetivas que, aunque tcnicamente impecables, poco o nada han ayudado en el
diseo de intervenciones educativas. En la evaluacin autntica cobraban fuerza tres
grandes aspectos: a) el planteamiento de tareas complejas en contextos reales o simulados,
b) su carcter formativo y c) el uso amplio de indicadores y adems compartido con los
estudiantes.
As para Wiggins (1998, p. 22 y ss.):
Una evaluacin es autntica cuando la anclamos en el tipo de trabajo real
que la gente hace. Es autntica porque vemos si los estudiantes pueden usar
inteligentemente lo que han aprendido en situaciones que paulatinamente se
aproximan a situaciones adultas y si pueden presentar innovaciones ante
nuevas situaciones.
Un trmino que suele asimilarse al de evaluacin autntica en muchos contextos es
el de evaluacin de ejecuciones o del desempeo (del ingls: performance assessment) y es
porque en este enfoque se concentran una variedad de estrategias evaluativas que
pretenden emular contextos reales, uno de los requisitos de la evaluacin autntica. Sin
embargo, no necesariamente ha de compartir su carcter formativo o compartir con los
estudiantes los criterios de realizacin. Es decir, la evaluacin de ejecuciones es un requisito
indispensable de la evaluacin autntica, pero no suficiente para que sta se d. Pinsese
en el acceso a un puesto de trabajo de comercial donde se evale la capacidad de
argumentacin delante de una audiencia, en este caso no es necesario compartir con los
candidatos los criterios de puntuacin y desde luego no tiene un carcter formativo, pero
no por ello deja de ser una evaluacin de un desempeo en un contexto real (o simulado).
Por tanto, la evaluacin de ejecuciones es idnea cuando aquello que se quiere
evaluar son contenidos procedimentales, habilidades de alto nivel, hbitos sociales, trabajo
cooperativo, conductas en la toma de decisiones e incluso productos complejos. Tambin,
cuando el objetivo es obtener informacin relevante sobre el proceso o razonamiento
utilizado en la resolucin de determinadas tareas. Asimismo, es un enfoque que puede ser
muy vlido en contextos donde no hay tiempos o condiciones determinadas y que incluyan
incluso aspectos de la vida real cuya concrecin puede no estar establecida formalmente en
el currculo oficial.
Las posibles preguntas que ahora podramos hacernos son:
1. Es posible una evaluacin del desempeo desde nuestras
aulas? No solo es posible, si no que ya se da en algunos casos.
Otra cuestin ser que dispongamos de los instrumentos vlidos
y fiables para evaluar ese desempeo.
2. Qu elementos del currculo permiten discernir cundo es
apropiada una evaluacin de este estilo? Aquellos elementos
en los que se observe claramente que el aprendizaje es sobre
habilidades complejas o de alto nivel cognitivo, de productos, etc.
Y esto se puede observar, en nuestro caso, en los criterios de
evaluacin, y sus especificaciones en indicadores de logro, que
servirn como base para el diseo de los instrumentos
apropiados.
En cualquier caso, siempre partimos de una alineacin de los elementos
curriculares, tanto prescriptivos como no prescritivos; y entre ellos, como parte central
estn los criterios de evaluacin. stos guan tambin la instruccin y el diseo de ejercicios,
actividades y tareas en las programaciones didcticas, pudindose aprovechar algunas de
estas actividades como pruebas de evaluacin, bien sea en situaciones formales o
-5-
informales. O disear especficamente situaciones de prueba para valorar la consecucin de
los aprendizajes fijados en uno o varios criterios de evaluacin.
E
1. Anlisis del dominio de aprendizaje a 1. Delimitacin del propsito de la evaluacin
evaluar.
d
3. Elaboracin del instrumento. 3. Desarrollo de la rbrica.
R
4. Revisin del instrumento. 4. Revisin de la rbrica.
v
5. Realizacin de la prueba y evaluacin del 5. Realizacin de la prueba y evaluacin del
aprendizaje. aprendizaje.
i
6. Informacin y toma de decisiones. 6. Informacin y toma de decisiones.
-6-
Ejemplo de delimitacin del dominio desde los criterios de evaluacin (resultados de
aprendizaje)
Unidad didctica: El mundo en cifras 6 de Ed. Primaria
Criterios de evaluacin (resultados de aprendizaje):
6MAT BL5.1. Recoger y registrar informaciones cuantificables a partir de:
encuestas, medios de comunicacin, INE, internet,..., utilizando la media, la
moda y el rango, para analizar informacin de inters humano o relacionada
con su vida cotidiana.
Indicadores de logro:
6MAT BL5.1.1. Recoge y registra informaciones cuantificables a partir de:
encuestas, medios de comunicacin, INE, internet,...
6MAT BL5.1.2. Interpreta y analiza datos sobre informaciones
cuantificables a partir de: encuestas, medios de comunicacin, INE, internet,...,
utilizando la media, la moda y el rango.
Anlisis del dominio:
Nivel de ejecucin
Recoger (observar)-registrar, analizar e interpretar
Contenido
Informacin cuantificable de inters humano
Moda, media, rango
Naturaleza de la ejecucin
Encuestas, medios de comunicacin, INE, Internet
-8-
Para el desarrollo de los criterios de realizacin se recomiendan una serie de pasos,
que por otra parte resultan bastante lgicos:
1. Identificar globalmente la destreza o producto.
Quiz este pasa ya lo hayamos realizado en la especificacin de los criterios para la
evaluacin. Se tratara de pensar en la ejecucin de la actividad de evaluacin que va a
realizar nuestro alumnado (sea un producto o una destreza) de forma global. Qu pasos
realizar un alumno tipo en el desempeo, con qu dificultades se encontrar, qu utilizar
(recursos materiales), si es un producto, qu caractersticas tendrPosiblemente sea
interesante que realicemos nosotros la actividad o, si tenemos experiencia, pensar tambin
en esas otras veces en las que se ha encomendado esta actividad a otro tipo de alumnado.
2. Listar sus aspectos importantes.
Una vez identificada la destreza o el producto, su desempeo, se tratara de listar
aquellos aspectos, al menos aquellos que se alinean con los criterios de evaluacin del
currculo, fcilmente identificables, y otros ms especficos que no se alejan de ellos
respecto al proceso o procesos cognitivos implcitos, los contenidos y la naturaleza de la
ejecucin.
3. Limitar el nmero de criterios (observables).
La lista anterior debe reducirse de manera que eliminemos aspectos redundantes y
no observables. Es bueno quedarse con una lista que en cualquier caso no supere un
nmero determinado de criterios. Se ha de pensar en que stos son los que van a servir de
base para elaborar la rbrica y una rbrica excesivamente analtica va a dificultar la
evaluacin.
4. Pensar sobre conductas importantes incluidas en la actividad de evaluacin.
Como prueba definitiva se someter la lista limitada de criterios a una ltima
revisin, donde se comprobar si son criterios que representan las conductas ms
importantes de la actividad que ha de realizar el alumnado y pueden describirse lo
suficientemente como para poder describirlas y evaluarlas de forma fiable. De nada servira
incluir, por ejemplo, una actitud de cooperacin con los compaeros si no se dan las
condiciones para observarla o simplemente no la podemos describir o es accesoria.
5. Expresar los criterios de realizacin en trminos de conductas (alumnos) o
caractersticas (producto).
Por ltimo, se hace necesario expresar los criterios de realizacin en trminos de
conductas (para el caso de destrezas) o de caractersticas (para el caso de productos). Estas
descripciones son fundamentales para el desarrollo de la rbrica y cada una de ellas vendr
identificada con un atributo o variable. Es la etiqueta que describe la caracterstica principal
del criterio de realizacin.
Adems, si es una secuencia temporal, podremos ordenar los criterios en el orden
en el que van a ser observados. Esto facilitar el proceso de calificacin del desempeo con
la rbrica, especialmente si se realiza a la par que el desempeo (p.ej.: una exposicin oral
sobre un tema).
Todos estos pasos que estn expuestos linealmente no tienen por qu ocurrir en
ese orden. De hecho es un proceso que requiere de revisiones continuas, ir hacia adelante y
hacia atrs hasta conseguir el propsito deseado. De hacerlo bien, se est incidiendo en la
construccin de un instrumento vlido respecto al contenido a evaluar.
-10-
2. Diseo de rbricas
Definicin
El trmino rbrica, en el contexto de la evaluacin, proviene del ingls scoring rubric,
que traducido literalmente es rbrica para puntuar. Efectivamente, se tiene claro que es
un instrumento de evaluacin que sirve para puntuar o al menos para calificar al estudiante
en el ejercicio de un desempeoy quiz los angloparlantes que propusieron el trmino le
aadieron este adjetivo (scoring) al sustantivo (rubric) para denotar un tipo especial de
rbrica.
Segn el Longman Dictionary of Contemporary English, el trmino rubric es un
conjunto de instrucciones o una explicacin en un libro o examen, etc. Con el adjetivo, y
tomado de manera literal, se est diciendo que es un conjunto de instrucciones que sirve
para puntuar.
En el diccionario de la Real Academia de la Lengua Espaola, en su 23 edicin,
rbrica est definido como:
1. Rasgo o conjunto de rasgos de forma determinada, que como parte de la
firma pone cada cual despus de su nombre o ttulo, [...].
2. Epgrafe o rtulo.
3. Cada una de las reglas que ensean la ejecucin y prctica de las
ceremonias y ritos de la Iglesia catlica en los libros litrgicos.
Es decir, nada que ver con el concepto ingls moderno. Quiz porque an no se haya
incorporado plenamente su uso como ese conjunto de reglas o instrucciones que se utiliza
en un examen. As, las referencias remiten al uso en la firma (esos rallajos que hacemos
encima de nuestro nombre, quien lo utilice, cuando firmamos algn documento) o a un uso
ms antiguo, que remite adems a la etimologa de la palabra, derivada del latn ruber
(rojo)1, que era el color utilizado en los epgrafes o rtulos de los libros y probablemente en
el conjunto de las reglas de la liturgia.
1
Como curiosidad, Jose Antonio Milln en el primer captulo de su libro El candidato melanclico
hace mencin a rbrica y otras derivadas de la misma raz: rubor, rub, rubeola
2
Una pregunta de una prueba objetiva que requiere de una respuesta abierta, y generalmente larga.
En el cuaderno de evaluacin sobre pruebas objetivas aparecen este tipo de tems.
-11-
Rbrica
Instrumento de calificacin que utiliza la descripcin cualitativa de los criterios
de realizacin de una tarea o actividad compleja a evaluar de forma graduada. As,
proporciona pautas con respecto a cmo se va a apreciar el trabajo de un estudiante.
Como ya se ha dicho, la rbrica es un excelente instrumento para la evaluacin del
desempeo, aunque no es el nico, existen otras alternativas como la lista de cotejo o las
escalas observacionales, quiz ms apropiadas cuando la informacin a registrar se limita a
la determinacin de si se cumple o no con unos criterios especficos. En el esquema
siguiente se hace una clasificacin de los distintos tipos reconocidos para la evaluacin del
desempeo, y las rbricas se sitan como un tipo de escala o gua de valoracin. La
explicacin sobre el tipo de rbricas (analticas u holsticas) se da ms adelante.
Tipos de rbricas
Habitualmente se suele hacer una clasificacin de las rbricas en: a) holsticas o b)
analticas, atendiendo a cmo consideran la evaluacin del desempeo, si como un todo o
por partes respectivamente.
Tambin existe otra clasificacin atendiendo al tipo de desempeo que se evala, si
es especfico o es general, quedando as rbricas que son especficas o rbricas que son
genricas, y esto depender del tipo de criterios por los que se evaluar un determinado
desempeo. En esta clasificacin no se profundizar demasiado, simplemente sirva decir
que las rbricas genricas se dan cuando existen desempeos que renen caractersticas
similares independientemente del contenido, que son interdisciplinares, por ejemplo, la
presentacin de una informacin (siempre y cuando el contenido de esa presentacin no
sea objeto de evaluacin). En definitiva, se puede hacer este tipo de combinaciones
obteniendo cuatro tipos de rbricas: holstica especfica o genrica y analtica especfica o
genrica. Por el contrario, las rbricas especficas de la tarea, enfatizan las caractersticas
peculiares de una tarea concreta que no volver a repetirse y estn centradas en conceptos,
hechos o destrezas y habilidades muy especficas.
Obviamente tanto con un tipo de clasificacin como con otra, aunque ms con la
ltima desarrollada, puede haber enfoques mixtos donde se combinan aspectos genricos y
especficos o dos rbricas que se combinen para formar una sola, con una evaluacin
holstica y otra analtica de diferentes partes del desempeo.
Especial descripcin merecen las rbricas holsticas y analticas. Pero antes
mencionemos los elementos esenciales con los que cualquier rbrica debe presentarse.
1) Criterios de realizacin (opcional).
2) Atributos, asociados a cada criterio de realizacin.
3) Niveles de desempeo.
4) Descripcin de los niveles de desempeo.
La forma en la que lo hagan determinar si estamos ante una rbrica holstica o
analtica. Estos elementos se distribuyen en forma de matriz, filas por columnas, donde
niveles y atributos fundamentalmente se reparten los papeles.
Rbricas holsticas
Cuando se da la superposicin de criterios o son criterios muy asociados, es mejor
utilizar este tipo de rbrica. Los criterios se consideran en combinacin en una sola escala
descriptiva. Apoyan valoraciones ms amplias sobre la calidad del proceso o del producto.
Una valoracin holstica puede tambin formar parte de una analtica como un factor ms,
aunque este tipo de mtodos tiene la dificultad de sobreponer los criterios de la rbrica
holstica con los otros factores.
Su uso resulta ms prctico, ms rpido que las rbricas analticas. Sin embargo, al
proporcionar una valoracin global del desempeo se pierden detalles especficos y su uso
formativo est limitado, al contrario que las analticas, usndose preferiblemente en
evaluaciones con propsito sumativo. Tambin dada su limitada escala de puntuacin este
uso sumativo se circunscribe casi al hecho de proporcionar una calificacin (excelente,
notable, bien), ms que una puntuacin.
-13-
En la rbrica holstica los niveles suelen aparecer delimitando las filas y los criterios
de realizacin y sus atributos se combinan para proporcionar una descripcin para cada uno
de estos niveles.
Rbricas analticas
En las rbricas analticas los criterios de realizacin, con sus atributos, se evalan en
los distintos niveles proporcionando una descripcin para cada uno de ellos. Cada atributo
recibir una puntuacin por separado, aunque tambin puede obtenerse con propsitos
sumativos una puntuacin global del desempeo. Ocasionalmente se asignan pesos a la
evaluacin de cada atributo.
La principal ventaja en el uso de este tipo de rbricas es que proporciona tanto a los
estudiantes como al docente una imagen muy clara de por qu obtienen la puntuacin que
obtienen los alumnos y se detecta mejor qu partes del desempeo requieren de una
revisin por parte de ambos. Su funcin es diagnstica y con propsitos claramente
formativos, aunque ya se ha dicho que puede utilizarse una puntuacin global del
desempeo con propsitos sumativos. Sin embargo, para crearlas se necesita mucho
tiempo y su uso en la prctica de la evaluacin requiere de mucha destreza, especialmente
-14-
en desempeos que se evalan en el mismo momento de su realizacin.
En este esquema, se aprecia que los niveles forman ahora las columnas, y los
atributos, cada uno de ellos por separado las filas. Para cada atributo, y en cada nivel, se da
una descripcin. Adicionalmente, se puede considerar que un atributo pese ms en el
conjunto de atributos que otro, as pueden utilizarse o bien porcentajes o bien factores de
multiplicacin de los atributos, cuyo uso es ms sencillo, y en el fondo es similar al uso de
porcentajes.
-15-
Ejemplo de rbrica analtica
Atributos 1 2 3 4 Punt. Peso %
Necesita mejorar Suficiente Bueno Excelente
Bsqueda Ha consultado una nica Ha consultado una nica Ha consultado varias Ha consultado varias (opcional)
fuente de informacin no fuente de informacin fuentes de fuentes de
fiable. fiable. informacin aunque informacin, todas
alguna no sea fiable. ellas fiables.
Relevancia Ningn indicador es Algn indicador es La mayor parte de Todos los indicadores
relevante en las tres reas relevante, en todas o indicadores son son relevantes en las
(educacin, economa y alguna de las tres reas relevantes en las tres tres reas
salud). (educacin, economa y reas (educacin, (educacin,
salud). economa y salud). economa y salud).
Claridad Ningn dato est reflejados Algn dato est La mayor parte de los Todos los datos estn
de forma clara, dificultando reflejado de forma datos est reflejada reflejados de forma
la lectura de stos. clara, aunque no es de forma clara, clara permitiendo la
suficiente para permitir aunque puede que lectura directa y
una lectura sencilla de alguno no permita sencilla de stos.
stos. una lectura sencilla
de stos.
Anlisis El anlisis de los datos no Una pequea parte del La mayor parte del Se realiza un anlisis
est basado en el anlisis se basa en el anlisis se basa en el completo de los
establecimiento de establecimiento de establecimiento de datos obtenidos
comparaciones entre los comparaciones entre los comparaciones entre estableciendo
valores de distintos pases. valores de distintos los valores de comparaciones entre
pases. distintos pases. los valores de
distintos pases.
TOTAL
-17-
El ejemplo anterior es sencillo. En algunas rbricas se mantiene durante un nivel
ms o dos una cierta parte de la conducta y la otra va variando. Por ejemplo, en el caso del
ejemplo anterior podra darse que usara siempre las convenciones de los mapas en el
segundo nivel ya pero todava raramente situase con precisin los elementos geogrficos.
No obstante, nos moveramos siempre con la descripcin de los elementos que integran la
conducta en diferentes grados de desempeo utilizando los calificadores anteriormente
mencionados.
Lo que no es justificable, y que es un error comn en la consistencia de las
descripciones, es aadir conductas o elementos conforme se van describiendo niveles ms
altos de desempeo que no se han descrito en el criterio de realizacin, o viceversa, ir
quitando elementos de la conducta que desaparecen de la descripcin conforme se
describen niveles ms bajos de desempeo. Otro error comn es introducir elementos o
conductas que estn fuera del criterio de realizacin, que ni siquiera se han contemplado, o
cambiar el nivel de destreza cognitiva (por ejemplo, para un atributo de identificacin de
elementos pedir en niveles altos de desempeo que reflexionen sobre los elementos
identificados).
Ejemplo de una rbrica inconsistente
Actividad de evaluacin: Lectura en silencio de un libro de lectura a su eleccin.
Criterio de realizacin: El alumno/a lee independientemente y est en la tarea durante
el perodo de lectura silenciosa.
Atributo: Lectura silenciosa
Nivel 1: Est fuera de la tarea y se comporta de manera disruptiva durante el perodo de
lectura silenciosa.
Nivel 2: Tiene dificultad en la eleccin de libros para la lectura silenciosa.
Nivel 3: Lee independientemente durante el periodo de lectura silenciosa.
Nivel 4: Elige libros con entusiasmo y lee independientemente durante el proceso de lectura
silenciosa.
Las correcciones sugeridas por Robin y Simon (2004) son:
1. Si la habilidad lectora es el objetivo, pensar el criterio de realizacin para
asegurarse de que el atributo tiene sentido.
2. Si las conductas de aprendizaje van a ser medidas, y la autonoma y la atencin
son los atributos deseados, reelaborar los descriptores como se muestra:
Atributo: Autonoma y atencin
Nivel 1: El estudiante raramente lee independientemente y permanece en la tarea muy poco
tiempo durante el perodo de lectura silenciosa.
Nivel 2: El estudiante a veces lee independientemente y permanece en la tarea algo de
tiempo durante el perodo de lectura silenciosa.
Nivel 3: El estudiante usualmente lee independientemente y permanece en la tarea la mayor
parte de tiempo durante el perodo de lectura silenciosa.
Nivel 4: El estudiante siempre lee independientemente y permanece en la tarea todo el
tiempo durante el perodo de lectura silenciosa.
Finalmente, para acabar ya con este apartado, por dnde se debera comenzar a
redactar una rbrica?
Se recomienda por tanto comenzar bien por el nivel superior y luego describir el
inferior, o viceversa. Seguidamente se describiran los niveles intermedios. En el caso de la
rbrica holstica se tendr que hacer una vez nicamente, y en el caso de las rbricas
analticas se tendr que hacer para cada atributo.
-18-
Uso de testigos o muestras de anclaje en las rbricas holsticas
Un aspecto importante o deseable en el uso de rbricas holsticas es el uso de
testigos o muestras ejemplares, cuando esto sea posible (por ejemplo, redacciones). Esto
significa ni ms ni menos que escoger de entre las realizaciones de los estudiantes aquellas
que estn en el lmite superior de cada nivel, de manera que nos sirvan como elemento
global de comparacin.
En subsiguientes evaluaciones, si se han establecido bien las rbricas y los testigos,
al evaluar un desempeo de forma global tendremos tanto elementos verbales
(descripciones), como elementos visuales (testigos) para situar la ejecucin de un
estudiante determinado en un nivel.
La pregunta a realizar sera: esta redaccin est mejor o peor que este modelo de
nivel 1? Si est mejor, pasara a formar parte del siguiente nivel, el 2, y lo compararamos de
nuevo con el modelo lmite del nivel 2 para hacer la misma pregunta. Si est peor, lo
dejaramos en el nivel 1 (el mnimo).
Tener buenos modelos o testigos requiere de tiempo, de haber trabajado
suficientemente con la rbrica y tener producciones de los alumnos que sean
significativamente clarificadoras y tiles para valorar globalmente un desempeo
determinado.
-19-
3. Revisin de la rbrica
En este apartado se muestran aquellos aspectos que se han debido tener en cuenta
a lo largo del proceso de elaboracin de una rbrica y que ahora servirn como elementos
de revisin. Todos ellos inciden en dos caractersticas fundamentales de cualquier
instrumento, y sobre ellas ya se ha hablado en anteriores documentos de esta serie, la
fiabilidad y la validez. Dos conceptos ntimamente relacionados pero no en la misma
direccin. Obtener un instrumento fiable no implica que sea vlido. Ahora bien, si el
esfuerzo est en obtener un instrumento vlido es seguro que ser en cierta forma fiable.
Validez de la rbrica
En principio se destacan caractersticas que se refieren a cmo el instrumente mide
lo que el evaluador pretende medir (validez) en base al contenido que recoge el
instrumento: es ese contenido y no otro el que se quiere evaluar; y en base a la construccin
del propio instrumento respetando la estructura o constructo del contenido (dominio) a
evaluar. As, una rbrica bien construida debe:
a) describir fielmente el contenido que se quiere evaluar y en toda su extensin. Es
decir, estn todos los atributos del desempeo o producto a evaluar y estn bien descritos
(p.ej.: si se quiere evaluar el conocimiento sobre historia, pero se describe en trminos de
exposicin del conocimiento sobre historia, no se est evaluando el conocimiento sino la
exposicin; por otra parte tambin se deben evaluar todos aquellos aspectos observables
que se entienden por conocimiento sobre historia o al menos los ms relevantes).
b) contener atributos apropiados que se corresponden con los de la respuesta del
alumno en el desempeo o producto que es evaluado (p.ej.: si se evala el razonamiento,
los errores de pronunciacin en la explicacin del estudiante son irrelevantes al propsito
de la evaluacin y no deberan incluirse en los criterios de realizacin).
Fiabilidad de la rbrica
Este concepto tiene que ver con la precisin de la medida o calificacin, en algunos
casos, de los instrumentos de evaluacin. De ah que es importante como primera
caracterstica que los niveles de la rbrica estn bien definidos y permitan una separacin
clara en la ejecucin o producto. Si no fuese as, cualquier asignacin de nivel a un
desempeo evaluado tendra ms de arbitrario de lo deseable.
Otra caracterstica tiene que ver con lo que ya se ha comentado en el apartado de
Estrategia general de desarrollo de los descriptores, y es que aunque los descriptores para
cada nivel de la escala sean diferentes de los anteriores o los siguientes, esa diferencia la
deben dar los cambios producidos en la cualidad de los criterios con el uso de esos
calificadores que se han mostrado anteriormente, y no la debera dar la introduccin
explcita o implcita de nuevos criterios o cambios en la importancia que toman los mismos.
Desde el punto de vista del uso de las rbricas es deseable que adems se hagan
comprobaciones del funcionamiento de las rbricas desde el punto de vista de la fiabilidad.
Se puede hacer de dos modos:
a) Valorar los mismos productos o desempeos (si est la posibilidad) por un
mismo docente dos o ms veces con las rbricas elaboradas, para comprobar si
se llega a las mismas conclusiones. Entre la primera y segunda valoracin se
recomienda un perodo largo de lavado, es decir, dejar pasar el tiempo para no
condicionar la valoracin de la segunda vez por el recuerdo de la primera
valoracin.
b) Valorar los mismos productos o desempeos por varios docentes con las mismas
rbricas.
Es interesante anotar qu porcentaje de coincidencias se ha obtenido. Si est por
-20-
debajo del 80%, la rbrica se puede mejorar todava un poco ms. Menos del 60% de
coincidencias requieren de una revisin profunda de las rbricas tal y como se ha sealado
en este apartado de fiabilidad, tanto en la fiabilidad intrajueces (un mismo valorador en dos
o ms tiempos diferentes), como en la fiabilidad interjueces (distintos evaluadores valoran
varios desempeos). Esto se puede hacer sin necesidad de recurrir a tcnicas estadsticas
ms o menos complejas.
Siempre nos quedar el consuelo del cubo de Rubrik, si no nos sale, siempre
podemos intentarlo de otra forma:
Aunque estoy convencido de que con empeo y un procedimiento, acaba por salir.
-21-
4. Bibliografa
Brualdi Timmins, A.C. (1998). Implementing performance assessment in the
classroom. Practical Assessment, Research & Evaluation, 6(2). Recuperado 13 junio 2014 de
http://PAREonline.net/getvn.asp?v=6&n=2.
ERIC/AE (2014). Scoring Rubrics Definitions and Construction. Disponible on-line en:
http://ericae.net/faqs/rubrics/scoring_rubrics.htm].
Gonzalez, J. (2014). Know your terms: holistic, analytic and single-point rubrics.
Recuperado 1 junio 2014 de http://www.cultofpedagogy.com/holistic-analytic-single-point-
rubrics/.
Mertler, C.A. (2001). Designing scoring rubrics for your classroom. Practical
Assessment, Research & Evaluation, 7(25). Recuperado 13 junio 2014 de
http://PAREonline.net/getvn.asp?v=7&n=25.
Moskal, B. (2000). Scoring rubrics: what, when and how?. Practical Assessment,
Research & Evaluation, 7(3). Recuperado 13 junio 2014 de
http://PAREonline.net/getvn.asp?v=7&n=3.
Moskal, B. (2003). Recommendations for developing classroom performance
assessments and scoring rubrics. Practical Assessment, Research & Evaluation, 8(14).
Recuperado 13 junio 2014 de http://PAREonline.net/getvn.asp?v=8&n=14.
Moskal, B. M. y Leydens, J.A. (2000). Scoring rubric development: validity and
reliability. Practical Assessment, Research & Evaluation, 7(10). Recuperado 13 junio 2014 de
http://PAREonline.net/getvn.asp?v=7&n=10.
Simon, M. y Forgette R. (2001). A rubric for scoring postsecondary academic skills.
Practical Assessment, Research & Evaluation, 7(18). Recuperado 13 junio 2014 de
http://PAREonline.net/getvn.asp?v=7&n=18.
Tiemey, R. y Simon, M. (2004). What's still wrong with rubrics: focusing on the
consistency of performance criteria across scale levels. Practical Assessment, Research &
Evaluation, 9(2). Recuperado 13 junio 2014 de http://PAREonline.net/getvn.asp?v=9&n=2.
Wiggins, G. (1998). Educative Assessment. Designing Assessments To Inform and
Improve Student Performance. Jossey-Bass Publishers, San Francisco, CA.
-22-
-23-