Desarrollo de rúbricas para evaluar

las investigaciones
que hacen los estudiantes

Prof. Julio E. Rodríguez Torres

Prof. Nadia Cordero
Centro para la Excelencia Academica
Oficina de Evaluación del Aprendizaje Estudiantil
Decanato de Asuntos Académicos - UPR-RP
14 de octubre de 2011
 Objetivos del Taller

• Familiarizar a los participantes con aspectos

relevantes sobre construcción de rúbricas.

• Establecer los criterios que desea evaluar en un

trabajo de investigación realizado por los estudiantes.

• Comenzar el desarrollo de una rúbrica para medir un

trabajo de investigación realizado por los estudiantes.
 Establecer los niveles de desempeño para una ejecución de excelente y
para una ejecución de iniciado.

Oficina de Evaluación del Aprendizaje Estudiantil

 Marco de referencia

El marco de referencia para esta presentación se apoya

en lo siguiente:
• En la revisión de la literatura del área de desarrollo de rúbricas.
• En lo que indican las teorías sicométricas sobre la construcción
de instrumentos.

Oficina de Evaluación del Aprendizaje Estudiantil

 Ciclo evaluativo

Se planifica

Se
proponen Se pone en
acciones acción

Se recogen
y analizan
datos
Oficina de Evaluación del Aprendizaje Estudiantil
¿Qué evidencias debemos estar
buscando?
Entre otras:
 Informes de investigación

 Reseñas historiográficas
 Informes de laboratorio
 Propuestas de investigación

 Proyectos de investigación

 Ensayos, monografías, presentaciones orales, debates.

 Portafolios y otras evidencias donde se refleje una

“evolución académica del estudiante”.

Oficina de Evaluación del Aprendizaje Estudiantil

¿Qué deben hacer los profesores que interesan
evaluar las destrezas de investigación?

 Redactar objetivos de aprendizaje para el avalúo de destrezas

de investigación.
 Planificar y desarrollar las actividades educativas en los
cuales medirá las destrezas a evaluar.
 Determinar las instancias donde se recopilará la
información.
 Establecer los criterios e indicadores de desempeño para
evaluar la ejecución.
 Establecer el logro esperado.
 Diseñar los instrumentos para recopilar información.
 Recopilar, analizar los datos y compararlos con el logro
esperado.
 Proponer acciones transformadoras.
Oficina de Evaluación del Aprendizaje Estudiantil
 Dominios del Aprendizaje Estudiantil del Recinto (Perfil del
Egresado- Certificación 46 del Senado Académico, 2005-2006)

 Comunicación  Conocimiento,  Sensibilidad Ética y

Efectiva (oral y destrezas y actitudes Estética
escrita) propias de la  Aprecio, Cultivo y
 Pensamiento Crítico disciplina Compromiso con los
 Investigación y  Integración del ideales de la sociedad
Creación Conocimiento puertorriqueña,
 Capacidad para caribeña e
 Responsabilidad
Estudio internacional
Social
Independiente
 Razonamiento
Lógico-Matemático  Curiosidad
Intelectual
 Competencias de
Información  Aprendizaje Continuo
 Trabajo en Equipo

Oficina de Evaluación del Aprendizaje Estudiantil

 ¿Cómo
evaluamos el
dominio de
investigación?

Oficina de Evaluación del Aprendizaje Estudiantil

 Una
alternativa
es: mediante
el uso de
rúbricas
Oficina de Evaluación del Aprendizaje Estudiantil
 ¿Qué es una rúbrica?
 La rúbrica es una matriz de valoración en la cual se
establecen los criterios y los indicadores de
desempeño a través de una escalas para determinar la
calidad de la ejecución de los estudiantes en unas
tareas específicas dentro de un continuo.

 Permite obtener una medida aproximada,

tanto del producto como del proceso.

Oficina de Evaluación del Aprendizaje Estudiantil

 Tipos de rúbricas
 Generalmente se conocen dos tipos de rúbricas la
global (holística) y la analítica.
 En la rúbrica holística se evalúa la totalidad del
proceso o producto sin juzgar por separado las
partes que lo componen.
 En la rúbrica analítica se evalúa inicialmente, por
separado, las diferentes partes del producto o
desempeño y luego se suma el puntaje de estas
para obtener una calificación total (Moskal, 2000;
Nitko, 2001).

Oficina de Evaluación del Aprendizaje Estudiantil

 Rúbricas holísticas
 El uso de las matrices de valoración holísticas para
calificar, puede resultar en un proceso más rápido
que utilizar las rúbricas analíticas con el mismo
fin.
 Como en estos casos lo que se busca es la
valoración general, casi siempre se usan cuando el
propósito de la valoración es por su naturaleza
sumativo.
 Con este tipo de valoración no se provee mucha
retroalimentación al estudiante.

Oficina de Evaluación del Aprendizaje

Estudiantil
 Rúbricas analíticas
 Las rúbricas analíticas se prefieren cuando requiere un
proceso o respuesta enfocada.
 Se evalúan individualmente diferentes habilidades o
características que requieren que se examine el producto
varias veces.
 Los estudiantes reciben retroalimentación en cada uno de los
criterios evaluados, lo que no sucede con el enfoque
holístico. Lo anterior hace posible crear un "perfil" de las
fortalezas y debilidades específicas de cada estudiante, y en
agregado del grupo, con el fin de establecer un curso de
acción para mejorar éstas últimas.
 Las matrices de valoración analítica promueven una
valoración formativa.
Oficina de Evaluación del Aprendizaje Estudiantil
 Ejemplo de criterios al evaluar Destrezas de
Comunicacion Escrita en Áreas evaluadas en una
composición
Tema y Estructura
Introducción
Desarrollo
Conclusión
Dominio de las Estructuras Sintácticas
Estructura Sintáctica Concordancia
Claridad

Dominio Léxico
Riqueza Léxica
Precisión y Concisión
Corrección
Acentuación
Uso de Mayúsculas

Oficina de Evaluación del Aprendizaje

Estudiantil
 Ejercicio #1
Trabajo en grupos:

Generar por lo menos cuatro criterios a evaluar en

una posible investigación a ser realizada por el
estudiante.
Oficina de Evaluación del Aprendizaje Estudiantil
Discusión grupal de Ejercicio #1

Oficina de Evaluación del Aprendizaje Estudiantil

 Posibles criterios

 Introducción

 Revisión de literatura

 Metodología

 Recopilación de datos

 Análisis de los datos

 Conclusiones

 Recomendaciones
Oficina de Evaluación del Aprendizaje Estudiantil
 Elementos de la rúbrica
 Criterios – caracterizan la conducta esperada o requerida
para completar la tarea.

 Indicadores de desempeño – indican el grado de

competencia que categoriza la ejecución de los estudiantes
basada en los criterios.

 Niveles/Escala – indica los valores o puntuaciones mediant e

los cuales cuantificamos la ejecución de los estudiantes para,
de este modo, facilitar una medición más precisa y objetiva.

Oficina de Evaluación del Aprendizaje Estudiantil

 Modelo de rúbrica
Niveles / Escala

Criterios Indicadores de
a evaluar desempeño
Oficina de Evaluación del Aprendizaje Estudiantil
 ¿Cómo desarollar una rúbrica?
 Busque un buen modelo e identifique las características que
definen un buen trabajo.

 Establezca con claridad dentro de esa actividad qué va a

evaluar: un (unos) objetivo(s), desempeño(s),
comportamiento(s), competencia(s) o actividad(es).
Determine cuáles va a evaluar. (validez)

 Describa lo más claramente posible, los criterios de

desempeño específicos que va a utilizar para llevar a cabo la
evaluación de esas áreas. (validez)
Oficina de Evaluación del Aprendizaje Estudiantil
 ¿Cómo desarollar una rúbrica?
(cont.)
 Diseñe una escala de indicadores de calidad para calificarlas.
Esto es, establezca los indicadores de desempeño que puede
alcanzar el estudiante.
 Puede añadirle una escala numérica.

 Revise lo que ha plasmado en la matriz de valoración o

rúbrica para asegurarse de que no le falta nada. (validez)

 Utilice la rúbrica con sus pares en una muestra de trabajos de

investigación de modo que se permita desarrollar consistencia
en la evaluación. (confiabilidad)

 Permita que los estudiantes se familiaricen con la rúbrica

desarrollada en el momento que se asigna el trabajo.
Oficina de Evaluación del Aprendizaje Estudiantil
 Al desarrollar la rúbrica,
considere que:
 Por lo general, la escala de indicadores de calidad (o desempeño) para
calificar los diversos criterios a evaluar, se ubica en la fila horizontal
superior, con una gradación que va de mejor a peor.
 Es muy importante que la gradación de esta escala sea obvia y precisa
para que exista diferencia en los distintos grados que se pueden lograr en el
aprendizaje propuesto.

 En la primera columna vertical se ubican los criterios o dimensiones que

se han seleccionado para evaluar.

 En las celdas centrales se describe, de la forma más clara y concisa

posible, el nivel de desempeño o ejecución, esto es, los indicadores que
se van a utilizar para evaluar esos criterios.
 Recuerde que estas celdas centrales explican cuáles son las características
de un trabajo excelente, de uno deficiente y las variaciones intermedias entre
el uno y el otro.
Oficina de Evaluación del Aprendizaje Estudiantil
 Posibles niveles de la escala de
indicadores de desempeño

 Dos niveles
 Satisfactorio, No satisfactorio

 Tres niveles
 En desarrollo, Aceptable, Ejemplar

 No aceptable, Competente, Logrado

 Cuatro niveles
 En inicio, En desarrollo, Satisfactorio, Excelente

 No aceptable, Marginal, Cumple las espectativas, Excede las

espectativas
Oficina de Evaluación del Aprendizaje Estudiantil
Niveles (típicos) de la escala de indicadores
de desempeño (cont.)

 Cinco niveles
 Deficiente, Iniciado, Aceptable, Excede las expectativas,
Excelente

 Seis niveles
 No satisfactorio, Poco satisfactorio, Satisfactorio, Muy
satisfactorio, Bueno, Excelente

Consideración importante:
La Junta de Directores de la Asociación Americana de
C legios y Universidades (AACU) sugiere cuatro niveles.
o
Oficina de Evaluación del Aprendizaje Estudiantil
 Ejercicio #2
Trabajo en grupo:
Comenzar el desarrollo de una rúbrica para avaluar el
desempeño de nuestros estudiantes en destrezas de
investigación.
 Escoger por lo menos dos de los criterios para evaluar destrezas
de investigación que su grupo escogió.

 Trabajar los indicadores de desempeño para una

ejecución Excelente y el extremo opuesto a
Excelente para esos dos criterios.
Oficina de Evaluación del Aprendizaje Estudiantil
Discusión en grupo de Ejercicio 2

Oficina de Evaluación del Aprendizaje Estudiantil

 Criterio: Introducción
¿Que áreas podríamos medir (subcriterios) bajo el
criterio de Introducción ?
 Establecer el problema de investigación.

 Describir el propósito de la investigación.

 Presentar la justificación (significado teórico-práctico).
 Plantear las preguntas o hipótesis.
 Identificar las variables.
 Presentar el diseño de investigación.
 Definir conceptualmente las variables.
 Definir operacionalmente las variables.
Oficina de Evaluación del Aprendizaje Estudiantil
 Criterio: Metodología

¿Que áreas podríamos medir (subcriterios)bajo el

criterio de Metodología ?
 Indicar el tipo de investigación.

 Describir el diseño.
 Adecuacidad del diseño con respecto al problema.

 Describir la población.

 Describir la muestra.

 Describir los instrumentos.

 Establecer la validez y la confiabilidad.

Oficina de Evaluación del Aprendizaje Estudiantil
 Modelo de rúbrica para evaluar trabajos
de investigación
Excelente Satisfactorio En progreso Iniciado
Criterio a evaluar
7-8 5-6 3-4 1-2
Se plantea el problema y el
INTRODUCCIÓN

Plantea claramente el Se plantea el problema y el

propósito de la investigación
problema y propósito de la propósito pero es poco
pero la justificación o
Planteamiento investigación. El mismo es relevante. Presenta El problema presentado no
significado teórico-práctico
del problema relevante. Se sustenta la confusión en la justificación es claro. La justificación no
no está claramente
justificación o su significado en términos de su está sustentada.
sustentado. La evidencia que
teórico-práctico con significado teórico-práctico y
presenta a veces no es
evidencia. la evidencia que presenta.
relevante

Las preguntas o hipótesis Las preguntas o hipótesis

Las preguntas o las hipótesis
Preguntas de están planteadas de manera Las preguntas o hipótesis se necesitan mejorarse para
clara y se relacionan con el relacionarse con el causan confusión y no se
investigación relacionan con el problema.
relacionan con el problema.
problema. problema.

Se identifican todas las

No se identifican las
variables del estudio. Las Algunas variables fueron
Variables del Las variables no fueron variables y no existe su
variables fueron definidas definidas conceptual y definición conceptual y
estudio definidas operacionalmente.
conceptual y operacionalmente.
operacional.
operacionalmente.

Contribuye de forma clara al Su contribución al Contribuye muy poco al

Contribución a Contribuye al conocimiento
conocimiento de la conocimiento de la disciplina conocimiento de la
la disciplina de la disciplina.
disciplina. es limitada. disciplina.
Oficina de Evaluación del Aprendizaje Estudiantil
 Oficina de Evaluación del Aprendizaje Estudiantil
Modelo de rúbrica para evaluar trabajos
de investigación (cont.)
Excelente Satisfactorio En progreso Iniciado
Criterio a evaluar
7-8 5-6 3-4 1-2
REVISIÓN DE

La revisión de literatura La revisión de literatura

La revisión de literatura tiene
tiene relación con el tiene una relación limitada La revisión de literatura
Relación con mucha relación con el
problema bajo estudio. Las con el problema bajo tiene muy poca o ninguna
el tema de problema bajo estudio. Las
fuentes son bastante estudio. relación con el problema
investigación fuentes son muy actualizadas
actualizadas (últimos 5 Las fuentes no están bajo estudio.
(últimos 5 años).
LITERATURA

años). actualizadas.

La revisión es limitada y se La revisión es superficial y

La revisión es extensa y se La revisión se relaciona con
Extensión relaciona un poco con no se relaciona con algunas
relaciona con las variables. las variables.
algunas variables. variables.
FUENTES DE

Las fuentes de información La variedad de las fuentes

Las fuentes de información Las fuentes de información
son variadas y se utilizan de información es limitada.
son variadas. Se utilizan son muy pocas. Se utilizan
Variedad textos importantes de
textos de distintos autores
Algunos textos de autores
muy pocos textos de autores
distintos autores reconocidos reconocidos en el área no
reconocidos en el área. reconocidos en el área.
en el área. son consultados.

Entre 79% y 60% de las Entre 59% y 40% de las Menos del 39% de las
El 80% o más de las fuentes
RMACIÓN

fuentes de información fuentes de información fuentes de información

de información provienen de
Calidad textos con autoridad o
provienen de textos con provienen de textos con provienen de textos con
autoridad o revistas autoridad o revistas autoridad o revistas
revistas arbitradas.
arbitradas. arbitradas. arbitradas.
Modelo de rúbrica para evaluar trabajos
de investigación (cont.)
Excelente
Criterio a evaluar
7-8
Se describe de manera
METODOLOGÍA
Diseño de detallada el diseño. El diseño
investigación es adecuado para contestar las
estudio. preguntas o hipótesis.
La población del estudio y la
Población y muestra fueron identificadas.
muestra El método de muestreo fue
descrito con claridad.
Los instrumentos son
adecuados para recopilar los
adecuados
Fase de datos. Se establecen
instrumentación evidencias contundentes de la
validez y la confiabilidad.
Se explica detalladamente el
se proceso que se utilizará para
Anonimato y proteger el anonimato de los
confidencialidad participantes y la
confidencialidad de la
información recopilada.
recopilada.
Se explica detalladamente los
posibles riegos y beneficios
Riesgos y asociados a la participación en
estudio.
beneficios el estudio.
Satisfactorio
5-6
Se describe el diseño
parcialmente. El diseño es
adecuado para contestar las
preguntas o hipótesis.
Se identifica la muestra pero
no la población.
Se presenta el método de
muestreo.
Los instrumentos son
adecuados para recopilar los
datos. Se presenta evidencia
de validez y de su
confiabilidad.
Se explica el proceso que se
utilizará para proteger el
anonimato de los
participantes y la
confidencialidad de la
información recopilada.
Se explica los posibles riegos y
beneficios asociados a la
participación en el estudio.
En progreso
3-4
Se describe el diseño de
manera superficial.
El diseño es adecuado.
Se identifica la muestra pero
no el método de muestreo.
Los instrumentos son
adecuados para recopilar los
datos. La evidencia que se
presenta de la validez y
confiabilidad es limitada.
Se explica de forma limitada el instrumentos.
proceso que se utilizará para
proteger el anonimato de los
participantes y de manera
superficial la confidencialidad
de la información recopilada.
Se explica de forma limitada
los posibles riegos y de
manera superficial los
beneficios asociados a la
participación en el estudio.
Iniciado
1-2
El diseño presentado no
cumple con el propósito del
Se identifica la muestra pero
no el método de muestreo.
Presenta instrumentos pero
los mismos no son
para recopilar los datos.
No se presenta evidencia de
confiabilidad y validez de los
No se explica el proceso que
utilizará para proteger el
anonimato de los
participantes y la
confidencialidad de la
información
No explica los posibles riegos
y beneficios asociados a la
participación en el
Oficina de Evaluación del Aprendizaje Estudiantil
 Modelo de rúbrica para evaluar trabajos
de investigación (cont.)
Excelente Satisfactorio En progreso Iniciado
Criterio a evaluar
7-8 5-6 3-4 1-2
RECOPILACIÓN

La recopilación de datos es La recopilación de datos es La recopilación de datos es La recopilación de datos no está

Proceso explicada de manera detallada. explicada de manera parcial. explicada de manera superficial. explicada de manera detallada.

Las instrucciones para la Las instrucciones para la Las instrucciones para la

Las instrucciones para la
administración de los administración de los administración de los
Instrucciones instrumentos son claras y
administración de los
instrumentos presentan instrumentos no son claras ni
instrumentos son claras.
precisas. confusión. precisas.
DE DATOS

Se utilizan los protocolos para la Se utilizan los protocolos para la Se utilizan los protocolos para la No se utilizan los protocolos
Protocolo protección de los sujetos. protección de los sujetos. protección de los sujetos. para la protección de los sujetos.

No se indica cómo se codifican

ANÁLISIS DE DATOS

Se indica cómo se codifican los
Codificación datos y se explican las escalas de
medición.
Se explican las escalas de
medición pero no se indica
cómo se codifican los datos.
Se explican las escalas de
los datos y no se explican las
medición pero no se indica
escalas de medición.
cómo se codifican los datos.

Descripción El análisis estadístico es El análisis estadístico es El análisis estadístico presenta El análisis estadístico no es
del análisis a adecuado para contestar las adecuado para contestar las limitaciones para contestar las adecuado para contestar las
llevarse a preguntas o someter a prueba preguntas o someter a prueba preguntas o someter a prueba preguntas o someter a prueba
las hipótesis. las hipótesis. las hipótesis. las hipótesis.
cabo
Forma de El uso de diagramas o tablas El uso de diagramas o tablas es Se presentan los resultados en
No se presentan los resultados
presentar los permite presentar los adecuado al presentar los diagramas o tablas de forma
de manera clara.
resultados de manera clara. resultados. confusa.
resultados
Oficina de Evaluación del Aprendizaje Estudiantil
 Modelo de rúbrica para evaluar trabajos
de investigación (cont.)
Excelente Satisfactorio En progreso Iniciado
Criterio a evaluar
7-8 5-6 3-4 1-2
Las conclusiones no
Respuesta a las Las conclusiones contestan
CONCLUSIONES

Las conclusiones contestan Algunas de las conclusiones

preguntas de de manera clara las
investigación preguntas de investigación.
Análisis crítico
Las conclusiones surgen del
de los
análisis de resultados.
resultados
de manera parcial las
preguntas de investigación.
Las conclusiones surgen del
análisis de resultados.
contestan de manera clara
contestan las preguntas de
las preguntas de
investigación.
investigación.
Algunas conclusiones
Las conclusiones son muy
surgen del análisis de
generales e imprecisas.
resultados.

Se incorpora la revisión de Se incorpora de manera muy No se incorpora la revisión

Incorporación Se incorpora la revisión de
literatura en las limitada la revisión de de literatura en las
de la revisión de literatura en las conclusiones aunque la literatura en las conclusiones.
literatura conclusiones.
misma es limitada. conclusiones.

Se percibe muy poco o no se

RECOMENDACIONES

Las recomendaciones
Las recomendaciones Las recomendaciones percibe en las
sugieren un análisis
Relación con las sugieren un análisis crítico y sugieren un análisis de las recomendaciones un
superficial de las
conclusiones profundo de las implicaciones de las
implicaciones de las
análisis crítico profundo de
conclusiones. conclusiones. las implicaciones de las
conclusiones.
conclusiones.

Las recomendaciones Las recomendaciones Las recomendaciones

Las recomendaciones
Recomendacio- sugieren un nuevo enfoque describen de forma limitada describen muy poco o
sugieren formas de
nes para futuros metodológico con el examinar algún aspecto para
como pudiese examinase ninguna forma de examinar
estudios examinar algún aspecto para algún aspecto para un algún aspecto para un
un futuro estudio.
un futuro estudio. futuro estudio. futuro estudio.
Oficina de Evaluación del Aprendizaje Estudiantil
Modelo de rúbrica para evaluar trabajos
de investigación (cont.)
Criterio a Excelente
evaluar 7-8
Manual de estitlo
Redacta el trabajo siguiendo
las recomendaciones del
manual de estilo en lo
siguiente: uso de títulos y
Formato y subtítulos, vocabulario
estilo técnico y presentación de
datos en tablas, notación
estadística, fichas
bibliográficas y enumeración
en el texto.
Hace referencias directas e
indirectas de las fuentes
Referencias
bibliográficas que consultó
en el texto usando el estilo recomendado
en el manual.
Las referencias que componen
la bibliografía están escritas
Bibliografía
correctamente según el
manual de estilo utilizado.
Satisfactorio
5-6
Redacta con errores menores
el trabajo siguiendo las
recomendaciones del manual
de estilo en lo siguiente: uso
de títulos y subtítulos,
vocabulario técnico y
presentación de datos en
tablas, notación estadística,
fichas bibliográficas y
enumeración en el texto.
Hace referencias directas e
indirectas de las fuentes
bibliográficas que consultó
usando el estilo recomendado
en el manual con errores
menores en algunas citas y
referencias utilizadas.
Algunas referencias que
componen la bibliografía
están escritas con errores
menores según el manual de
estilo utilizado.
En progreso
3-4
Redacta con muchos errores
el trabajo siguiendo las
recomendaciones del manual
de estilo en lo siguiente: uso
de títulos y subtítulos,
vocabulario técnico y
presentación de datos en
tablas, notación estadística,
fichas bibliográficas y
enumeración en el texto.
Hace referencias directas e
indirectas de las fuentes
bibliográficas que consultó
usando el estilo recomendado
en el manual con muchos
errores en algunas citas y
referencias utilizadas.
La mitad o más de las
referencias que componen la
bibliografía están escritas con
errores mayores según el
manual de estilo utilizado.
Iniciado
1-2
Utiliza el manual de estilo
inconsistentemente en el
escrito, presenta errores en
todas las citas y referencias
utilizadas o no utiliza el
manual de estilo.
No hace referencias directas e
indirectas de las fuentes
bibliograficas que consulto
usando el estilo el estilo
recomendado en el manual.
Las referencias que componen
la bibliografía están escritas
incorrectamente según el
manual de estilo utilizado.
Oficina de Evaluación del Aprendizaje Estudiantil
¿Cómo comunicarse con la OEAE?
 Correo electrónico:
oeaeupr@gmail.com

 Página electrónica:
http://www.oeaeuprrp.blogspot.com

 Teléfonos
Cuadro: (787) 764-0000
Extensiones: 85011, 85012, 85013 y 85014

Oficina de Evaluación del Aprendizaje Estudiantil

 ¡Muchas gracias por su atención!

¡Recuerde que estamos para ayudarle a fortalecer

el proceso de aprendizaje de sus estudiantes!

Oficina de Evaluación del Aprendizaje Estudiantil