05/11/2013

Guión

1. Introducción
La evaluación de la enseñanza
de la radiología en Grado 2. Evaluación continua

3. Herramientas de evaluación

4. Evaluación

Dr. JD Aquerreta
Evaluación en Grado

Introducción Introducción

¿Qué es evaluar? ¿Por qué tenemos que evaluar?

Conjunto de actividades encaminadas a

EVALUACIÓN
¿Cómo
determinar el nivel de consecución de los conseguiré
¿Cómo
conseguiré
que aprendan? aprobar?
objetivos a lo largo del proceso de
aprendizaje
Se aprende al nivel
A P R E N D I Z A J E
que se evalúa…
E E E E y si se evalúa
PROFESOR ALUMNO
Evaluación en Grado Evaluación en Grado

Introducción Principios de la evaluación

¿Por qué tenemos que evaluar? 1. “Los objetivos de la evaluación deben guardar una
relación de equivalencia con los objetivos del
Orientación
• Indica a los alumnos qué es lo importante programa educativo. Cualquier desviación de la
• Identifica las áreas deficientes que requieran más relación puede conducir al fracaso del programa”
estudio 2. “Cualquier tarea asignada a los estudiantes debe
• Detecta los puntos débiles del programa de estudios
ser objeto de evaluación”
Motivación
• Incentivarles a estudiar 3. “La evaluación debe proporcionar valor añadido al
Calificación aprendizaje”
• Determinar las notas finales o tomar decisiones de 4. “No se puede evaluar todo lo que se quiere”
promoción
Evaluación en Grado

1
 05/11/2013

Introducción Introducción

¿Qué tenemos que evaluar? ¿Qué tenemos que evaluar?

¿En los objetivos de mi asignatura... ¿En mi asignatura evalúo...

...tanto conocimientos, como habilidades y
...se contemplan sólo conocimientos?
actitudes?
o
...únicamente conocimientos? Lo demás se
...se contemplan tanto conocimientos como “supone” que los alumnos lo adquieren por su cuenta
habilidades y actitudes de los alumnos?

Evaluación en Grado Evaluación en Grado

Qué tenemos que evaluar Qué tenemos que evaluar

9 Conocimientos Actividades
9 9 RADIOLOGÍA: Física, técnicas, radioprotección,
Habilidades 9 Clases presenciales
anatomía, semiología, patología,…
9 Actitudes 9 Seminarios
9 Habilidades
9 Prácticas (Lectura e interpretación) 9 ABCp
9 De comunicación 9 Pasantías ¿Evaluamos en
9 Manejo de la información todas las
9 Trabajo personal
9 Actitudes actividades?
9 Trabajos en grupo
9 Trabajo, estudio, investigación y crítica
9 Tutorías
9 Participación, integración, colaboración
Evaluación en Grado Evaluación en Grado

Qué tenemos que evaluar Introducción

¿Cómo tenemos que evaluar?

Evaluación continua
CONSEJO
• Realización de actividades evaluables en
momentos determinados para valorar y
Pocas actividades, bien diseñadas modular el proceso de aprendizaje

A P R E N D I Z A J E
E E E E

Evaluación en Grado Evaluación en Grado

2
 05/11/2013

Evaluación continua Evaluación continua: Variada

Requisitos
9 Diseño adecuado. (Planificación)
9 Distribuida durante el proceso (Feedback)
9 Con orientación (Tutoría)
9 Variada (Diferentes herramientas)
9 Puntuable (Recompensa)

Influir en la conducta de los alumnos de manera

Todo el mundo es un genio. Pero si juzgas a un pez por su
que alcancen el fin propuesto habilidad para trepar a un árbol, pasará el resto de su vida
- MOTIVACION - creyendo que es un idiota. (A. Einstein)

Evaluación en Grado Evaluación en Grado

Evaluación continua Herramientas de evaluación

Ventajas:
9 No se juegan todo a una carta
9 Examen
9 Corregir la conducta del alumno
9 Dar a conocer la forma de evaluar 9 Clickers
9 Entrenamiento (Coherencia)
9 Rúbricas
Desventajas
9 Autoevaluación
9 Más trabajo (Planificación y corrección)
9 Mayor coordinación (Disfunción con otras asignaturas) 9 Evaluación por pares

Evaluación en Grado Evaluación en Grado

Examen test Examen test

• REQUISITOS
9 Contenido
¿Es representativo? 9 Suficiente (Toda la materia)
9 Representativo (Ponderación)
¿Lo estructuramos bien? 9 Coincidente con los objetivos
9 Preguntas
¿Medimos lo que queremos medir?
9 Nunca inferior a 50 en sumativas
9 No más de 90 items (Minuto por ítem)
9 Casos prácticos 25 - 50%
Evaluación en Grado Evaluación en Grado

3
 05/11/2013

Examen test Examen test: Características

FIABILIDAD:
9 Valoración
• ¿Conseguimos diferenciar al que sabe del que no?
9 Contabilización de negativos (Evitar el azar) • ¿Hasta qué punto las diferencias de puntuación
entre dos alumnos son atribuibles a diferencias
R = Aciertos - Errores / (nd-1)
reales entre ellos o a errores de medida del test?
VALIDEZ
9 Carácterísticas técnicas
• ¿Medimos lo que queremos medir?
9 Fiabilidad • Ninguna prueba es válida y fiable para todos los
sujetos y ocasiones
9 Validez
¿Puedo hacer algo para
mejorar mis test?
Evaluación en Grado

Examen test Examen test

Num. ITEM DISTRACTORES Num Porcentaje
Omisiones Num DOBLES ACIERTOS INDICE FACILIDAD INDICE DISCRIMINACION
1 2 3 4 5
1 (27) 4 1 0 0 2 0 79,41 % 0,51 0,56

Datos del corrector 2

(8)

2
12

(30)
10

0
4

0
0

0
0

2
0

0
23,53 %

88,24 % 0,78 0,21

8 (23) 0 2 0 1 0 67,65 %
• Nº de respuestas por alumno 3 0 (25) 5 0 0 4 0 73,53 % 0,46 0,56
7 (6) 11 2 0 8 0 17,65 %

• Análisis de distractores 4 2 0 0 (30) 0 1 0 88,24 % 0,72 0,32

6 0 5 (19) 0 4 0 55,88 %

• Índice de dificultad 5 (28) 0 1 3 0 2 0 82,35 % 0,57 0,50

(11) 7 2 10 0 4 0 32,35 %

• Índice de discriminación 6 2
2
0
3
(24)
(9)
5
16
0
0
3
4
0
0
70,59 %
26,47 %
0,49 0,44

7 5 6 3 (17) 0 2 1 50,00 % 0,32 0,35

3 13 6 (5) 0 7 0 14,71 %
Análisis del test. 8 1 (18) 4 3 0 8 0 52,94 % 0,35 0,35
5 (6) 12 2 0 9 0 17,65 %

Contribución de cada pregunta (ítem) a la 9 6

14
(25)
(7)
0
2
1
6
0
0
2
5
0
0
73,53 %
20,59 %
0,47 0,53

fiabilidad y validez del test 10 25

8
(3)
(2)
2
7
1
6
0
0
3
11
0
0
8,82 %
5,88 %
0,07 0,03

Informe ordenado por número de ítem

Examen test Examen test

Num. ITEM DISTRACTORES Num Porcentaje
Omisiones Num DOBLES ACIERTOS INDICE FACILIDAD INDICE DISCRIMINACION
1 2 3 4 5
1 (27) 4 1 0 0 2 0 79,41 % 0,51 0,56
(8) 12 10 4 0 0 0 23,53 %
9 Índice de dificultad
2 2 (30) 0 0 0 2 0 88,24 % 0,78 0,21
8 (23) 0 2 0 1 Análisis de distractores:
0 67,65 %

3 0 (25) 5 0 0 4 Nos0 informa

73,53 % del nº0,46
de alumnos del
0,56 9 Nº Acertantes / Nº total del grupo
7 (6) 11 2 0 8 0 17,65 %
grupo superior (27%) y del grupo
4 2 0 0 (30) 0 1 inferior
0 (27%)
88,24 % que 0,72
han seleccionado
0,32
6 0 5 (19) 0 4 0 55,88 %
cada alternativa.
5 (28)
(11)
0
7
1
2
3
10
0
0
2
4
0
Cuántos
0
82,35 %
aciertan y0,57
32,35 %
cuántos “se 0,50 9 Índice de discriminación
distraen”.
6 2 0 (24) 5 0 3 0 70,59 % 0,49 0,44
2 3 (9) 16 0 4 0 26,47 % 9 Capacidad del ítem para diferenciar
7 5 6 3 (17) 0 2 1 50,00 % 0,32 0,35
3 13 6 (5) 0 7 0 14,71 % entre los que saben y los que no.
8 1 (18) 4 3 0 8 0 52,94 % 0,35 0,35
5 (6) 12 2 0 9 0 17,65 %
(% aciertos del primer quartil - % aciertos del
9 6 (25) 0 1 0 2 0 73,53 % 0,47 0,53
14 (7) 2 6 0 5 0 20,59 %
último quartil)
10 25 (3) 2 1 0 3 0 8,82 % 0,07 0,03
8 (2) 7 6 0 11 0 5,88 %

Informe ordenado por número de ítem

Evaluación en Grado

4
 05/11/2013

Examen test Examen test

Num. ITEM DISTRACTORES Num Porcentaje Num. ITEM DISTRACTORES Num Porcentaje
Omisiones Num DOBLES ACIERTOS INDICE DIFICULTAD INDICE DISCRIMINACION Omisiones Num DOBLESACIERTOS INDICE FACILIDAD INDICE DISCRIMINACION
1 2 3 4 5 1 2 3 4 5
1 (27) 4 1 0 0 2 0 79,41 % 0,51 0,56 1 (27) 4 1 0 0 2 0 79,41 % 0,51 0,56
(8) 12 10 4 0 0 0 23,53 % Regular (8) 12 10 4 0 0 0 23,53 %

2 2 (30) 0 0 0 2 0 88,24 % 0,78 0,21 2 2 (30) 0 0 0 2 0 88,24 % 0,78 0,21

8 (23) 0 2 0 1 0 67,65 % 8 (23) 0 2 0 1 0 67,65 % Muy Fácil Regular. Revisar

3 0 (25) 5 0 0 4 0 73,53 % 0,46 0,56 3 0 (25) 5 0 0 4 0 73,53 % 0,46 0,56

7 (6) 11 2 0 8 0 17,65 % Muy fácil 7 (6) 11 2 0 ¿Qué
8 pasa
0 si algún
17,65 %distractormuyno es elegido por
4 2 0 0 (30) 0 1 0 88,24 % 0,72 0,32 4 2 0 0 (30) 0 ningún
1 alumno
0 del
88,24 grupo
% inferior?
fácil (mínimo0,32
0,72 un
INDICE
6 FACILIDAD
0 5 (19) 0 4 INDICE0 DISCRIMINACIÓN
55,88 % 6 0 5 (19) 0 10%):
4 0 55,88 %
Muy difíciles:0 ID < 0.25 D > 0.39 Excelente. Conservar
5 (28) 1 3 0 2 0 82,35 % 0,57 0,50
Difíciles:
(11) ID 0.25
7 - 0.44
2 10 0D entre40.30 y 0.39
0 Buena.
32,35 % Mejorar
5 (28) 0 1 3 0 •2 Disminuye
0 la 82,35
fiabilidad
% y la
0,57validez pues 0,50
(11) 7 2 10 0 4 0 32,35 %
Normales: ID 0.45 - 0.54 D entre 0.20 - 0.29 Regular. Revisar aumenta el acierto por azar (0.25, 0.33, 0.50)
6 2 0 (24) 5 0 3 0 70,59 % 0,49 0,44 6 2 0 (24) 5 0 3 0 70,59 % 0,49 0,44
Fáciles:2 ID 0.55
3 - 0.74
(9) 16 0D entre40.00 - 0.20
0 Pobre.
26,47 %Descartar 2 3 (9) 16 0 •4 No cumple
0 su26,47
función
%
Muy fáciles: ID > 0.74 D< -0.01 Pésima. Descartar definitivamente
7 5 6 3 (17) 0 2 1 50,00 % 0,32 0,35 7 5 6 3 (17)
3 13 6 (5) 0 7 0 14,71 %
¿Qué significa que un0 distractor
falso 2 1
sea 50,00 % 0,32 0,35
3 13 6 (5) 0 7 0 14,71 %
elegido por un gran nº de alumnos del
8 1 (18) 4 3 0 8 0 52,94 % 0,35 0,35 8 1 (18) 4 3 0 8 0 52,94 % 0,35 0,35
5 (6) 12 2 0 9 0 17,65 % Normal Excelente grupo superior?
5 (6) 12 2 0 9 0 17,65 %
• Ítem mal redactado o confuso
9 6 (25) 0 1 0 2 0 73,53 % 0,47 0,53 9 6
14 (7) 2 6 0 5 0 20,59 % •(25)Problema
0
en1 la enseñanza
0 2 0 73,53 % 0,47 0,53
14 (7) 2 6 0 5 0 20,59 %

10 25 (3) 2 1 0 3 0 8,82 % 0,07 0,03 10 25 (3) 2 1 0 3 0 8,82 % 0,07 0,03

8 (2) 7 6 0 11 0 5,88 % 8 (2) 7 6 0 11 0 5,88 % Muy difícil Pobre. Descartar

Índice de dificultad y discriminación

Muy difícil Pobre
Análisis de los distractores

Examen test Examen test

Reflexiones RECOMENDACIONES
9 Deben ajustarse a la materia de la asignatura
9 Hacer un buen examen test requiere experiencia
y dedicación 9 Más fácil si se elaboran a la vez que se imparte el
contenido
9 Los indicadores orientan hacia la dificultad del
examen y permiten detectar preguntas mal 9 Elaborar buenas preguntas lleva tiempo (¡¡¡hasta

planteadas 30 minutos por pregunta!!!)

9 ¿Repetir preguntas? Sólo las excelentes… Pero
9 En exámenes diferentes, variar el orden de los
es mejor introducir pequeñas variaciones
distractores, no de las preguntas

Evaluación en Grado

Examen test Examen test

RECOMENDACIONES para el enunciado RECOMENDACIONES para los distractores

9 Pensar bien qué concepto (uno) queremos evaluar 9 Respuestas cortas
con cada pregunta
9 Todos los distractores deben ser homogéneos y
9 Plantear cada ítem como una pregunta corta (se
debe poder contestar sin leer las respuestas) plausibles. Es importante tener en cuenta que los
9 Ordenación lógica de los ítems distractores regulan la dificultad
9 Claridad de redacción del enunciado 9 Evitar poner la correcta en situación preferente
9 Redacción en forma afirmativa (Evitar doble
9 Evitar los defectos técnicos, tanto los que facilitan
negación)
como los que dificultan
9 Independencia de los ítems (No incluir elementos
encadenados)

Evaluación en Grado

5
 05/11/2013

Evaluación mediante clickers Clickers

¿Qué es un clicker? ¿Qué se puede evaluar?

9 Dispositivos de respuesta remota, que
9 Asistencia
transmiten las respuestas mediante
radiofrecuencia o infrarrojo. 9 Participación
9 Un receptor USB en el ordenador recoge
9 Conocimientos
los datos de cada clicker.

GRUPOS GRANDES
Evaluación en Grado Evaluación en Grado

Clickers Clickers

9 Asistencia Participación
9 Clases (No obligatorias) Usos al comienzo de la sesión
9 Seminarios (Obligatorias)
• Para revisar lo dado previamente
9 Cómo • Preguntar sobre actividades no
9 Clickers personalizados presenciales encomendadas.

9 Listados • Evaluar conocimientos previos u

opiniones sobre un tema determinado.

Evaluación en Grado

Clickers Clickers

Participación
Usos durante o al final de la sesión ¡¡¡CONDICIONES!!!

• Hacer pequeños test para saber si

están entendiendo (y atendiendo).
Picaresca
• Exigencia de alcanzar un 95% de asistencia
– Subrayar las ideas principales
• Fórmula: Número de problemas a lo largo del
– Recapitular lo dado hasta el momento. curso X puntuación por problemas X factor de
corrección + puntuación por asistencia = 20% de
– Evaluar comprensión del tema
la nota final, siempre y cuando alcanzaran una
– Estimular la participación puntuación mínima

Feedback
Evaluación en Grado Evaluación en Grado

6
 05/11/2013

Clickers Clickers

Enfoque recomendado
Formas de picaresca
9 Calificación por asistencia (Una parte pequeña)
• Colaboración mutua ¾ Aceptable

• Copia de apuntes de otros ¾ Madurez personal 9 Calificación por aciertos (Condiciones)

• Sustitución ¾ Que no les 9 Fomentar la participación del alumno

• Duplicación compense el 9 Entrenamiento para el examen

esfuerzo
• Repetición 9 Aclarar y razonar la respuesta correcta

Evaluación formativa = Juego Compensación

Evaluación en Grado Evaluación en Grado

EVALUACIÓN DE LA MEMORIA DE PASANTIA

Rúbrica CONCEPTO Insuficiente

1-3
Suficiente
4-6
Notable
7-9
Sobresaliente
10-12

Presentación
Cuidado y estructura Descuidada Normalilla. Más o Cuidada Muy esmerada
Qué es Desorganizada menos organizada Organizada Muy bien organizada
Erratas Con muchas erratas Alguna errata Sin erratas Sin erratas y realza
lo importante
9 Sistema de evaluación basada en la Contenido
cuantificación del nivel de consecución de Objetivos No tiene objetivos Se los plantea Los plantea y Los plantea, y
comenta forma de explica la forma y el
una serie de objetivos, que califica un conseguirlos grado de
consecución
desempeño o proceso. Organización de la No contiene Comenta como se Habla de la Lo comenta de forma
estancia organizó organización y sus estructurada,
contenidos resaltando aspectos
Matriz de valoración comentándolos
someramente
de importancia

Componente Nivel de desempeño o logro Patologías No las comenta Comenta algunas Habla de la mayoría Comenta todas de
evaluado Pobre Insuficiente Adecuado Ejemplar
estudiadas forma organizada

Reflexiones y No contiene Comenta de pasada Realiza algunas Dedica un apartado

Objetivo 1 Criterio 1a Criterio 1b Criterio 1c Criterio 1d conclusiones algún aspecto reflexiones específico a ello y lo
hace con criterio
Objetivo 2 Criterio 2a Criterio 2b Criterio 2c Criterio 2d Casos clínicos Los presenta de Los presenta de Los presenta de Los presenta de
forma somera y forma clara sin forma organizada, forma organizada,
… desorganizada profundizar en ello con profundidad con claridad y
profundidad,
apoyándose en
bibliografía
Evaluación en Grado
Otros aspectos A criterio del tribunal. Idioma, datos añadidos, calidad de imágenes,...

Rúbrica Rúbrica

Ventajas Donde aplicarlo

9 Para el profesor • Evaluación de conocimientos, actitudes
9 Describe y estructura los niveles de logro y habilidades prácticas
9 Reduce la subjetividad 9 Exámenes de temas
9 Obliga a la concreción (categorizar) 9 Seminarios en grupos reducidos
9 Para el alumno 9 Pasantías
9 Le informa del nivel de exigencia 9 Memorias
9 Permite la autoevaluación 9 Trabajos

Evaluación en Grado Evaluación en Grado

7
 05/11/2013

Rúbrica Rúbrica

Desarrollo del ABCp Plantilla de evaluación: Tutores

Caso problema. 9 Conocimientos: Planteamiento, participación

activa (intervenciones)
9 Fase I: Planteamiento
9 Habilidades: Adquisición de conocimientos, de
9 Hechos, hipótesis, objetivos de
aprendizaje y reparto de tareas comunicación o de relación

9 Fase II: Desarrollo y presentación 9 Actitudes: Asistencia, integración, liderazgo,

9 Presentación de la información
obtenida de cada parte del trabajo
9 Fase III
participación,...
JD Casas. Guía practica del tutor en el ABP. Preguntas y algunas respuestas.
En: Actividades de innovación en la educación universitaria española (APURF) 2013

Evaluación en Grado Evaluación en Grado

Rúbrica Autoevaluación

9 Plantilla de evaluación: Alumno 9 Tendencia a sobrevalorarse

9 Más en repetidores
9 Autoevaluación
9 Los responsables son más justos
9 Evaluación por pares
• Conocimientos: Contenido y calidad del
trabajo Rúbrica:
• Habilidades: Comunicación y relación 9 Aportar criterios de evaluación
• Actitudes: Responsabilidad, integración

Evaluación en Grado

Evaluación por pares Evaluación por pares

9 Amiguismo / Enemistad Evaluación discriminativa

9 Críticas • Modulación de la nota
9 Importancia de los comentarios 9 Determinación de la Varianza de las notas
que cada alumno pone a los demás
9 A mayor discriminación de sus notas,
mayor ponderación de la suya propia
Rúbrica
9 Ajuste final de los tutores según la mejor nota
9 Aportar criterios de evaluación

Estimular la evaluación discriminativa

Evaluación en Grado

8
 05/11/2013

Evaluación en Grado Idea final sobre la evaluación

• Porcentajes: SE TRATA DE GUIARLE EN SU APRENDIZAJE

9 Examen 65 - 80 % Y DARLE MOTIVOS PARA QUE ESTUDIE

9 Examen parcial 5 - 10 % CON EL FIN DE

9 Trabajos 10 - 15 %
AYUDARLE A APRENDER Y
9 Asistencia y participación 5 - 15 %
ALCANZAR LOS OBJETIVOS
9 Seminarios, clases, pasantías

Evaluación en Grado

Bibliografía Evaluación en Grado

• http://www.nbme.org/PDF/IWG-Sp/IWG-Spanish2006.pdf

• http://www.unav.edu/web/innovacion-educativa

• http://www.unav.edu/web/innovacion-educativa/examenes-tipo-
test#

• http://www.unav.edu/web/innovacion-educativa/clickers

• http://www.unav.edu/web/innovacion-educativa/evaluacion

• http://www.unav.edu/web/innovacion-educativa/la-rubrica jdaquerret@unav.es
Servicio de Radiología
• http://www.unav.edu/documents/29813/269141/evaluacion.pdf Facultad de Medicina
Clínica Universidad de Navarra