8/24/2010

Curso de capacitación docente-pedagógica

para formadores de Médicos Residentes
Departamentos de Graduados y de Educación Médica
Facultad de Medicina de la UNNE

Evaluación de Competencias en
las residencias médicas

Prof. Juan José Di Bernardo

Director del Departamento de Educación Médica

“La evaluación se aplica para determinar si se

lograron los objetivos del proceso de enseñanza-
aprendizaje e implica un proceso sistemático de
acopio de información a través de la aplicación de
instrumentos válidos y confiables, para ser
analizada objetivamente y poder emitir juicios de
valor sobre el grado de correspondencia de la
información y criterios previamente
p establecidos,,
fundamentando la toma de decisiones sobre el
proceso educativo”
Sánchez-Mendiola M. (2007) UNAM. México

1
 8/24/2010

Desventajas de la evaluación actual

Los métodos tradicionales de evaluación:

„ Son eventos únicos, limitados al final de un ciclo o
curso, y no evalúan el progreso de los residentes
a través del tiempo.

„ Están dirigidos a evaluar solo el conocimiento y no

el comportamiento profesional que los residentes
deben desarrollar al finalizar su formación.
formación

„ Centran la atención del residente en la preparación

y la aprobación del examen, y no en el aprendizaje.

Desventajas de la evaluación actual

Los métodos tradicionales de evaluación:

„ Están
E tá centrados
t d en ell d docente,
t y son iincongruentes
t
con el aprendizaje centrado en el residente, donde
la reflexión y las habilidades de aprendizaje de por
vida son claves en un profesional de la salud.

„ Adjudican una calificación que solo indica logro o

fracaso, cuando la educación basada en
competencias exige detalles específicos de las
capacidades del residente.

2
 8/24/2010

Reglas generales para la evaluación

1. Especificar claramente lo que se va a evaluar.

2
2. Elegir el instrumento acorde a lo que se va a
evaluar.

3. Considerar la combinación de instrumentos.

4. Tener conciencia de las limitaciones del método.

5. Recordar que es un medio para un fin, no un fin

en sí mismo.

Sánchez-Mendiola M. (2007) UNAM. México

Tipos de Evaluación

„ Diagnóstica

„ Formativa

„ Sumativa

3
 8/24/2010

Evaluación Diagnóstica

„ Puede aplicarse al ingreso a la residencia

para identificar las fortalezas y debilidades
formativas de cada aspirante y hacer los
ajustes necesarios al programa.

„ La devolución de los resultados al residente

le permiten reconocer sus necesidades de
aprendizaje.

Evaluación Formativa
„ Se desarrolla durante el proceso de
formación de los residentes con el objetivo
de proporcionarles retroalimentación
constructiva en forma individual y oportuna.
„ No debe tener la intensión de decidir si
pasa o no pasa.
„ Es conveniente articularla con la evaluación
formativa del programa que tiene por objeto
mejorar la calidad del mismo.

4
 8/24/2010

Evaluación Sumativa

Consiste en la integración de todas las

evaluaciones
l i realizadas
li d a llo llargo d
dell ciclo
i l
de formación y se utiliza para decidir si el
residente cumple los requisitos para
continuar su entrenamiento el año próximo
o debe abandonar el programa, y si al
finalizar la residencia debe ser certificado
en la especialidad.

Variables a considerar en los

Instrumentos de Evaluación

„ Validez

„ Confiabilidad

„ Impacto Educativo

5
 8/24/2010

Variables a considerar en los

Instrumentos de Evaluación

„ Validez
„ Confiabilidad

„ Impacto Educativo

Validez
Es el grado con el que el instrumento mide lo que
se supone que mide, en una situación específica y
con un grupo de estudiantes específico.

ƒ Validez de constructo: muestra hasta qué punto el

método mide lo que se pretende que mida.
ƒ Validez de criterio: muestra si los resultados de un
examen son concordantes con los resultados de
otras pruebas ya validadas.
ƒ Validez de contenido: indica el grado de “muestreo”
de todos los aspectos que se pretende medir.

Brailovsky C. Evaluación de las competencias. OPS-UBA, 2001.

6
 8/24/2010

Variables a considerar en los

Instrumentos de Evaluación

„ Validez

„ Confiabilidad
„ I
Impacto
t Educativo
Ed ti

Confiabilidad
„ Es la capacidad del examen de arrojar un resultado
consistente (reproducible) cuando se repite.
„ Es un concepto estadístico, que representa el grado en
el cual las puntuaciones de los alumnos serían similares
si fueran examinados de nuevo.
„ Se mide con un coeficiente de correlación, entre “1”
(correlación perfecta) y “0” (ninguna correlación), siendo
aceptables
t bl valores
l d
de 00,8
8 o más.
á
„ La confiabilidad es necesaria para la validez, pero puede
haber resultados confiables sin validez.

Linn & Gronlund: Measurement and Assessment in Teaching. 2000.

7
 8/24/2010

Demandas de Confiabilidad según la Decisión

„ Alta confiabilidad es necesaria cuando:

La decisión es importante; es final (en un curriculum,
una carrera); es irreversible; no se puede confirmar;
está relacionada con individuos; o tiene efectos
duraderos (por ejemplo, selección de residentes).

„ Baja confiabilidad es tolerable cuando:

La decisión es de menor importancia;
p ; se toma en
estadios tempranos del currículum; es reversible; se
puede confirmar por otras fuentes; está relacionada
con grupos; o tiene efectos temporarios.

Linn & Gronlund: Measurement and Assessment in Teaching. 2000.

Variables a considerar en los

Instrumentos de Evaluación

„ Validez

„ Confiabilidad

„ Impacto Educativo

8
 8/24/2010

Impacto Educativo
“La evaluación guía el aprendizaje a través
de su formato”
Las tareas solicitadas en las pruebas deben ser lo más
cercanas posibles a las que los estudiantes realizarán en
la práctica real. Esto orientará sus esfuerzos hacia el
“aprender” y no solo a “pasar” los exámenes.

“La evaluación guía el aprendizaje a través de la

retroalimentación brindada a los alumnos”
alumnos
Conocer los resultados del examen estimula al alumno a
comprometerse con su aprendizaje, además son un buen
insumo para mejorar el programa de formación.

Que instrumentos de evaluación

podemos utilizar?

9
 8/24/2010

Pirámide de Miller y métodos de evaluación

Desempeño con
pacientes reales
HACE Mi i CEX
Mini
Posgrado

Grado ECOE - Simuladores

DEMUESTRA COMO Portfolio - Triple salto

Mapa conceptual
SABE COMO Ensayo - Portfolio
MCQ - KFs - EMQs

MCQ - ensayo
SABE Examenes orales

Que instrumentos de evaluación

podemos utilizar en las
residencias?

10
 8/24/2010

Instrumentos de evaluación
para aplicar en las residencias

1 P
1. Para evaluar
l conocimientos
i i t yh
habilidades
bilid d
para resolver problemas.

2. Para evaluar habilidades prácticas y

actitudes profesionales.

3. Para realizar evaluaciones globales o

integrales.

Instrumentos para evaluar

conocimientos y habilidades
para resolver problemas

11
 8/24/2010

Evaluaciones Escritas

„ Pruebas en formato “de respuesta”

„ Pruebas en formato “de estímulo”

Schuwirth & Van der Vleuten (2004) Med Educ 38

Pruebas en formato de respuesta

„ Preguntas de opción múltiple (MCQ)

„ Preguntas de respuesta corta

No son mejores que las de MCQ y deberían limitarse a
situaciones en las que la generación espontánea de la
respuesta es un aspecto esencial del estímulo.

„ Preguntas de ensayo
Exigen procesar el conocimiento, más que reproducirlo;
requieren procesos de razonamiento, síntesis y
aplicación del conocimiento en diferentes contextos.
Schuwirth & Van der Vleuten (2004) Med Educ 38

12
 8/24/2010

Pruebas en formato de estímulo

„ Preguntas “pobres en contexto”

Evalúan conocimiento tipo memorístico más que el
razonamiento, pero pueden ser esenciales para la
comprensión de los conceptos. (nivel “sabe”)

„ Preguntas “ricas en contexto”

Son preguntas relacionadas con un caso clínico y
permiten evaluar más efectivamente el razonamiento
clínico y las competencias. (nivel “sabe cómo”)

Schuwirth & Van der Vleuten (2004) Med Educ 38

MCQ en formato de respuesta

1. Indique cual de las siguientes opciones es una

causa de anemia microcítica-hipocrómica.

a) Déficit de vit. B12

b) Pérdida de Hierro
c) Déficit de Folato
d) Aplasia Medular

13
 8/24/2010

MCQ en formato de estímulo

1. Un paciente de 24 años presenta astenia y disnea

de varias semanas de evolución,, y palidez
p cutaneo-
mucosa. Hcto 24%; G.Blancos: 7200 y VCM: 72 fl.
Indique la causa más probable de la Anemia.

a) Déficit de vit. B12

b) Pérdida de Hierro
c) Déficit de Folato
d) Aplasia Medular

Otras pruebas en formato de estímulo

„ Preguntas con lista larga de opciones
EMQs (extended-matching questions)
Algunas
g opciones
p p
pueden aplicarse
p a más de 1 viñeta y
otras no se aplican a ninguna. Se penalizan las
decisiones que ponen en riesgo la vida del paciente.

„ Problemas Basados en “Puntos Clave”

KFs (Key Features)
Se presenta un problema clínico con información para
interpretar y se pide identificar características claves o
decisiones esenciales (no rutinarias). Las elecciones
erróneas restan puntaje
Schuwirth & Van der Vleuten (2004) Med Educ 38

14
 8/24/2010

Recuerdos Estimulados por Tablas (CSR)

„ Consiste en la presentación de varios casos clínicos

reales a través de tablas o g
gráficos sobre los q
que el
residente debe responder en 5 a 10 minutos por caso
con reglas de puntuación previamente definidas.
(puede durar hasta 2 horas con más de un evaluador).
„ Se utiliza para evaluar decisiones clínicas y aplicación
de los conocimientos (interpretación de hallazgos y
estudios, planes de diagnóstico y tratamiento, etc)
„ Se ha reportado un confiabilidad entre 0,65 y 0,88

Examen Oral (El Caso Largo)

“El residente debe entrevistar y examinar a un paciente,

sin ser observado, por 30 a 45 min. y luego debe
reportar al examinador sobre sus hallazgos y
responder preguntas sobre el mismo”

Debilidades:
„ Confiabilidad inter-observador (efecto halcón/paloma)

„ C fi bilid d iinter-casos
Confiabilidad t ( caso no predice
(un di otros)
t )

„ La validez y el impacto educativo no han sido evaluados

Wass & Van der Vleuten (2004) The long case. Med Educ 38(11)

15
 8/24/2010

El Triple Salto (TJ)

„ 1ª Etapa: Los residentes analizan individualmente

un escenario clínico y preparan un informe escrito
formulando sus hipótesis e identificando sus
necesidades de aprendizaje.

„ 2ª Etapa: Estudio independiente y autodirigido

donde cada residente busca y revisa la información
necesaria para resolver el problema
problema.

„ 3ª Etapa: El residente presenta sus conclusiones y

juzgar su propias actuaciones ante sus docentes.
McMaster University (1995). The triple jump, evaluation methods.

Instrumentos para evaluar

habilidades prácticas y
actitudes profesionales

16
 8/24/2010

Evaluación con Listas de Cotejo

„ Es un listado de conductas o acciones específicas
g
desglosadas de una competencia y se utiliza para
la observación del desempeño del residente. Cada
ítem se registra por SI/NO o cualitativamente
„ Permiten evaluar comportamientos específicos y
actividades de una competencia o componente de
una competencia.
t i También
T bié se pueded utilizar
tili para
la autoevaluación.
„ La confiabilidad esta en el rango de 0,7 a 0,8

Ejercicio de Examen Clínico Reducido (Mini-CEX)

“Los residentes son observados en acción con un

paciente, con el observador físicamente presente,
por cámaras en directo o video de la entrevista”
Debilidades:
„ Muchas variaciones intraobservador e interobservador
„ Con escalas globales, se detectan sólo el 30% de las
debilidades y fortalezas.
„ Las listas de cotejo incrementan un 60% la detección
de fortalezas y debilidades.

Norcini, J.J. (2005) The mini-CEX. Clinical Teacher 2(1)

17
 8/24/2010

Examen Clínico Objetivo Estructurado (ECOE)

„ Consiste en exponer al residente a diferentes
estaciones (15 a 20) por 10 a 15 min. cada una.
Donde deben interpretar datos, entrevistar un Pte
simulado, hacer maniobras con maniquíes etc. Se
complementa con una prueba escrita.
„ Es un medio estandarizado para evaluar
habilidades, destrezas, actitudes, jjuicio clínico y
otros componentes de las competencias clínicas.
„ Tiene alta validez, confiabilidad e impacto.

Instrumentos para hacer

evaluaciones globales o integrales

18
 8/24/2010

Evaluación en 360º

„ Consiste en articular escalas de evaluación de

distintos evaluadores (docentes, compañeros,
enfermeras, pacientes y sus familias).
„ Se utiliza para evaluar habilidades interpersonales
y de comunicación, profesionalismo y algunos
aspectos de la atención del paciente y practicas
basadas en los sistemas de salud.
„ En otros escenarios ha mostrado una confiabilidad
de hasta 0,90.

Calificación Global de Rendimiento

„ Es una evaluación realizada en un período de
tiempo, por más de un evaluador, a partir de
múltiples fuentes de información (observaciones,
interacciones, productos, comentarios de otros)
aplicando escalas cuali-cuantitativas.
„ Es muy utilizada para evaluar el desempeño de
un residente en una rotación clínica, sus
habilidades, conocimientos, cumplimiento, etc.
„ Es muy subjetiva y exige experiencia del docente.

19
 8/24/2010

Evaluación de los Registros

„ Consiste en la revisión de los registros que el
residente completa (HC, protocolos, indicaciones,
etc) por parte de personal capacitado de la
institución en base a estándares preestablecidos
„ Permite evaluar la toma de decisiones clínicas, el
seguimiento en el manejo del paciente, el uso
adecuado de las instalaciones y recursos, etc)
„ La confiabilidad es buena cuando se evalúan más
de 8 a 10 registros por residente.

Registro de procedimientos y operaciones

„ El registro sistemático de los procedimientos e

intervenciones quirúrgicas realizadas por el
residente, así como determinados problemas
clínicos resueltos, constituye una forma de
evaluación del alcance de la experiencia en el
cuidado de los pacientes.
„ Algunos centros utilizan grabaciones de los
procedimientos para exponer ante evaluadores.
„ Puede utilizarse con fines formativos y sumativos.

20
 8/24/2010

Encuestas al Paciente
„ Además de evaluar la satisfacción del paciente
con el hospital pueden incluir preguntas acerca de
la atención brindada por el médico (tiempo con el
paciente, trato, interés, etc) y otros aspectos más
específicos (explicaciones dadas, etapas de
tratamiento, efectos secundarios etc)
„ Permite evaluar competencias del cuidado del
paciente, habilidades interpersonales y de
comunicación, y otras competencias.
„ Tiene una confiabilidad de 0,70 a 0,90

Portfolio
„ Consiste en recopilar información que pueda se útil para
determinar las habilidades desarrolladas por el residente.

„ Permite al docente y al residente, monitorear la evolución

del proceso de aprendizaje y hacer los ajustes necesarios.

„ Es más útil para evaluar el dominio de competencias que

son difíciles de evaluar por otras vías.

„ Para elaborarlo es necesario: determinar el propósito,

seleccionar contenido y estructura, decidir cómo se va a
manejar y conservar, y establecer criterios de evaluación.
Snadden D. (1999) Portfolios Med Educ 33

21
 8/24/2010

Feedback o retroalimentación
del tutor en ABP

Devolución Constructiva
Técnica de administración (Pendleton)
1. El docente clarifica los puntos a analizar.
2. El estudiante identifica qué hizo bien.
3. El docente identifica qué es lo que estuvo bien.
4. El estudiante reflexiona sobre lo que no anduvo
bien y cómo lo puede mejorar.
5. El docente identifica áreas a mejorar.
6. Ambos se ponen de acuerdo en las áreas a
mejorar y formulan un plan de acción.
Alves de Lima A: Medicina 68 (1), 2008

22
 8/24/2010

Tabla 1: Utilidad de los diferentes instrumentos de evaluación

Tipo de prueba Confiabilidad Validez Impacto Costo

Opción Múltiple +++ +++ + +

“Puntos Clave” +++ +++ ++ ++
Examen oral + + + +/++
Ensayo + + + +/++
Caso largo + + + ++/+++
Mini CEX ++ +++ +++ ++/+++
Portafolio +/++ ++ +++ ++
ECOE ++/+++ +++ +++ +++
(+) bajo (++) moderado (+++) alto

Durante E (2006) Rev. Hosp. Ital. B.Aires 26 (2)

Confiabilidad de los instrumentos según el tiempo de la prueba

Instrumento 1 hora 2 horas 4 horas 8 horas

Multiple-choice 0.62 0.76 0.93 0.93

Lista larga de opciones 0 36

0.36 0 53
0.53 0 69
0.69 0 82
0.82

Casos con "puntos clave" 0.32 0.49 0.66 0.79

Examen Oral 0.50 0.69 0.82 0.90

Caso Largo 0.60 0.75 0.86 0.90

Mini-CEX 0.73 0.84 0.92 0.96

Observacion por Video 0.62 0.76 0.93 0.93

ECOE 0.54 0.69 0.82 0.90

Valor mínimo aceptable 0.80

Van der Vleuten & Schuwirth (2005) Medical Education 39

23
 8/24/2010

Aplicación de los instrumentos

Competencias Instrumentos

Cuidado del CSR, Evaluación de Registros, Encuesta

Paciente a ptes, E-360º, mCEX, ECOE

Conocimiento
CSR, MCQ, Examen Oral
Médico

Aprendizaje basado Portfolio, Evaluación de Registros, CSR,

en la práctica Examen Oral

Habilidades Pacientes Estandarizados, ECOE,

iinterpersonales
l E
Encuesta a ptes, E360º

Profesionalismo E-360º, ECOE, Encuesta a ptes

Practica basada en los

MCQ, encuesta a ptes, portfolio , E-360º
Sistemas de Salud

Trabajo Grupal
„ Cada uno de los grupos se reunirá para discutir y
analizar posibles estrategias de evaluación para la
competencia elaborada por el grupo
„ Consigna: Elegir el instrumento para evaluar esa
competencia y la forma de aplicación.
„ Tiempo de trabajo: Media (1/2) hora
„ Presentación: ante el plenario indicando cual es la
herramienta y la forma más adecuada para evaluar la
competencia clínica presentada.

24