Tutoría en un plan de estudios basado en problemas: Expert Versus

Nonexpert

Daniela Bochner, D.M.D.; Rachel L. Badovinac, D.M.D.; Thomas H. Howell,

D.D.S., M.M.Sc.; Nadeem Y. Karimbux, D.M.D., M.M.Sc.

Resumen: Muchos estudios han examinado si ser un "experto" influye en el

éxito de un tutor en un plan de estudios de aprendizaje basado en problemas.
Sin embargo, no hay estándares establecidos para determinar la experiencia.
El propósito de este estudio fue examinar si los estudiantes evalúan a los
tutores expertos y no expertos de manera comparable y determinar si
establecer diferentes estándares para determinar la pericia influye en el
resultado de los hallazgos anteriores. Se analizaron las evaluaciones de los
tutores, que consisten en ocho preguntas tipo Likert completadas por
estudiantes de primer, segundo y tercer año de odontología. Los tutores fueron
calificados por los autores dentro de tres categorías diferentes de experiencia
en función del grado educativo más alto que habían obtenido, la familiaridad
con el tema específico y la experiencia previa en el aprendizaje basado en
problemas (PBL). Luego se realizaron análisis de regresión lineal entre cada
categoría y los resultados de la evaluación de los estudiantes. Se encontró una
diferencia estadísticamente significativa en la forma en que los estudiantes
evaluaron a los expertos, pero solo cuando la experiencia del tutorial anterior
definió la experiencia. Los hallazgos de este estudio subrayan la importancia de
la retención de la facultad de odontología con experiencia de PBL en un plan
de estudios basado en PBL.

El aprendizaje basado en problemas (PBL) se introdujo en los cursos de la

Escuela de Medicina Dental de Harvard (HSDM, por sus siglas en inglés) en
1994. La motivación detrás de la adaptación de este método educativo fue
fomentar el entusiasmo y la capacidad para participar en el aprendizaje
autodirigido e impartir una comprensión excelente. de ciencia básica y aptitud
para incorporar consideraciones psicológicas y sociales en el cuidado de los
pacientes.1 El PBL se instituyó en HSDM a través del programa New Pathway,
que coordina conferencias, laboratorios y sesiones clínicas en un esfuerzo por
aumentar sinérgicamente la comprensión, las habilidades y los conocimientos
de los estudiantes y la motivación.

El rol del tutor es una parte integral del éxito de este y otros programas de PBL.
En un modelo de cómo funciona la PBL, se considera que el desempeño del
tutor (junto con el conocimiento previo de los estudiantes y la calidad de los
casos analizados) es un determinante primordial de cómo funciona el grupo de
tutoría.2
Debido a la importancia inherente del tutor para PBL, existe un gran interés en
identificar las características que contribuyen al éxito del tutor, lo que en última
instancia conduce al éxito del estudiante. Una característica específica que ha
estimulado el debate importante es el concepto del experto en contenido. La
base del debate es la importancia central del desarrollo de las habilidades de
los estudiantes en el aprendizaje activo y autodirigido en PBL. De acuerdo con
Barrows, la facilitación es clave para el rol del tutor de PBL y es fundamental
para el aprendizaje de los estudiantes.3 Sin embargo, existe la preocupación
de que los expertos en contenido no estén satisfechos simplemente para
facilitar, sino que también tiendan a comunicar información sobre los sujetos, lo
que dificulta Colaboración grupal y aprendizaje autodirigido. Schmidt et al.
descubrieron que los tutores expertos en contenido utilizaban más su
experiencia, mientras que los no expertos utilizaban más sus habilidades de
facilitación de procesos.

En un estudio de tutores de la Escuela de Medicina de Harvard, Silver y

Wilkerson descubrieron que los tutores con experiencia tendían a desempeñar
un papel más directivo en las tutorías: hablaban con más frecuencia y más
extensamente. Además, las interacciones tutor-estudiante predominaron junto
con menos interacciones estudiante-estudiante.5 Otro estudio del New
Pathway en la Escuela de Medicina de Harvard por Calvin y Wetzel encontró
que los tutores no tienen que ser expertos para tener éxito.6

Por otro lado, hay algunos estudios que encuentran beneficios positivos al
tener tutores expertos. Davis et al. encontró que el rendimiento en las pruebas
de los estudiantes aumentó cuando los tutores estaban activos en la
investigación o tenían una formación disciplinaria avanzada en el tema de la
tutoría. Schmidt et al. informaron que los estudiantes guiados por expertos
pasaron más tiempo en el estudio autodirigido y obtuvieron mejores
calificaciones de logros.4 De manera similar, Eagle et al. encontró que los
estudiantes tutelados por expertos produjeron más del doble de los problemas
para el aprendizaje autodirigido y pasaron casi el doble de la cantidad de
tiempo dedicado al autoestudio.8 Sin embargo, Swanson et al. encontró que los
expertos en tutor no tenían efectos medibles en el rendimiento de los
estudiantes.9

Un factor que puede contribuir a los hallazgos inconsistentes es que no hay

estándares establecidos para determinar la experiencia. Debido a la naturaleza
amorfa del término "experto", cada estudio estableció sus propios estándares
mediante los cuales determinar la experiencia.

Por ejemplo, en un estudio de Schmidt y Moust, la experiencia se midió por las

respuestas de los alumnos a un cuestionario que incluía afirmaciones como "El
tutor utilizó su conocimiento de la materia para guiar al grupo" .10 En otro
estudio de Schmidt, "no peritos" fueron tutores cuya capacitación previa no
estaba relacionada con el problema en cuestión ”y“ tutores que tenían
conocimientos generales generales sobre la unidad pero no una experiencia
específica. Los expertos eran tutores con conocimientos previos bastante
específicos relevantes para la unidad ".11 En el estudio de Davis et al., Se
identificó a los expertos como profesores que tenían un interés de investigación
activo en el tema en cuestión7. En un estudio de Kaufman y Holmes, los
propios tutores determinaron su condición de expertos.12 Ambos Regehr et al.
y Eagle et al. usó la experiencia del tutor con un caso particular, ya sea a través
del desarrollo del caso o la práctica clínica, para determinar la experiencia. 8,
13

Nuestro estudio tuvo tres propósitos: primero, investigar si los estudiantes

evaluaron tutores expertos y no expertos de manera comparable; segundo,
para determinar si establecer diferentes estándares para determinar la pericia
influye en el resultado de los hallazgos anteriores; y tercero, investigar si el
efecto de la pericia en la evaluación se modifica por año escolar (es decir,
primero-tercero).

Métodos

Recopilación de datos

Entre 1996 y 2001, todos los estudiantes de primer, segundo y tercer año de
HSDM fueron asignados al azar a grupos de tutoría para cada uno de sus
bloques. Los estudiantes de primer y tercer año participaron en cinco bloques,
y los estudiantes de segundo año participaron en tres bloques. Al final de cada
bloque, se solicitó a cada estudiante, pero no se le exigió, que completara una
evaluación anónima de su tutor de bloque. La evaluación del tutor consistió en
una serie de ocho declaraciones (Q1-8) que describen varios aspectos del
desempeño del tutor en los tutoriales. Los estudiantes evaluaron las
afirmaciones en una escala Likert de cinco puntos, con una definida como
excelente y cinco definidas como deficiente. Durante el período de evaluación
para este estudio, un total de sesenta y cinco evaluaciones de curso deberían
haber estado disponibles para el análisis. Cuarenta y siete evaluaciones de los
cursos fueron recolectadas y disponibles para análisis. Un total de noventa y
siete tutores diferentes estaban disponibles para su análisis; Tres de ellos no
pudieron clasificarse según el sistema de clasificación utilizado, por lo que se
examinaron noventa y cuatro tutores, en un total de 186 sesiones de tutoría.

De un total potencial de 1,504 evaluaciones (47 cursos disponibles x 4

tutoriales x 8 estudiantes en promedio por tutorial), se analizaron 1,099 para
este estudio: 73 por ciento del total disponible. El 27 por ciento no analizado
incluyó respuestas que no fueron devueltas o completadas por los estudiantes
(los estudiantes no estaban obligados a completar las evaluaciones durante los
años de este estudio) y las evaluaciones que estaban incompletas.
Definiciones de “Experto”

Para los fines de este estudio, el término experto se definió como "tener,
involucrar o mostrar habilidades especiales o conocimientos derivados de la
capacitación o experiencia" (www.merriamwebster.com). Los autores
desarrollaron tres clasificaciones para medir la experiencia y clasificaron a cada
tutor (para cada bloque y año) en consecuencia (Tabla 1). Los estándares de
experiencia se basan tanto en las clasificaciones desarrolladas por
investigadores anteriores como en la estimación de los autores de las
clasificaciones de experiencia que son más aplicables al tutorial dental. Los tres
estándares diferentes se basan en el nivel más alto de educación alcanzado
por el tutor (clasificación A), la familiaridad del tutor con un área temática
particular (clasificación B) y la experiencia previa de tutoría (clasificación C).
(Ver tabla 1).

Dentro de la clasificación A, los tutores de la subclase 1 tienen un D.M.D.,

D.D.S. o Ph.D. solo grado Los tutores de la subclase 2 tienen una D.M.D. o
D.D.S. y actualmente se dedican a una capacitación especializada o tienen un
Ph.D. y se dedican al trabajo postdoctorado; y los tutores de la subclase 3
tienen una D.M.D. o D.D.S. y haber completado su entrenamiento de
especialidad o tener un doctorado. y han completado su trabajo postdoctorado.

Dentro de la clasificación B, los tutores de la subclase 1 no tienen exposición

previa al área temática específica discutida en el tutorial; Los tutores de la
subclase 2 tienen una exposición mínima al área temática, sin educación o
práctica continua en el área; y los tutores de categoría 3 tienen exposición al
área temática, con educación continua y práctica del área. La exposición en la
que se basa la clasificación B podría ser a través de actividades clínicas o de
investigación o mediante el desarrollo de casos. Dado el carácter subjetivo de
este sistema de clasificación, uno de los autores que está familiarizado con la
historia clínica, investigativa y clínica de cada tutor personalmente y de los
registros escritos hizo la clasificación de cada tutor dentro de la clasificación B.
Un segundo investigador también verificó esto de forma independiente
clasificación. Los desajustes o tutores que no pudieron clasificarse no se
incluyeron en el estudio (un total de tres tutores).

Dentro de la clasificación C, los tutores de la subclase 1 no tienen tutoría previa

ni experiencia con PBL, los tutores de la subclase 2 han dado tutoría una vez
antes o fueron estudiantes de PBL en el pasado, y los tutores de la subclase 3
han impartido tutoría más de una vez. Cabe señalar que un número menor de
subclases indica niveles más bajos de experiencia.

El potencial para la participación personal de un tutor en actividades clínicas o

científicas y la naturaleza interdisciplinaria de la odontología subyace en la
importancia de distinguir entre las categorías A y B. Por ejemplo, considere un
bloque de introducción destinado a presentar a los estudiantes el diagnóstico
del paciente a través de la historia, el examen físico. y análisis radiográficos.
Hay pocas razones para pensar que un prostodoncista (por grado) tenga más
experiencia en esta área que un dentista general, pero nuestro sistema de
clasificación determinaría que el prostodoncista tiene más experiencia dentro
de la categoría A.

Análisis estadístico

El análisis estadístico asume que no hubo diferencias entre las evaluaciones

del tutor que fueron y no fueron enviadas por los estudiantes. Se realizaron
análisis de regresión lineal univariantes entre cada variable independiente,
clasificación A, B y C, y año académico, y la variable de resultado, Qmean (=
{Q1 + Q2 + Q3 + Q4 + Q5 + Q6 + Q7 + Q8} / 8 para todas las evaluaciones).
Para los análisis univariados, las clasificaciones A, B y C se trataron como
variables categóricas ordinales. El año académico se trató como una variable
categórica nominal, utilizando dos variables ficticias ingresadas
simultáneamente en el modelo. Para cada resultado, se construyeron modelos
multivariados utilizando el año académico y la variable de experiencia,
clasificación A, B o C, más cercana a la significación estadística. En el caso de
los modelos multivariados, las variables de experiencia se trataron como
variables categóricas nominales. Para cada modelo, se agregó un término de
producto entre la experiencia ordinal y el año académico ordinal para evaluar la
interacción multiplicativa. En todos los casos, el alfa se fijó en 0.05. Todos los
análisis estadísticos se realizaron utilizando el paquete estadístico STATA.

Resultados

En este estudio, 39.78 por ciento de las evaluaciones de tutoría fueron

completadas por estudiantes de primer año, 23.12 por ciento fueron
completadas por estudiantes de segundo año y 37.10 por ciento fueron
completadas por estudiantes de tercer año. La tabla 2 resume las estadísticas
de los 186 tutoriales analizados. Con respecto a la clasificación A, nueve
tutoriales (4.84 por ciento) tenían tutores que estaban en la subclase 1, ochenta
y siete (46.77 por ciento) tenían tutores que estaban en la subclase 2, y
noventa tutoriales (48.39 por ciento) tenían tutores que estaban en la subclase
3 . Con respecto a la clasificación B, un tutorial (0.54 por ciento) tenía un tutor
que estaba en la subclase 1, 104 tutoriales (55.91 por ciento) tenían tutores
que estaban en la subclase 2, y ochenta y un tutoriales (43.55 por ciento)
tenían tutores que estaban en subclase 3. Con respecto a la clasificación C,
setenta y cuatro tutoriales (39.78 por ciento) tenían tutores que estaban en la
subclase 1, cuarenta y nueve tutoriales (26.34 por ciento) tenían tutores que
estaban en la subclase 2, y sesenta y tres tutoriales (33.87 por ciento) Tenían
tutores que estaban en la subclase 3.

La tabla 3 resume las calificaciones de los estudiantes. De los 186 tutoriales

evaluados, 184 tutoriales tuvieron evaluadores que respondieron a todas las
afirmaciones. La calificación promedio para Qmean fue de 1.76 con un SD de
.64. Los medios de las declaraciones individuales oscilaron entre 1.61 y 2.18.

La Tabla 4 resume los resultados del análisis de regresión lineal univariable de

Qmean y clasificación A, clasificación B, clasificación C y año académico. No
existe una relación lineal aparente entre Qmean y la clasificación A, la
clasificación B o el año académico al considerar las respuestas de los
estudiantes de primer año en comparación con las de los estudiantes de tercer
año. Sin embargo, existe una relación lineal estadísticamente significativa entre
Qmean y ambas clasificaciones C (coeficiente -.111, SE .054, valor de p .043,
IC del 95 por ciento {-.218, -.003}) y las respuestas de primera estudiantes de
año en comparación con los de estudiantes de segundo año (coeficiente -.374,
SE .120, valor de p .002, IC del 95 por ciento {-.670, -.138}).

La Tabla 4 también resume los resultados del análisis de regresión lineal

multivariable de Qmean con los tutores por primera vez en comparación con los
tutores con una experiencia de tutoría previa (clasificación C1-2), los tutores
por primera vez en comparación con los tutores con más de una experiencia de
tutoría previa (clasificación C1- 3), primero estudiantes de año en comparación
con estudiantes de segundo año (Acad. Año 1-2), y estudiantes de primer año
en comparación con estudiantes de tercer año (Acad. Año 1-3). Se encontró
una relación lineal estadísticamente significativa entre Qmean y ambas
clasificaciones C1-3 (coeficiente -.211, SE .107, valor de p .050, IC del 95 por
ciento {-.421, .000}) y Acad. Año 1-2 (coeficiente -.364, SE .119, valor de p
.002, IC del 95 por ciento {-.599, -.130}).

La tabla 5 resume los resultados del análisis de regresión lineal entre Qmean y
los tutores de clasificación C a medida que avanzan de la subclase 1 a la
subclase 2 y de la subclase 1 a la subclase 3 para cada año académico. Existe
una relación estadísticamente significativa entre Qmean y el avance de los
tutores de la subclase 1 a la subclase 3 en el tercer año académico (coeficiente
-.425, p-valor .026).

Discusión

En este estudio, se encontró una diferencia estadísticamente significativa en la

forma en que los estudiantes evaluaron a los expertos, pero solo cuando la
experiencia se definió como tutorial anterior (clase C). También hay una
relación lineal entre las evaluaciones de los estudiantes y el año académico, ya
que a medida que los estudiantes pasan del año uno al año dos, Qmean
disminuye, lo que indica una evaluación más favorable de los tutores.
Finalmente, se encontró una relación lineal significativa entre Qmean y la
progresión del tutor de la clasificación C1 a C3 cuando los estudiantes de tercer
año evaluaron a los tutores.
Es interesante observar que a medida que los estudiantes avanzan del año uno
al dos, califican a sus tutores de manera más favorable, mientras que no se
pudo establecer una relación estadísticamente significativa entre Qmean y la
progresión de los estudiantes desde el primer año académico hasta el tercer
año. Estos hallazgos indican que entre el año dos y tres Qmean aumentan, lo
que indica que los tutores se evalúan de manera menos favorable. Sería
interesante determinar si el uso de diferentes clasificaciones de experiencia
altera el efecto del año académico en Qmean. Una posible explicación para
esto es que a medida que los estudiantes adquieren experiencia con PBL, se
vuelven menos dependientes de sus tutores para facilitar la función de grupo y
más interesados en obtener información directa y difícil.

Como se mencionó en los hallazgos anteriores, Qmean disminuyó

significativamente a medida que los tutores avanzaban del año uno a tres, pero
no hubo un aumento significativo entre los años uno y dos. Esto puede indicar
que se necesitan al menos dos experiencias previas de tutoría hasta que la
experiencia contribuya a mejorar la tutoría. Por otro lado, también es posible
que los tutores pobres estén "eliminados" de modo que la proporción de tutores
inferiores disminuya a medida que la clasificación C progresa de C1 a C3.

Cuando evaluamos si el efecto de la experiencia en Qmean varía según el año

académico (Tabla 5), encontramos que la única relación estadísticamente
significativa ocurrió cuando hubo una progresión desde la clasificación C1 a C2
durante el tercer año. Esto puede indicar que la experiencia solo afecta la
calificación de los alumnos en el tercer año. Sin embargo, al limitar los análisis
a años académicos específicos, el tamaño de la muestra y el poder
disminuyen, y la insignificancia estadística de los valores de p puede ser
engañosa. Esto podría remediarse repitiendo el análisis en el futuro cuando
haya más evaluaciones de tutor disponibles.

Otra área de preocupación es lo que parece ser la calificación generosa de los

tutores por parte de los estudiantes. Como se indica en la Tabla 3, la media
para Qmean fue de 1.76, que parece estar sesgada considerando que la escala
de calificación fue de 1 (excelente) a 5 (mala). Si bien asumimos que las
evaluaciones que se completaron se realizaron al azar, una mayor distribución
de puntajes puede ayudar a identificar relaciones estadísticamente
significativas.

Como se ve en la Tabla 2, solo un tutor fue clasificado como B1, y solo nueve
fueron clasificados como A1. Estos números bajos, especialmente la categoría
B1, están probablemente relacionados con la naturaleza interdisciplinaria de la
odontología. Independientemente de sus especialidades, la mayoría de los
dentistas están familiarizados con muchos aspectos de la odontología.
Además, con respecto a los bajos números en la categoría A1, el ambiente
académico puede atraer más especialistas que los dentistas generales. El
aumento del número de tutores en estas categorías puede revelar relaciones
estadísticamente significativas adicionales.

Si bien es difícil determinar el último factor causal de algunos de nuestros

hallazgos, está claro que la retención de tutores, para que puedan adquirir
experiencia de tutorial a tutorial, es una estrategia vital en la capacitación de
futuros dentistas en un entorno de PBL.