Santiago, 20 de diciembre de 2012

Fundamentos de la validez de los resultados del EUNACOM luego de eliminar 12 preguntas

1.- El examen est construdo para evaluar el nivel de conocimientos tericos de MEDICINA GENERAL, no de especialidades por separado. La nica razn de preparar preguntas en base a especialidades es asegurarse de que el muestreo de temas de MEDICINA GENERAL sea suficientemente disperso entre las siete reas cubiertas (Medicina interna, pediatra, obstetricia, ciruga, psiquiatra, salud pblica, y oftalmo-otorrino-dermato). A su vez, la nica razn para que, al momento de solicitar preguntas, medicina interna se subdivida en varias subespecialidades es asegurar que el muestreo de temas de medicina interna no se concentre por azar en una sola subespecialidad (por ejemplo, enfermedades respiratorias). 2.- La nica informacin del examen que es de relevancia para efectos de garanta de calidad profesional es el puntaje obtenido por el individuo en el TOTAL del examen, vale decir en el total de 180 preguntas. De hecho la informacin de cada una de las 7 reas no se entrega al examinado y solo se entrega a las escuelas para su analisis acadmico. La informacin por subespecialidad ni siquiera se calcula. 3.- El examen se dise con alta redundancia de preguntas, con el fin de asegurar su confiabilidad. Esto significa que el examen tiene un nmero de preguntas muy superior al exigible estadsticamente, con el fin de llevar al mnimo el inevitable error de medicin de cualquier examen y al mismo tiempo permitir la eliminacin de preguntas ante cualquier eventualidad, includa la actual. 4.- El fundamento mtrico de este examen es la llamada "Teora clsica de la medicin", que predice que cuando los itemes que conforman una prueba son adecuadamente discriminativos (como ocurre en este caso), un incremento o disminucin del nmero de temes, para pruebas de una longitud semejante a este examen, no produce cambios en la confiabilidad. 5.- Rutinariamente, cada ao se eliminan del examen aquellas preguntas demasiado fciles, demasiado difciles o de comportamiento "paradjico". Criterios que se informan pblicamente en la pgina web del examen, con al menos seis meses de anterioridad a la rendicin del examen. Eso redunda en la eliminacin rutinaria de un nmero variable de preguntas (12 en el caso del EUNACOM 2011), lo que no solo est dentro de las tolerancias del modelo, sino que resulta en altsimos niveles de confiabilidad, cercanos al techo terico. 6.- A pesar de la confianza que nos da lo expuesto hasta aqu, hemos hecho simulaciones

especiales para informar con ms seguridad a su Ministerio. Para ello analizamos los datos del examen anterior (2011), rendido por 1888 examinados y: a) Eliminamos las preguntas que se eliminaron rutinariamente el ao pasado al momento de corregir (12 preguntas, lo que dej 168 preguntas vlidas). b) Calculamos la confiabilidad de este examen como referencia inicial, resultando en una alta confiabilidad (Coeficiente alfa de Cronbach de 0.967, de un mximo terico de 1).

c) Eliminamos al azar -adems de lo anterior- 12 preguntas distribuidas de igual forma que las preguntas del documento que circul con informacin filtrada (8 de medicina interna, 1 de obstetricia, 1 de respiratorio, 2 de pediatra), dejando un examen de 156 preguntas. d) Se calcul nuevamente el coeficiente alfa de Cronbach para este examen de 156 preguntas. e) Se repiti la simulacin 5 veces, cada vez con un grupo distinto de preguntas eliminadas, distribuidas en las mismas especialidades. Los resultados fueron los siguientes: Discriminacin media de las preguntas 0.57 0.57 0.57 0.57 0.57 0.57 Dificultad media de las preguntas 0.70 0.70 0.70 0.70 0.70 0.70

Confiabilidad Examen sin modificar Simulacin 1 Simulacin 2 Simulacin 3 Simulacin 4 Simulacin 5 0.967 0.965 0.964 0.966 0.965 0.965

Como se aprecia, la confiabilidad del examen no se ve afectada en lo absoluto, ni cambia su dificultad a nivel del examen completo. Es importante tener presente que a los examenes de alto impacto profesional ("high stake exams") se les exige tener un coeficiente de Cronbach sobre 0.8. 7.- Aun si la investigacin obligara a eliminar ms preguntas, siempre que este nmero no fuese demasiado alto ni se concentren excesivamente en una sola rea temtica, el modelo de construccin del examen soportara su eliminacin sin consecuencias en su confiabilidad tcnica.

En conclusin, la eliminacin de las 12 preguntas que demostradamente circularon antes del examen, no afecta la confiabilidad del instrumento, que tolera sin problemas una eliminacin an mayor, manteniendo no solo ndices de confiabilidad adecuados sino muy superiores a lo exigido a este tipo de examenes.