CLNICAS ANESTESIOLGICAS

SAUNDERS

Anesthesiology Clin N Am 25 (2007) 261 269

DE NORTEAMRICA

Acreditacin y certificacin con la simulacin

Amitai Ziv, MD, MHAa,b,*; Orit Rubin, PhDa,c; Avner Sidi, MD,b,d,e, y Haim Berkenstadt, MDa,b,d
Israel Center for Medical Simulation (MSR), Chaim Sheba Medical Center, Tel-Hashomer 52621, Israel bTel Aviv University Sackler School of Medicine, Jerusalem, Israel cThe National Institute for Testing and Evaluation, Jerusalem, Israel dThe Israeli Board Examination Committee in Anesthesiology, Jerusalem, Israel eDepartment of Anesthesiology and Intensive Care, Chaim Sheba Medical Center, Tel-Hashomer 52621, Israel
aThe

La valoracin y la evaluacin son elementos integrales de cualquier proceso educativo y formativo, y los estudiantes de cualquier nivel de formacin responden estudiando con ms ahnco las materias del curso o de la formacin que se evalan. Para promover y enriquecer un aprendizaje eficaz de un modo satisfactorio, tanto la simulacin como otros mtodos de formacin deben ser formativos y aditivos, ya que la meta es asegurar la competencia profesional [1]. Esta ltima fue definida por Epstein y Hundert [2] como la aplicacin habitual y prudente de la comunicacin, los conocimientos, la capacidad tcnica, el razonamiento clnico, las emociones, los valores y la reflexin en la prctica diaria para beneficio del individuo y de la comunidad a la que se presta atencin. En este artculo se describe un modelo de competencia mdica, centrndonos en la aplicacin de la simulacin mdica para valorar y evaluar los diferentes grados de competencia clnica mediante ejemplos derivados de la experiencia.

Modelo de competencia mdica de Miller

Miller [3] plante un modelo de competencia mdica bien establecido. La pirmide de Miller representa cuatro estratos de competencia definidos como: 1) conocimientos; 2) saber cmo; 3) demostrar cmo, y 4) puesta en prctica. 1. El nivel conocimientos se refiere al recuerdo de hechos, principios y teoras. El mtodo tradicional para evaluar este nivel era la exposicin de un tema, sustitui*Autor para la correspondencia. The Israel Center for Medical Simulation (MSR), Chaim Sheba Medical Center, Tel-Hashomer 52621, Israel. Direccin electrnica: amitai.ziv@sheba.health.gov.il (A. Ziv). 261

262

AMITAI ZIV ET AL

da ms tarde por exmenes de respuesta mltiple en los que se evaluaba la retentiva y la aplicacin de los conocimientos [4]. 2. El nivel saber cmo implica la capacidad de solventar problemas y de describir procedimientos. Las simulaciones en papel u ordenador estn implicadas en la valoracin de este estrato, sustituyendo gradualmente a los exmenes tradicionales orales o por escrito que padecen de correlaciones escasas, de falta de consenso entre los examinadores y de poca fiabilidad [5]. Un ejemplo de dicha prueba, que puede utilizarse tanto de forma escrita [6] como por ordenador [7], es la presentacin de una descripcin breve de una situacin clnica en la que se plantea un problema, seguido de una serie de preguntas de respuesta mltiple o de preguntas con respuestas cortas abiertas relativas a las decisiones esenciales [8]. Otro formato son las preguntas de emparejamientos ampliados [9], en el que el examinado debe emparejar la respuesta ms apropiada desde una lista a otra de casos relacionados. 3. En el nivel de competencia mdica demostrar cmo, el examinado necesita explicar su actuacin clnica. La introduccin de un examen clnico estructurado objetivo en la dcada de 1970 constituy la gran innovacin de las pruebas clnicas en este nivel [10]. Este tema se detalla ms ampliamente a lo largo de este artculo, y se proporcionan ejemplos de exmenes clnicos estructurados objetivamente, as como ejemplos de valoracin y evaluacin basados en simulaciones. 4. El nivel puesta en prctica, que representa la cspide de la pirmide de Miller, supone la comprobacin de la actuacin clnica en el ambiente de trabajo empleando tcnicas como muestras del trabajo clnico [11], registros en vdeo de las prcticas [12], calificaciones por parte de otros colegas [13] y exmenes de pacientes simulados [14]. El Royal College of General Practitioners elabor un examen de licenciatura profesional final en el que los candidatos a conseguir la certificacin muestran a sus examinadores varias cintas de vdeo de los mejores casos de su actuacin en casos clnicos reales, y los evaluadores aplican criterios especificados para su evaluacin [15].

Examen clnico estructurado objetivo

Los exmenes clnicos estructurados objetivos (ECEO) constan de varias estaciones alrededor de las cuales van rotando y actuando los candidatos y en las que los examinadores o los pacientes simulados valoran la realizacin de tareas especficas [16]. La utilizacin de los ECEO est muy generalizada en todo el mundo como instrumento de valoracin y certificacin. Este instrumento se utiliza para evaluar a mdicos extranjeros que desean ejercer en Estados Unidos [17], en el General Medical Council [18]; en el Medical Council de Canad [19], y para la evaluacin de licenciados de facultades de medicina [20], residentes de pediatra [21], ciruga [22] y odontologa [23]. Recientemente, el National Board of Medical Examiners estadounidense ha introducido exmenes de tcnicas clnicas mediante simuladores a todos los licenciados de las facultades de medicina de Estados Unidos [24], reflejando un cambio importante en el campo de la acreditacin y la licenciatura mdica hacia el reconocimiento de la importancia

ACREDITACIN Y CERTIFICACIN CON LA SIMULACIN

263

crucial que tiene la valoracin del rendimiento como elemento primordial de la acreditacin profesional. La incorporacin de la simulacin mdica a la evaluacin mediante ECEO permite calificar la actuacin clnica y de determinadas tareas, e incrementa la autenticidad del mtodo de valoracin. La valoracin basada en simuladores en anestesia se ha venido explorando y estudiando desde la introduccin de los simuladores de anestesia de alta fidelidad a comienzos de la dcada de 1990. Esta nueva generacin de simuladores abri los horizontes de los expertos en educacin mdica en anestesia gracias a que proporcionaba una plataforma estructurada y estandarizada para la formacin y la valoracin en este campo [25]. De hecho, algunos trabajos valoraban la fiabilidad entre los evaluadores [26] y la validez del conjunto [27,28] de la simulacin mdica de alta fidelidad en anestesia, y un estudio realizado en varias instituciones valid los escenarios basados en simulaciones como instrumento de evaluacin de los residentes [29]. En otras instituciones se est aplicando la simulacin como instrumento prctico de evaluacin e incluso de acreditacin. La New York State Society of Anesthesiologists mencionaba la utilizacin de un simulador de pacientes humanos para la evaluacin y la elaboracin de un tratamiento para un anestesilogo con habilidades mdicas obsoletas [30]. En el hospital universitario de Heidelberg se utiliz una simulacin a escala real para la acreditacin de enfermeras de anestesia [31]; en el departamento de anestesiologa en Rochester se comunic la utilizacin de un simulador de pacientes humanos para acreditar en los residentes de anestesiologa de primer ao su capacidad para quedarse de guardia por la noche [32]; y en el departamento de anestesiologa de la Universidad de Pittsburg era obligatorio realizar un curso de control de la va respiratoria difcil basado en la competencia [33]. En Israel, el Israel Center for Medical Simulation (MSR) [34] est inmerso en tres proyectos de acreditacin nicos mediante simulacin, declarados de alto inters: 1) en la seleccin de candidatos para las facultades de medicina; 2) en el national board examination en anestesiologa, y 3) en la acreditacin nacional de paramdicos. El MSR tambin forma parte de un curso obligatorio nacional para internos y de otros cursos de valoracin de rendimiento de equipos mdicos civiles y militares en enclaves prehospitalarios e intrahospitalarios. Se describen dos de estos proyectos para poder comprender ms a fondo los procesos implicados en la incorporacin de la simulacin para la valoracin y la acreditacin.

Ingreso en la Tel Aviv University Sackler School of Medicine

La mayor parte de los procesos de seleccin de las facultades de medicina se basan, fundamentalmente, en instrumentos que miden factores cognitivos. En los instrumentos ms habituales se registran los logros acadmicos previos de los candidatos junto con exmenes de conocimientos con normas de referencia [35]. Estos instrumentos pueden aplicarse de forma eficiente cuando el nmero de candidatos es amplio, generan datos que pueden puntuarse y analizarse objetivamente, y predicen de forma aceptable el xito acadmico de los estudiantes en la facultad de medicina [36]. Las entrevistas que se han incorporado al proceso de admisin constituyen la herramienta ms utilizada para obtener una visin de las caractersticas personales de los candidatos [37], la mayora de las cuales se empleaban como instrumentos de descalificacin. Aunque la validez que tiene

264

AMITAI ZIV ET AL

la entrevista es slida, se ha demostrado que la parcialidad del entrevistador y del contexto influye sobre los resultados de la misma [38]. Recientemente, McMaster introdujo en la Universidad de Canad un ejercicio de tipo ECEO que constaba de varias minientrevistas [35]. En cada encuentro se realizaba una simulacin diferente de comportamiento en la entrevista (p. ej., debate de dilemas ticos, debates de los antecedentes vitales de los candidatos, o la observacin de la comunicacin de los candidatos con un paciente ansioso). Hace 3 aos se inici en la University Sackler School of Medicine de Tel Aviv un centro de valoracin parecido a los centros de valoracin utilizados habitualmente en psicologa y aviacin, con la colaboracin del MSR y del National Institute for Testing and Evaluation [39]. Este centro aplica la simulacin como uno de los componentes centrales del proceso de valoracin, reconociendo que las entrevistas, los cuestionarios y los exmenes en los que los candidatos describen verbalmente su comportamiento, sus tendencias, etc., deberan complementarse con una valoracin basada en la simulacin que permitiese observar directamente el comportamiento de los candidatos. Basndose en este principio, y siguiendo un cuestionario de juicio y de toma de decisiones y un cuestionario biogrfico, la valoracin del comportamiento de los candidatos consiste en seis estaciones individuales (tipo ECEO) de 6 a 9 minutos cada una, y dos estaciones de grupo de 30 minutos cada una. Tres de las estaciones de simulacin representan encuentros humanos que plantean un reto entre un candidato y un paciente simulado (un actor que desempea su papel) en un contexto mdico o no mdico, dos estaciones de puesta en comn para dos de las simulaciones en las que el candidato es entrevistado por un evaluador que ha observado su comportamiento en una de las estaciones de simulacin, y una estacin de entrevista personal estandarizada en la que los candidatos son entrevistados sobre sus actitudes con respecto a la profesin mdica y acerca de temas mdicos de actualidad. En cada una de las estaciones de grupo se les pide a un grupo de 6 candidatos que realicen una tarea conjuntamente. En las diferentes estaciones, una serie de miembros de la facultad formados para esta tarea observan y puntan el comportamiento de los candidatos mediante una planilla de valoracin estructurada. Esta planilla consta de cuatro campos de caractersticas personales: 1) capacidad de comunicacin interpersonal; 2) gestin del estrs; 3) iniciativa y responsabilidad, y 4) conciencia de uno mismo. Segn las experiencias recopiladas en los aos 2004 y 2005, los candidatos y los evaluadores apreciaron que el centro de valoracin constitua un instrumento de cribado bastante justo, y este proceso de cribado nuevo generaba un cambio del 18 al 20% en la composicin de los estudiantes aceptados cada ao (A. Ziv y O. Rubin, comunicacin personal, 2006). La investigacin en marcha est examinando la validez de esta metodologa de evaluacin revolucionaria mediante un seguimiento y una evaluacin prospectiva de los estudiantes mientras stos continan con su formacin mdica.

Israeli board examination en anestesiologa

Numerosas instituciones introdujeron la aplicacin de la simulacin mdica de alta fidelidad en la formacin de los residentes. Se ha explorado la fiabilidad entre los evaluadores, la validez del conjunto y el valor de las situaciones basadas en la simulacin como instrumento eficaz para la evaluacin de los residentes. En Reino Unido, los ECEO se incorporaron

ACREDITACIN Y CERTIFICACIN CON LA SIMULACIN

265

en los exmenes del Fellow Royal College of Anesthesiologists (FRCA). Las reas examinadas en las estaciones de ECEO fueron reanimacin, habilidades tcnicas, realizacin de anamnesis, exploracin fsica, tcnicas de comunicacin, interpretacin de datos, monitorizacin y medicin, riesgos anestsicos y estadsticas [40]. Admitiendo el hecho de que los exmenes del Israeli board examination en anestesiologa carecan del componente de evaluacin del rendimiento, y que este campo no ha sido una parte sustancial de los programas de formacin en el pas, el Israeli Board of Anesthesiology Examination Committee decidi hace 4 aos explorar la posibilidad de aadir un componente de ECEO al proceso del examen [41]. Despus de un proceso en el que estuvieron involucrados miembros de dicho comit, expertos del MSR y del Israels National Institute for Testing and Evaluation definieron las condiciones clnicas que los anestesilogos necesitaban controlar con competencia y las tareas pertenecientes a cada una de las condiciones. A continuacin, se incorporaron en el formato del ECEO tareas con participacin activa en las estaciones de examen de simulacin. Las estaciones incluyen lo siguiente: 1. Tratamiento de los traumatismos. Se utiliza una sala de urgencias y un simulador Sim-Man (Laerdal, Stavenger, Noruega), y se espera que los candidatos evalen y traten a una vctima de un traumatismo segn las normas de soporte vital avanzado en politraumatizados. 2. Reanimacin. Como en la estacin de traumatismos, y con el simulador Sim-Man (Laerdal, Stavenger, Noruega), se espera que los candidatos evalen y traten a un paciente segn las normas de soporte vital cardaco avanzadas. 3. Tratamiento de una situacin crtica en el quirfano. Se utiliza un quirfano simulado a escala real y el High Fidelity Patient Simulator (METI, Gainesville, Florida). En este escenario, se solicita la presencia del candidato en el quirfano para ayudar a un residente menor que se encuentra con un problema durante la anestesia (p. ej., hipertensin despus de la induccin de la anestesia general). 4. Ventilacin mecnica. Utilizando un ventilador y un pulmn artificial, se solicita a los candidatos que ajusten la ventilacin mecnica en respuesta a cambios en la distensibilidad pulmonar o en funcin de los resultados de la gasometra. (En el sistema mdico israel, estas tareas las realizan los mdicos y no los terapeutas especializados en el sistema respiratorio.) 5. Anestesia regional. Utilizando un paciente simulado estndar (un actor desempeando un papel), el candidato tiene que demostrar familiaridad con la anatoma superficial relevante, localizar el punto de insercin de la aguja, la direccin que debe seguir sta y la cantidad de anestsicos locales que debe inyectarse durante la realizacin de un bloqueo nervioso regional. El actor representa tambin una serie de complicaciones inducidas por el procedimiento, como convulsiones y dolor durante la inyeccin de los anestsicos locales. El proceso de examen constaba tambin de la elaboracin de instrumentos de valoracin, de orientacin para los candidatos y de preparacin para los evaluadores. El examen se ha realizado siete veces en los ltimos 4 aos, y ha progresado gradualmente desde ser una parte menor del examen oral a un requisito previo de este examen.

266

AMITAI ZIV ET AL

Se evaluaron las caractersticas psicomtricas de este proceso de evaluacin exclusivo, as como la percepcin de los candidatos mediante la exploracin de los aspectos siguientes: satisfaccin y realismo, fiabilidad de un evaluador a otro y de un caso a otro, validez del contenido y validez convergente, y reduccin de errores [42]. La satisfaccin, segn las respuestas de un cuestionario subjetivo, fue alta (70 a 90%), al igual que el realismo (80 a 90%). Los escenarios utilizados para las mismas condiciones clnicas tuvieron grados de dificultad similares. La tasa de incongruencia entre los evaluadores fue baja (< 15%). La media de correlaciones entre los evaluadores fue de 0,89 a 0,76. Las correlaciones de fiabilidad de un caso a otro (consistencia interna) se calcularon entre las puntuaciones de las cinco estaciones de ECEO, y slo fueron significativas (p < 0,01) entre los traumatismos y la ventilacin, y entre la reanimacin y la anestesia regional, y la reanimacin y las crisis en quirfano. La correlacin de la validez convergente o relacionada con los criterios en cinco campos clnicos diferentes del examen oral no alcanz significacin estadstica. Se evalu el efecto del simulador sobre la reduccin del error, y se vio que era efectivo. Todos los errores importantes que se identificaron en los dos perodos de examen iniciales desaparecieron en los perodos siguientes.

Claves del xito al incorporar la simulacin y el examen clnico estructurado en la valoracin y evaluacin
La incorporacin de los ECEO en la valoracin del personal mdico supone la elaboracin de un proceso de examen estructurado en el que se incluye la definicin de las condiciones de valoracin, las tareas y los escenarios, basndose en protocolos mdicos aceptados y consensos profesionales amplios. Este proceso contribuye a la objetividad y a la validez del contenido y del aspecto del examen, y tambin a su aceptacin positiva por parte de la comunidad mdica. Segn la experiencia de los autores, una de las claves fundamentales para el xito de este proceso es la colaboracin entre los mdicos, los expertos en exmenes y evaluaciones y los expertos en simulacin mdica. Los mdicos no suelen estar familiarizados con parmetros como la fiabilidad de un evaluador a otro y de un caso a otro, la validez del contenido y del aspecto, la tasacin global y la tasacin de la lista de comprobaciones, y los criterios no aprobados, por lo que es obligatoria la ayuda por parte de expertos en evaluacin y exmenes. Otra de las claves para el xito es acometer los cambios de forma lenta y gradual para superar la oposicin y el miedo, tanto por parte de los evaluadores como de los que se examinan. sta es la razn por la que no ha finalizado el proceso de incorporacin de los ECEO a los exmenes israeles de anestesiologa, y de que todava no se hayan valorado parmetros como la evaluacin preoperatoria y las tcnicas de comunicacin. En el proceso de adaptacin del ECEO y la simulacin para los exmenes y la evaluacin, es preciso recordar que el ECEO es el que mejor se adapta para comprobar las aptitudes clnicas, tcnicas y prcticas y, adems, puede hacerlo dentro de un margen amplio. Algunos aspectos de la competencia clnica, como aspectos conductistas, probablemente se evalan mejor mediante evaluaciones mltiples recopiladas a lo largo de un cierto tiempo durante el trabajo clnico. Adems, el ECEO es un instrumento caro, y los exmenes de los conocimientos formales pueden resultar ms rentables si se realizan en formatos escritos.

ACREDITACIN Y CERTIFICACIN CON LA SIMULACIN

267

La disponibilidad de simuladores de alta fidelidad en anestesia y el modelo bien asentado de ECEO para valorar el rendimiento proporcionan una oportunidad nica. No hay dudas de que la incorporacin de la simulacin y los ECEO en los exmenes y las evaluaciones debera desempear un papel formativo (adiestramiento) y aditivo en el que estaran implicados las juntas examinadoras de anestesia, los departamentos de anestesia, los evaluadores y los candidatos. El proceso de elaboracin de exmenes inspir una apreciacin crtica del paradigma de formacin y valoracin vigente, y dio lugar a la exploracin, la definicin y el establecimiento de prioridades de las aptitudes clnicas crticas que deberan esperarse en un residente licenciado. El examen proporcionaba, adems, una ojeada rpida de los productos autnticos de las residencias israeles, destacando los puntos fuertes y dbiles que podran servir de gua para modificaciones futuras en el plan de estudios de la residencia y la prctica.

Bibliografa

268

AMITAI ZIV ET AL

ACREDITACIN Y CERTIFICACIN CON LA SIMULACIN

269