Clinical Review ABC of learning and teaching in medicine

Revisin clnica El ABC del aprendizaje y de la enseanza en medicina

Evaluation
1. Jill Morrison

la evaluacin
de Jill Morrison

Evaluation is an essential part of the educational process. The focus of evaluation is on local quality improvement and is analogous to clinical audit. Medical schools require evaluation as part of their quality assurance procedures, but the value of evaluation is much greater than the provision of simple audit information. It provides evidence of how well students' learning objectives are being achieved and whether teaching standards are being maintained. Importantly, it also enables the curriculum to evolve. A medical curriculum should constantly develop in response to the needs of students, institutions, and society. Evaluation can check that the curriculum is evolving in the desired way. It should be viewed positively as contributing to the academic development of an institution and its members.
Purpose of evaluation

La evaluacin es una parte esencial del proceso educativo. El enfoque de la evaluacin es en la mejora de calidad local y es anlogo a la intervencin clnica. Las Facultades de Medicina requieren la evaluacin como parte de sus procedimientos de la garanta de calidad, pero el valor de la evaluacin es mucho mayor que la disposicin de la informacin simple de la intervencin. Proporciona evidencia de como de bien se estn logrando los objetivos de aprendizaje de los estudiantes y de si ensea a estndares se estn manteniendo. Importantemente, tambin permite al plan de estudios desarrollarse. Un plan de estudios mdico debe convertirse constante en respuesta a las necesidades de estudiantes, de instituciones, y de la sociedad. La evaluacin puede comprobar que el plan de estudios se est desarrollando de la manera deseada. Debe ser vista positivamente como contribuyendo al revelado acadmico de una institucin y de sus miembros. Propsito de la evaluacin Para asegurar la enseanza es necesidades de aprendizaje de los estudiantes de la reunin Para identificar las reas donde la enseanza puede ser mejorada Para informar a la asignacin recursos de la facultad Para proporcionar la regeneracin y el estmulo para los profesores A las aplicaciones de soporte para la promocin de los profesores Para identificar y articular qu es valorada por las Facultades de Medicina Para facilitar el desarrollo de los curriculus

To ensure teaching is meeting students' learning needs To identify areas where teaching can be improved To inform the allocation of faculty resources To provide feedback and encouragement for teachers To support applications for promotion by teachers To identify and articulate what is valued by medical schools To facilitate development of the curriculum

Evaluation versus research

Evaluation and educational research are similar activities but with important differences. Research is usually aimed at producing generalisable results that can be published in peer reviewed literature, and it requires ethical and other safeguards. Evaluation is generally carried out for local use and does not usually require ethics committee approval. Evaluation has to be carefully considered by curriculum

Evaluacin versus investigacin

La evaluacin y la investigacin educativa son actividades similares pero con diferencias importantes. La investigacin se dirige generalmente produciendo los resultados

committees, however, to ensure that it is being carried out ethically. Finally, evaluation is a continuous process, whereas research may not become continuous if the answer to the question is found.

generalisable que se pueden publicar en literatura repasada par, y requiere salvaguardias ticas y otras. La evaluacin se realiza generalmente para el uso local y no requiere generalmente la aprobacin del comit de tica. La evaluacin tiene que ser considerada cuidadosamente por los comits del plan de estudios, sin embargo, para asegurarse de que se est realizando tico. Finalmente, la evaluacin es un proceso contnuo, mientras que la investigacin puede no llegar a ser contnua si la respuesta a la pregunta se encuentra.

Actividades de enseanza y aprendizaje Planeamiento y recoleccin y tasacin de Preparacin datos de la in Reflexin y analisis

de los Evaluac

What should be evaluated

Evaluation may cover the process and/or outcome of any aspect of education, including the delivery and content of teaching. Questions about delivery may relate to organisationfor example, administrative arrangements, physical environment, and teaching methods. Information may also be sought about the aptitude of the teacher(s) involved. The content may be evaluated for its level (it should not be too easy or too difficult), its relevance to curriculum objectives, and integration with previous learning.
Kirkpatrick's four levels on which to focus evaluation*

Qu debe ser evaluado La evaluacin puede cubrir el proceso y/o el resultado de cualquier aspecto de la educacin, incluyendo la entrega y el contenido de la enseanza. Las preguntas sobre entrega pueden relacionarse con organizacin-para el ejemplo, los arreglos administrativos, el ambiente fsico, y los mtodos de enseanza. La informacin se puede tambin buscar sobre la aptitud de los profesores implicados. El contenido se puede evaluar para su nivel (no debe ser demasiado fcil o demasiado difcil), su importancia a los objetivos del plan de estudios, y la integracin con el aprendizaje anterior. Cuatro niveles de Kirkpatrick en los cuales para enfocar el evaluation* Reacciones del nivel 1-Learner's Nivel 2a-Modification de actitudes y de opiniones

Level 1Learner's reactions Level 2aModification of attitudes and perceptions Level 2bAcquisition of knowledge and skills Level 3Change in behaviour Level 4aChange in organisational practice Level 4bBenefits to patients or clients

*Adapted by Barr et al (see Further reading box) Outcome measures may show the impact of the curriculum on the knowledge, skills, attitudes, and behaviour of students. Kirkpatrick described four levels on which to focus evaluation; these have recently been adapted for use in health education evaluation by Barr and colleagues. Some indication of these attributes may be obtained by specific methods of inquiryfor example, by analysing data from student assessments. The full impact of the curriculum may not be known until some time after the student has graduated

Nivel 2b-Acquisition de conocimiento y de habilidades Nivel 3-Change en comportamiento Nivel 4a-Change en prctica de organizacin

El nivel 4b-Benefits a los pacientes o a los clientes *Adapted por Barr y otros (vase la caja de la "lectura adicional") Las medidas del resultado pueden mostrar el impacto del plan de estudios en el conocimiento, las habilidades, las actitudes, y el comportamiento de estudiantes. Kirkpatrick describi cuatro niveles en los cuales enfocar la evaluacin; stos han sido adaptados recientemente para el uso en la evaluacin de la educacin sanitaria por Barr y los colegas. Una cierta indicacin de estas cualidades se puede obtener por mtodos especficos investigacin-para de ejemplo, analizando datos de gravmenes del estudiante. El impacto completo del plan de estudios no se puede saber hasta una cierto tiempo despus de que el estudiante se haya graduado Evaluacin en el planeamiento del plan de estudios La evaluacin se debe disear al principio de desarrollar un plan de estudios, no agregado pensndolo bien. Cuando se ha identificado una necesidad educativa, la primera fase es definir los resultados de aprendizaje para el plan de estudios. Las metas de la evaluacin se deben articular y ligar sin obstruccin a los resultados. Preguntas que se deben hacer al planear una evaluacin Cules son las metas de la evaluacin? Quin y en qu formulario los datos sern recogidos? Quin recoger y analizar datos? Qu tipo de anlisis, de interpretacin, y de reglas de decisin ser utilizado y por quin? Quin ver los resultados de la

Evaluation in curriculum planning

Evaluation should be designed at the start of developing a curriculum, not added as an afterthought. When an educational need has been identified, the first stage is to define the learning outcomes for the curriculum. The goals of the evaluation should be clearly articulated and linked to the outcomes.
Questions to ask when planning an evaluation

What are the goals of the evaluation? From whom and in what form will data be collected? Who will collect and analyse data? What type of analysis, interpretation, and decision rules will be used and by whom? Who will see the results of the evaluation?

Clarifying the goals of evaluation will help to specify the evidence needed to determine success or failure of the training. .A protocol should then be prepared so that individual responsibilities are clearly outlined.

Designing evaluation
An ideal evaluation method would be reliable, valid, acceptable, and inexpensive. Unfortunately, ideal methods for evaluating teaching in medical schools are scarce.
Characteristics of an ideal evaluation

evaluacin?

Reliability Validity Acceptabilityto evaluator and to person being evaluated Inexpensiveness

To reduce possible bias in evaluation, collect views from more than one group of peoplefor example, students, teachers, other clinicians, and patients Establishing the reliability and validity of instruments and methods of evaluation can take many years and be costly. Testing and retesting of instruments to establish their psychometric properties without any additional benefit for students or teachers is unlikely to be popular with them. There is a need for robust off the shelf instruments that can be used to evaluate curriculums reliably. The process of evaluation itself may produce a positive educational impact if it emphasises those elements that are considered valuable and important by medical schools.

La aclaracin de las metas de la evaluacin ayudar a especificar la evidencia necesaria para determinar xito o la falla del entrenamiento. Un protocolo debe entonces ser preparado para contornear responsabilidades individuales sin obstruccin. Diseo de la evaluacin Un mtodo de evaluacin ideal sera confiable, vlido, aceptable, y barato. Desafortunadamente, los mtodos ideales para evaluar la enseanza en Facultades de Medicina son escasos.

Caractersticas de una evaluacin ideal Confiabilidad Validez Aceptabilidad-a evaluador y a la persona que es evaluada El Inexpensiveness NO CARO SIN PRECIO Para reducir polarizado posible en la evaluacin, recoger las opinines de ms de un grupo gente-para de ejemplo, de estudiantes, de profesores, de otros clnicos, y de pacientes El establecimiento de la confiabilidad y de la validez de instrumentos y de los mtodos de evaluacin puede tardar muchos aos y ser costoso. La prueba y el reexaminar de instrumentos para establecer sus caractersticas psicomtricas sin ninguna ventaja adicional para los estudiantes o los profesores es poco probables ser populares entre ellos. Hay una necesidad de los instrumentos "disponibles" robustos que se pueden utilizar para evaluar planes de estudios confiablemente. El proceso de la evaluacin s mismo puede producir un impacto educativo positivo si acenta esos elementos que sean considerados valiosos e importantes por las Facultades de Medicina. Participacin de los estudiantes Varias ediciones deben ser consideradas antes de disear una evaluacin que recoja la

Participation by students
Several issues should be considered before designing an evaluation that collects information from students.
Areas of competence of students to evaluate teaching and curriculum

Design: whether the curriculum enables students to reach their learning objectives; whether it fits well with other parts of the curriculum Delivery: attributes of teacher and methods used Administrative arrangements

Competence Students can be a reliable and valid source of information. They are uniquely aware of what they can consume, and they observe teaching daily. They are also an inexpensive resource. Daily contact, however, does not mean that students are skilled in evaluation. Evaluation by students should be limited to areas in which they are competent to judge.

informacin de estudiantes. Campos de inters de los estudiantes para evaluar la enseanza y el plan de estudios Diseo: si el plan de estudios permite a estudiantes alcanzar sus objetivos de aprendizaje; si cabe bien con otras partes del plan de estudios Entrega: cualidades del profesor y mtodos usados Arreglos administrativos

Issues relating to students' participation in evaluation may also apply to teachers, but self evaluation and peer evaluation are also relevant

Capacidad ----Los estudiantes pueden ser una fuente de informacin confiable y vlida. Son nicamente consciente de lo que pueden consumir, y observan el diario de enseanza. Son tambin un recurso barato. El contacto diario, sin embargo, no significa que los estudiantes son expertos en la evaluacin. La evaluacin de los estudiantes se debe limitar a las reas en las cuales son competente juzgar. Participacin de los profesores en la evaluacin 1. Autoevaluacin El personal acadmico evala cada vez ms su propia prctica de enseanza La autoevaluacin es til si el objetivo es proporcionar la motivacin al beahviour del cambio Para ayudar a definir lo que estn haciendo, los profesores pueden encontrarla til para utilizar las videocintas hechas durante la enseanza, diarios de operacin, y listas personales 2.- Evaluacin de par La observacin directa de profesores de sus pares puede proporcionar una evaluacin informada, valiosa, y diagnstica Las visitas mutuas del intercambio de la sala de clase entre los colegas confiados en pueden tener valores al profesor y al observador Las ediciones referentes a la participacin de los estudiantes en la evaluacin pueden tambin aplicarse a los profesores, pero la evaluacin de la autoevaluacin y de par es tambin relevante Propiedad ----Los estudiantes que no estn

Ownership Students who are not committed to an evaluation may provide poor information. They need to feel ownership for an evaluation by participating in its development. The importance of obtaining the information and the type of information needed must be explicit. Usually the results of an evaluation will affect only subsequent cohorts of students, so current students must be convinced of the value of providing data. Sampling Students need to feel that their time is respected. If they are asked to fill out endless forms they will resent the waste of their time. If they become bored by tedious repetition, the reliability of the data will deteriorate. One solution is to use different sampling strategies for evaluating different elements of a curriculum. If reliable information can be obtained from 100 students, why collect data from 300? Anonymity is commonly advocated as a guard against bias when information is collected from students. However, those who support asking students to sign evaluation forms say that this helps to create a climate of responsible peer review. If students are identifiable from the information they provide, this must not affect

their progress. Data should be collected centrally and students' names removed so that they cannot be identified by teachers whom they have criticised. Feedback Students need to know that their opinions are valued, so they should be told of the results of the evaluation and given details of the resulting action.

confiados a una evaluacin pueden proporcionar la informacin pobre. Necesitan sentir la propiedad para una evaluacin participando en su revelado. La importancia de obtener la informacin y el tipo de informacin necesarios debe ser explcita. Los resultados de una evaluacin afectarn generalmente solamente a las cohortes subsecuentes de estudiantes, as que los estudiantes actuales deben ser convencidos del valor de proporcionar datos. Muestreo----{Los estudiantes necesitan sentir que su tiempo est respetado. Si les piden rellenar impresos sin fin volvern a enviar la prdida de su tiempo. Si se aburren por la repeticin aburrida, la confiabilidad de los datos deteriorar. Una solucin es utilizar diversas estrategias de muestreo para evaluar diversos elementos de un plan de estudios. Si la informacin confiable se puede obtener a partir de 100 estudiantes, por qu recoger los datos a partir del 300? El anonimato se aboga comn como protector contra polarizado cuando la informacin se recoge de estudiantes. Sin embargo, los que soportan pedir que los estudiantes firmen formularios de evaluacin dicen que esto ayuda a crear un clima de la revisin paritaria responsable. Si los estudiantes son identificables de la informacin que proporcionan, sta no debe afectar a su progreso. Los datos se deben recoger centralmente y los nombres de los estudiantes quitados para no poderlos identificar por los profesores a que han criticado. Regeneracin---Los estudiantes necesitan saber que sus opiniones estn valoradas, as que deben ser informadas de los resultados de la evaluacin y de los detalles dados de la accin resultante. Mtodos de evaluacin La evaluacin puede implicar medidas subjetivas y objetivas y acercamientos cualitativos y cuantitativos. Los recursos dedicados a la evaluacin deben reflejar su importancia, pero la coleccin de datos excesiva debe ser evitada. Un buen sistema debe ser fcil administrar y utilizar la informacin que es fcilmente disponible.

Methods of evaluation
Evaluation may involve subjective and objective measures and qualitative and quantitative approaches. The resources devoted to evaluation should reflect its importance, but excessive data collection should be avoided. A good system should be easy to administer and use information that is readily available.

Interviews Individual interviews with students are useful if the information is sensitivefor example, when a teacher has received poor ratings from students, and the reasons are not clear. A group interview can provide detailed views from students or teachers. A teaching session can end with reflection by the group. Surveys Questionnaires are useful for obtaining information from large numbers of students or teachers about the teaching process. Electronic methods for administering questionnaires may improve response rates. The quality of the data, however, is only as good as the questions asked, and the data may not provide the reasons for a poorly rated session.

Questionnaire surveys are the most common evaluation tool Information from student assessment Data from assessment are useful for finding out if students have achieved the learning outcomes of a curriculum. A downward trend in examination results over several cohorts of students may indicate a deficiency in the curriculum. Caution is needed when interpreting this source of information, as students' examination performance depends as much on their application, ability, and motivation as on the teaching.

Entrevistas ----Las entrevistas individuales con los estudiantes son tiles si la informacin est sensible-para el ejemplo, cuando un profesor ha recibido grados pobres de estudiantes, y las razones no estn sin obstruccin. Una entrevista del grupo puede proporcionar visines detalladas desde estudiantes o profesores. Un curso puede terminar con la reflexin del grupo. Exmenes----- Los cuestionarios son tiles para obtener la informacin de una gran cantidad de estudiantes o de profesores sobre el proceso de enseanza. Los mtodos electrnicos para administrar los cuestionarios pueden mejorar tasas de respuesta. La calidad de los datos, sin embargo, es solamente tan buena como las preguntas hechas, y los datos pueden no proporcionar las razones para una sesin mal clasificada.

Completing the evaluation cycle

The main purpose of evaluation is to inform curriculum development. No curriculum is perfect in design and delivery. If the results of an evaluation show that no further development is needed, doubt is cast on the methods of evaluation or the interpretation of the results. This does not mean that curriculums should be in a constant state of change, but that the results of evaluation to correct deficiencies are acted on, that methods continue to improve, and that content is updated. Then the process starts all over again.
Key points Evaluation should:

Las encuestas sobre cuestionario son la informacin ms comn de la herramienta de la evaluacin del gravamen del estudiante Los datos aser evaluados, son tiles para descubrir si los estudiantes han logrado los resultados de aprendizaje de un plan de estudios. Una tendencia a baja en resultados de la examinacin sobre varias cohortes de estudiantes puede indicar una deficiencia en el plan de estudios. La precaucin es necesaria cuando la interpretacin de esta fuente de informacin, como funcionamiento de la examinacin de los estudiantes depende tanto de su aplicacin, capacidad, y motivacin como en la enseanza. Subjetivo

Enable strategic development of a curriculum

Be a positive process that contributes to the academic development of a medical school

objetivo Calidad
entrevistas a focusgroup tareas succesufully una estacin del OSCE el anlisis de termin en

The goals of an evaluation should:

Be clearly articulated Be linked to the outcomes of the teaching

Cantidad

exmenes puntaje de examinacion

tendencias en el

When carrying out an evaluation:

Osce Objetivo estructurado de la examinacion clnica

More than one source and type of information should be sought The results should be fed back to participants and details of the resulting action given

Completando el ciclo de la evaluacin El propsito principal de la evaluacin es informar al revelado del plan de estudios. No hay plan de estudios perfecto en diseo y entrega. Si los resultados de una evaluacin muestran que no hay otro revelado necesario, la duda se echa en los mtodos de evaluacin o la interpretacin de los resultados. Esto no significa que los planes de estudios deben estar en un estado constante del cambio, pero que estn actuados los resultados de la evaluacin para corregir deficiencias encendido, que los mtodos continan mejorar, y que el contenido es actualizado. Entonces el proceso comienza de nuevo. Puntos claves La evaluacin debe: Permitir el revelado estratgico de un plan de estudios Ser un proceso positivo que contribuye al revelado acadmico de una Facultad de Medicina

Learners need:

To be involved in developing an evaluation To feel their time is respected To know their opinions are valued and acted on

Evaluators must:

Act on the results of the evaluation to correct deficiencies, improve methods, and update content Repeat the process

Worked example Background

Clinical teaching staff think that students are becoming weaker at examining cranial nerves. The examination scores for that part of the objective structured clinical examination (OSCE) carried out at the end of year three show a decline over several years. Three focus groups are held with students in Las metas de una evaluacin deben: year four, and several clinical teachers are interviewed. The results suggest that the decline is due Se articula sin obstruccin to fewer appropriate patients presenting at outpatient Ligarse a los resultados de la enseanza sessions where cranial nerve examination is taught and to a lack of opportunities for practising examination skills.
Al realizar una evaluacin: Intervention Ms de un fuente y tipo de informacin deben ser buscados Los resultados se deben alimentar de nuevo a participantes y a detalles de la accin resultante dada

A teaching session is designed for delivery in the clinical skills centre. After that, students should be able to do a systematic examination of cranial nerves.

They should also recognise normal signs and know which common abnormalities to look for. Sessions are timetabled for practising skills learnt during the teaching session.
Evaluation

Necesidad de los principiantes: Para estar implicado en desarrollar una evaluacin Para sentir su tiempo se respeta Para saber sus opiniones se valoran y actuado en evaluadores deber: Actuar en los resultados de la evaluacin para corregir deficiencias, mejorar los mtodos, y el contenido de la actualizacin Repetir el proceso Ejemplo trabajado Antecedentes El cuerpo docente clnico piensa que los estudiantes estn haciendo ms dbiles en el examen de los nervios craneales. Las cuentas de la examinacin para esa parte de la examinacin clnica estructurada objetiva (OSCE) realizada a las tres de final de ao muestran una declinacin durante varios aos. Tres grupos principales se llevan a cabo con los estudiantes en el ao cuatro, y se entrevistan con varios profesores clnicos. Los resultados sugieren que la declinacin sea debido a pocos pacientes apropiados que presentan en las sesiones del paciente no internado donde la examinacin de nervio craneal se ensea y a una carencia de las oportunidades para las habilidades practicantes de la examinacin. Intervencin Un curso se disea para la entrega en el centro de habilidades clnico. Despus de eso, los estudiantes deben poder hacer una examinacin sistemtica de nervios craneales. Deben tambin reconocer seales normales y saber qu anormalidades comunes a buscar. Las sesiones se hacen un horario para las destrezas practicantes aprendidas durante el curso. Evaluacin Un cuestionario es desarrollado para la terminacin por un tercero de estudiantes. Busca sus opiniones sobre el proceso de enseanza, incluyendo las habilidades de enseanza del profesor particular, los aspectos

A questionnaire is developed for completion by a third of students. It seeks their views on the teaching process, including the teaching skills of the tutor, physical aspects of the teaching environment, appropriateness of the teaching material, and opportunities for practising examination skills. Outcome measures include comparison of examination scores for students in the previous cohort with those participating in the teaching session, plus a questionnaire for all clinical supervisors for neurology in the following year to get their views about students' examination skills. A tenth of students with a range of scores in the relevant part of the OSCE are interviewed to find out the reasons for their varied scores. The evaluation results are disseminated widely to staff and students.

fsicos del ambiente de enseanza, la conveniencia del material didctico, y oportunidades para las habilidades practicantes de la examinacin. Las medidas del resultado incluyen la comparacin de las cuentas de la examinacin para los estudiantes en la cohorte anterior con sos que participa en el curso, ms un cuestionario para todos los supervisores clnicos para la neurologa en el ao siguiente para conseguir sus opiniones sobre las habilidades de la examinacin de los estudiantes. Un dcimo de estudiantes con una gama de cuentas en la parte relevante del OSCE se entrevista con para descubrir las razones de sus cuentas variadas. Los resultados de la evaluacin se diseminan extensamente para proveer de personal y los estudiantes.