Educacin Mdica Superior 2011;25(2):107-115 ARTCULO ORIGINAL

Estrategia de preparacin para la evaluacin externa de maestras

Preparation strategy for the external evaluation of masters studies

Isabel Louro BernalI, Irene Perdomo VictoriaII, Ana Mara Glvez GonzlezI, Giselda Sanabria RamosII Doctora en Ciencias de la Salud. Profesora Titular. Investigadora Auxiliar. Escuela Nacional de Salud Pblica. La Habana, Cuba. II Doctora en Ciencias de la Salud. Profesora Consultante. Escuela Nacional de Salud Pblica. La Habana, Cuba.
I

RESUMEN OBJETIVO: Describir la estrategia de preparacin para la evaluacin externa de las maestras de la Escuela Nacional de Salud Pblica. MTODOS: Se revisaron los documentos normativos del posgrado para extraer la visin de excelencia y se aplic la tcnica grupo focal para la generacin de ideas entre las coordinadoras de las maestras. RESULTADOS: La estrategia de preparacin para la evaluacin externa se estructur en tres fases denominadas: Planificacin, Ejecucin y Evaluacin. En cada fase se identificaron momentos clave y acciones especficas articuladas mediante un proceso de control que acta como eje transversal de la propia estrategia. CONCLUSIONES: Se relacionaron las fuentes de informacin necesarias. Las acciones desplegadas por los comits acadmicos tuvieron carcter cientfico, metodolgico y administrativo. La estrategia utilizada tuvo carcter institucional y contribuy al logro de la excelencia en las Maestras de Atencin Primaria de Salud, Economa de la Salud y Promocin y Educacin para la Salud. Palabras clave: Calidad del posgrado, estrategia preparatoria, evaluacin de calidad, evaluacin externa, maestras.

107 http://scielo.sld.cu

Educacin Mdica Superior 2011;25(2):107-115 ABSTRACT OBJECTIVE: To describe the preparation strategy for the external evaluation of the Masters courses in the National School of Public Health. METHODS: The normative documents of the postgraduate programs to take out the vision of excellence were reviewed and the focal group technique was used to generate ideas from the various coordinators of the master's courses. RESULTS: The preparation strategy for the external evaluation was structured in three phases, that is, planning, implementation and evaluation. Each phase identified key moments and specific actions that were integrated through a control process acting as a supporting point of the strategy as such. CONCLUSIONS: The necessary sources of information were listed. The actions taken by the academic committees were of scientific, methodological and administrative nature. The strategy was institutional and contributed to attain the excellence in master's courses in primary health care, health economics and health promotion and education. Key words: Postgraduate education quality, preparatory strategy, quality assessment, external evaluation, master's courses.

INTRODUCCIN
La gestin de calidad de la educacin de posgrado en Cuba se orienta a la consecucin de altos niveles de pertinencia social y excelencia acadmica.1 La concepcin ms general que sustenta los sistemas de evaluacin y acreditacin es que la autoevaluacin, la evaluacin externa y la acreditacin constituyen una unidad dialctica y, por ello, son procesos de un sistema integral de gestin para el mejoramiento continuo de la calidad de la educacin superior y de certificacin pblica de niveles de calidad: nacional e internacional.2 El Sistema de Evaluacin y Acreditacin de Maestras (SEA-M) se implant oficialmente en toda la educacin superior cubana al desarrollarse y consolidarse la maestra como una figura de posgrado acadmico con reconocimiento internacional.3 El SEA-M establece perodos de vigencia finitos para cada categora de acreditacin, lo que indica que en una institucin con varias maestras, la evaluacin externa se convierte en un proceso frecuente, consustancial a la propia existencia de los programas. El reconocimiento de la calidad de las maestras por intermedio de la acreditacin, constituye un estmulo a la labor de los comits acadmicos y moviliza las fuerzas internas de los colectivos, departamentos e instituciones auspiciadoras de programas. Por otra parte la evaluacin externa deviene en motivo de expectacin e incertidumbre para los comits acadmicos, debido al volumen de informacin requerida perteneciente a un perodo mayor a cinco aos, a la bsqueda y

108 http://scielo.sld.cu

Educacin Mdica Superior 2011;25(2):107-115 organizacin de las evidencias necesarias y en general por la envergadura y significado de tal proceso, para el cual se necesita preparacin. El propsito central de la acreditacin es promover y estimular el continuo mejoramiento y determinar si una institucin acadmica posee calidad a nivel general o respecto de una o ms de sus carreras o programas educativos, si es capaz de demostrar que progresa de manera continua y sistemtica, con el empleo de estrategias, procedimientos y recursos adecuados para el logro de su misin y sus objetivos, cumpliendo razonablemente con los criterios y normas de calidad establecidos.4 Entre las experiencias internacionales revisadas se encontr que la gua de evaluacin externa del Sistema Nacional de Acreditacin de la Educacin Superior de Costa Rica, del ao 2009, plantea etapas en las cuales aparece la capacidad organizativa y de convocatoria que tienen que tener los comits acadmicos para enfrentar la preparacin para la evaluacin externa.5 El Manual de Implementacin para los procesos de evaluacin externa a los programas de maestras constituye una gua para el trabajo de los evaluadores2 y en consecuencia contribuye tambin a la preparacin de los evaluados, aunque no est dirigida a ellos. Aunque se constat la utilidad del Manual de referencia en tanto documento orientador para la evaluacin externa, se identific la necesidad de elaborar una estrategia institucional de preparacin que articulara todas las acciones que deban acometerse a diferentes niveles, antes y durante la evaluacin, y que reflejara los intereses de los evaluados. Las maestras de la Escuela Nacional de Salud Pblica (ENSAP) se han orientado hacia la formacin acadmica de posgrado en diferentes reas de aplicacin de la investigacin en salud, tales como Salud Pblica, Atencin Primaria de Salud, Psicologa de la Salud, Economa de la Salud, Promocin y Educacin para la Salud, Educacin Mdica, as como Farmacoepidemiologa, programa de ms reciente creacin. Los comits acadmicos de las maestras de la ENSAP han incorporado la visin de excelencia y el mejoramiento continuo de la calidad en su trabajo habitual, a lo que se agrega la experiencia de haber pasado varias evaluaciones externas de la Junta de Acreditacin Nacional y haber logrado la excelencia en la Maestra de Salud Pblica y en la de Psicologa de la Salud, en el ao 2004. Se consider pertinente sistematizar las experiencias obtenidas de forma tal que pueda servir a otras instituciones, al tiempo que contribuya a consolidar la concepcin de calidad en la conduccin del posgrado acadmico. El objetivo trazado fue describir la estrategia de preparacin para la evaluacin externa de las maestras de la ENSAP.

MTODOS
La estrategia de preparacin para la evaluacin externa de las maestras de la ENSAP por la Junta de Acreditacin Nacional surgi del trabajo conjunto de las autoras en el marco del Grupo de Maestras desde inicios del ao 2008.

109 http://scielo.sld.cu

Educacin Mdica Superior 2011;25(2):107-115 Se revisaron los documentos Reglamento de Posgrado del Ministerio de Educacin Superior, sus Normas y Procedimientos, Sistema de Evaluacin y Acreditacin de Maestras y el Manual de Implementacin de la Junta de Acreditacin Nacional con el propsito de identificar la visin de excelencia en la estrategia. Se realizaron 5 sesiones de grupo focal entre las coordinadoras de las maestras que les corresponda la evaluacin externa que fueron, Atencin Primaria de Salud, Economa de la Salud, Promocin y Educacin para la Salud y la coordinadora del Grupo de Maestras de la ENSAP. El grupo focal es una tcnica de recoleccin de datos cualitativos que mediante el debate en reuniones de grupos pequeos permite discutir tpicos, obtener respuestas a profundidad, formar un esquema o perspectiva para la solucin de un problema.6,7 Se tom como gua de temas para el debate en grupo, la definicin de las fases de la estrategia, la descripcin de los momentos clave, y las acciones correspondientes a cada uno de ellos. En las sesiones se analizaron los puntos de la gua hasta llegar al consenso. El resultado del trabajo grupal se enriqueci con los criterios emitidos en diferentes espacios institucionales tales como, reuniones de comits acadmicos, actividades metodolgicas de la vicedireccin docente, consejo cientfico y consejo de direccin. Se realiz presentacin de la estrategia ante el grupo de coordinadores de maestras de la Universidad Mdica de la Habana, donde fueron expuestos criterios de pertinencia, utilidad y satisfaccin.

RESULTADOS
Producto del trabajo grupal emergi la Estrategia de preparacin para la evaluacin externa de las maestras, estructurada en fases, momentos clave y acciones, articuladas mediante un proceso de control permanente del comit acadmico, que actu como eje transversal (Cuadro). Cuadro. Fases, momentos clave y acciones de la estrategia de preparacin para la evaluacin externa de las maestras
Fase Planificacin Momentos clave Posicionamiento del Comit Acadmico ante la evaluacin externa (EE) Acciones Elaboracin de la estrategia organizativa y cronograma de acciones. Formacin de equipos o dos de trabajo para generar la informacin que requiere el SEAM y preparar la documentacin de la EE. Divulgacin, motivacin y creacin de ambiente de evaluacin en la institucin, de forma tal que se incorpore la EE de la maestra como una evaluacin institucional. Lograr que la institucin apoye, jerarquice y asigne un conjunto de recursos materiales que garanticen la EE. Sensibilizacin a responsables de: secretara docente,

Sensibilizacin de actores involucrados para lograr compromiso institucional

110 http://scielo.sld.cu

Educacin Mdica Superior 2011;25(2):107-115

cuadros, biblioteca, laboratorio de computacin, punto de presencia, personal de aseguramiento y servicios de apoyo. Incorporacin de la EE a los organismos polticos y al sindicato, generar informacin sobre la marcha del proceso en los espacios comunicativos de todos los trabajadores. Estudio y anlisis de documentos normativos, Reglamento del MES, Patrn de calidad y gua de evaluacin, Manual de implementacin, a nivel: comit acadmico, directivos, claustro, mediante actividad tipo taller. Presentacin de resultados de las variables del SEAM en la maestra, al claustro. Identificacin de recursos necesarios antes y durante la visita de EE. Localizacin de fuentes de informacin que sern revisadas. Ubicacin de egresados de las ediciones a evaluar. Organizacin de evento cientfico para egresados maestras ENSAP. Fase Ejecucin Revisin de las fuentes de informacin para la EE. * Revisin de autoevaluaciones de ediciones anteriores. Anlisis del cumplimiento del plan de mejora de cada edicin. Actualizacin de la informacin Anlisis del campo de fuerzas, matriz DAFO; identificacin de las amenazas y oportunidades, adems de las fortalezas y debilidades que pide la autoevaluacin. Identificacin de brechas y problemas. Solicitud de curriculum vitae actualizado a los profesores y tutores con acpite premios y reconocimientos. Produccin cientfica asociada a las ediciones de la maestra. Elaboracin de informacin Caracterizacin del claustro, de la produccin cientfica del mismo, relacin de reconocimientos y premios. Procesamiento de encuestas a egresados e informe final. Confeccin de los seis modelos del SEAM. Preparacin de la informacin a enviar antes de la evaluacin (autoevaluaciones y modelos SEAM) Presentacin de la informacin Elaboracin de CD- ROM con las informaciones a enviar a la JAN. Elaboracin de la presentacin de la maestra en power

Preparacin metodolgica sobre evaluacin y acreditacin

Planeacin logstica

111 http://scielo.sld.cu

Educacin Mdica Superior 2011;25(2):107-115

point para los evaluadores externos. Seleccin de posibles evaluadores para proponerlos a la JAN. CD-ROM de la Maestra. Diseo para estudiantes y profesores con programa, textos e informacin histrica general de la maestra. CD-ROM de Encuentro de Egresados. Diseo con trabajos presentados, sesiones, conferencias, galera de fotos. Entorno virtual de la maestra, recursos de aprendizaje y desempeo de estudiantes. Confeccin de expediente de impactos de la maestra. Confeccin de expediente de evidencias de colaboracin interinstitucional. Preparacin de sitio demostrativo de resultados cientficos de la maestra, libros, revistas, CD- ROM, materiales docentes, entre otros. Fase Evaluacin Confeccin de programa de la visita. Preparacin de condiciones materiales para la estancia, local privado con computadora, alimentacin, alojamiento y transporte de los evaluadores. Preparacin de los documentos a mostrar, con esttica, y organizacin. Reproduccin de encuestas de estudiantes, profesores y egresados. Citacin al comit acadmico, profesores, directivos, estudiantes y egresados. Organizacin de la visita a los centros de trabajo de los egresados y entrevista a empleadores. Solicitud de breve presentacin sobre la institucin a la direccin del centro. Presentacin de la maestra a los evaluadores. Establecimiento del cronograma de la visita, y adecuaciones en caso necesario. Organizacin de locales o espacios apropiados para entrevistas personales y grupales, en ocasiones simultneas. Entrevistas a: miembros del comit acadmico, profesores y tutores, egresados, estudiantes, empleadores, directivos del centro; aspecto que pone a prueba la capacidad de convocatoria del comit acadmico y la institucin

Evidencias

Logstica de la visita de EE

Visita de EE a la institucin

112 http://scielo.sld.cu

Educacin Mdica Superior 2011;25(2):107-115

auspiciadora. Preparacin del equipo para dar respuesta a preguntas y bsqueda de documentos para verificacin, ejemplo, actas de consejo de cientfico donde se rindi cuenta de la maestra, actas de actividades metodolgicas donde se aprecia la preparacin del claustro. Acompaamiento al recorrido que se hace en el centro para observacin de condiciones de aseguramiento docente y a la visita a entidades empleadoras principales. Participacin del comit acadmico en reunin con evaluadores para anlisis del informe final. En esta etapa es importante la disciplina, la puntualidad, la comunicacin clara entre los integrantes del comit acadmico de forma tal que se garantice el cumplimiento del cronograma. Proceso de Control: Eje transversal desde la fase de planificacin hasta la visita de EE. Monitoreo y correccin de las acciones en cada momento clave. Observancia de los aspectos ticos implicados en la evaluacin, velar por la transparencia del proceso.

La estrategia se concibi como un dispositivo organizativo que armoniza las diversas acciones para lograr la ptima preparacin para la evaluacin externa de las maestras, de forma tal que pudieran cumplirse los estndares de la JAN para este propsito. El desarrollo de las primeras acciones de la estrategia ocurri con ms de un ao de antelacin a las fechas programadas para la visita de evaluacin externa a las maestras, teniendo en cuenta las mltiples tareas cientficas, metodolgicas y administrativas que conlleva. El proceso de preparacin de la evaluacin que integra la estrategia fue concebido con enfoque de investigacin cientfica, al considerarse que cada categora del SEAM abre campos de indagacin y transformacin. Se constat la importancia de extender la evaluacin externa al mbito institucional en su conjunto, generando espacios propicios para la comprensin de la visin de calidad, la participacin creadora, el compromiso y la implicacin personal.

Principales fuentes de informacin 1. Historia institucional: datos de la tradicin institucional, antecedentes de las modalidades de pregrado y posgrado, nmero de cursos del rea de conocimiento del programa. 2. Fondos de la biblioteca: tesis de los estudiantes de las ediciones comprendidas en la evaluacin, lista de los ttulos disponibles del rea del conocimiento del programa. 3. Recursos destinados a la docencia; su estado de conservacin. 4. Expedientes de las ediciones.

113 http://scielo.sld.cu

Educacin Mdica Superior 2011;25(2):107-115 5. Currculum vitae de profesores. 6. Expediente de la maestra en secretara 7. Expedientes de los estudiantes en secretara: relacin de calificaciones, acta de examen de tesis, cartas de bajas, convalidacin (si hubiera). 8. Actas de comit acadmico. 9. Actas de trabajo metodolgico. 10. Convenios de colaboracin interinstitucional. 11. Evidencias de produccin cientfica y social de los egresados. 12. Encuestas a egresados realizadas por comits acadmicos.

La informacin que se genera requiere coherencia interna, aspecto que se capta por los evaluadores mediante la confrontacin de las diferentes fuentes y la triangulacin de datos provenientes de los modelos SEA-M, de los expedientes de estudiantes y de las ediciones, de las tesis, las actas de comit acadmico, las evidencias de resultados cientficos de profesores y egresados asociados a cada edicin, as como opiniones de estudiantes, egresados, profesores, directivos y empleadores. Se concluye que: - La Estrategia de preparacin para la evaluacin externa de las maestras se estructur en tres fases que son: Planificacin, Ejecucin, y Evaluacin. Las fases se concibieron como tramas de un sistema participativo institucional, con momentos clave y acciones especficas, articuladas mediante un proceso de control dirigido por el comit acadmico, que acta como eje transversal de la propia estrategia. - Las acciones desplegadas por los comits acadmicos tuvieron carcter cientfico, metodolgico y administrativo, lo cual permiti el desarrollo de la estrategia e impregnarle enfoque de investigacin al proceso autoevaluativo. - La estrategia fue aplicada con ms de un ao de antelacin a la visita de evaluacin externa lo que permiti el trnsito por las fases y demostr la necesidad de incorporacin de la cultura de la calidad al trabajo sistemtico de los comits acadmicos y dems actores involucrados. - La institucin auspiciadora asumi la evaluacin externa de las maestras, como evaluacin institucional, aspecto que actu como recurso de apoyo a la estrategia de preparacin. - La estrategia cumpli el objetivo de preparacin para la evaluacin externa de tres maestras de la ENSAP, que fueron acreditadas de excelencia: Atencin Primaria de Salud, Economa de la Salud y Promocin y Educacin para la Salud.

114 http://scielo.sld.cu

Educacin Mdica Superior 2011;25(2):107-115

REFERENCIAS BIBLIOGRFICAS
1. Ministerio de Educacin Superior. Reglamento de la Educacin de Posgrado de la Repblica de Cuba. Resolucin No. 132/2004. La Habana: MES; 2004. 2. Junta de Acreditacin Nacional. Manual de Implementacin para los procesos de evaluacin externa a los programas de maestra. La Habana: Junta de acreditacin nacional; 2009. 3. Junta de Acreditacin Nacional. Sistema de Evaluacin y Acreditacin de Maestras. (SEA-M). La Habana: Junta de acreditacin nacional; 2009 4. Borroto CR, Salas PR. Acreditacin y evaluacin universitarias. Educ Med Super. 2004;18(3). 5. Sistema Nacional de Acreditacin de la Educacin Superior (SINAES). Gua para la Evaluacin Externa. [citado 18 de Ene 2009]. Disponible en: http://www.sinaes.ac.cr/manual_guias/guia_evaluacion_externa_12nov09.pdf 6. Hernndez SR, Fernndez CC, Baptista LP. Metodologa de la Investigacin. Mxico: Mc Graw Hill Interamericana; 2006. 7. Dawson S, Manderson L, Tallo LV. A Manual for the use of focus groups. Methods for social research in disease. USA: Social and Economic research; 1998.

Recibido: 5 de diciembre de 2010. Aprobado: 20 de diciembre de 2010.

Dra. Isabel Louro Bernal. Escuela Nacional de Salud Pblica. Calle 100. Altahabana, Boyeros. La Habana, Cuba. Correo electrnico: ilb@infomed.sld.cu

115 http://scielo.sld.cu