UNIDAD DE INMUNIZACIN SALUD FAMILIAR Y COMUNITARIA

Curso de gerencia para el manejo efectivo del Programa Ampliado de Inmunizacin (PAI)
Mdulo VI

Supervisin, monitoreo y evaluacin

ORGANIZACIN PANAMERICANA DE LA SALUD Oficina Regional de la ORGANIZACIN MUNDIAL DE LA SALUD 525 Twenty-third Street Washington, D.C. 20037 www.paho.org 2006

Se publica tambin en ingls y francs con el ttulo: Training Course on Effective Management of the Expanded Program on Immunization (EPI) Module VI: Supervision, Monitoring, and Evaluation ISBN 92 75 12545 7 Cours de formation sur la gestion efficace du Programme largi de vaccination (PEV) Module VI: Supervision, contrle et valuation ISBN 92 75 22545 1

Biblioteca Sede OPS Catalogacin en la fuente ___________________________________________________________________________________ Organizacin Panamericana de la Salud Curso de gerencia para el manejo efectivo del Programa Ampliado de Inmunizacin (PAI). Mdulo VI: Supervisin, monitoreo y evaluacin. Washington, D.C.: OPS, 2006. ISBN Texto 92 75 32545 6 ISBN CD 92 75 32576 6 I. Ttulo 1. Programas de inmunizacin 2. Inmunizacin 3. Coberturas del Programa Ampliado de Inmunizacin 4. Brotes de enfermedades 5. Enfermedades transmisibles - prevencin y control 6. Evaluacin de programas NLM WA 110 ___________________________________________________________________________________ La Organizacin Panamericana de la Salud dar consideracin muy favorable a las solicitudes de autorizacin para reproducir o traducir, ntegramente o en parte, alguna de sus publicaciones. Las solicitudes y las peticiones de informacin debern dirigirse a la Unidad de Inmunizacin, rea de Salud Familiar y Comunitaria, Organizacin Panamericana de la Salud, Washington, D.C., Estados Unidos de Amrica, que tendr sumo gusto en proporcionar la informacin ms reciente sobre cambios introducidos en la obra, planes de reedicin, y reimpresiones y traducciones ya disponibles. Organizacin Panamericana de la Salud, 2006 Las publicaciones de la Organizacin Panamericana de la Salud estn acogidas a la proteccin prevista por las disposiciones sobre reproduccin de originales del Protocolo 2 de la Convencin Universal sobre Derecho de Autor. Reservados todos los derechos. Las denominaciones empleadas en esta publicacin y la forma en que aparecen presentados los datos que contiene no implican, por parte de la Secretara de la Organizacin Panamericana de la Salud, juicio alguno sobre la condicin jurdica de pases, territorios, ciudades o zonas, o de sus autoridades, ni respecto del trazado de sus fronteras o lmites. La mencin de determinadas sociedades mercantiles o de nombres comerciales de ciertos productos no implica que la Organizacin Panamericana de la Salud los apruebe o recomiende con preferencia a otros anlogos. Salvo error u omisin, las denominaciones de productos patentados llevan en las publicaciones de la OPS letra inicial mayscula.

NDICE Mdulo VI Supervisin, monitoreo y evaluacin

Objetivos del Mdulo Unidad I Anexo I Unidad II Unidad III Anexo II Supervisin A. Introduccin B. Objetivos especficos C. Concepto y definicin de supervisin D. Objetivos de la supervisin E. Funciones bsicas de la supervisin F. Metodologa para la supervisin G. Instrumentos Modelo de Gua de Supervisin Monitoreo A. Introduccin B. Objetivos especficos C. Definicin y concepto de monitoreo Evaluacin A. Introduccin B. Objetivos especficos C. Conceptos y definicin D. Propsitos E. Tipos de evaluacin del programa F. Investigacin operativa Modelo de evaluacin del PAI A. Metodologa B. Componentes de la evaluacin 5 7 7 7 8 8 9 10 12 15 19 19 19 19 35 35 35 35 36 36 39 42 42 42

Mdulo VI Supervisin, monitoreo y evaluacin



Mdulo VI Supervisin, monitoreo y evaluacin

Objetivo general del Mdulo
Al trmino de este mdulo, el participante estar en capacidad de aplicar la metodologa de supervisin, monitoreo y evaluacin del PAI, para alcanzar y demostrar los resultados, el impacto y los objetivos logrados, como consecuencia de la implementacin de las acciones establecidas en el PAI.

Objetivos especficos del Mdulo

Conocer las caractersticas y diferencias entre supervisin, monitoreo y evaluacin; conocer el marco conceptual de la supervisin, monitoreo y evaluacin para el desarrollo de las acciones a nivel local; conocer las acciones bsicas de la supervisin como parte del proceso de capacitacin en servicio; reconocer la importancia de realizar el monitoreo en el PAI; identificar los componentes e instrumentos de supervisin, monitoreo y evaluacin; conocer los instrumentos del monitoreo y aprender a interpretar sus resultados; reconocer la importancia de la evaluacin y los diferentes modelos de evaluacin existentes; y aplicar las metodologas de evaluacin para los diferentes componentes del PAI.

Mdulo VI Supervisin, monitoreo y evaluacin



OBJETIVOS DEL MDULO

Unidad I Supervisin
A. Introduccin
Esta unidad trata de la supervisin como una actividad que debe realizar el recurso humano en salud que desarrolla tareas de vacunacin o vigilancia de las enfermedades inmunoprevenibles. Es importante comprender que la supervisin es parte de un proceso continuo de capacitacin, adiestramiento y control de las tareas asignadas, que contribuye al mejoramiento de los procedimientos, y posibilita el cumplimiento de los objetivos trazados. Esta concepcin es de fundamental importancia en el PAI, ya que es una de las formas de incentivar la motivacin y dedicacin del recurso humano en todos los niveles, y parte integrante de los procesos que tienden a alcanzar el cumplimiento de los objetivos trazados. Los gerentes en los respectivos mbitos, nacional, departamental, estatal, provincial o municipal, son las personas responsables del diseo del sistema de supervisin. Para los gerentes o coordinadores, la supervisin es un instrumento de control, que permite implementar las actividades del programa. El propsito general de un sistema de supervisin es apoyar a los trabajadores, para que puedan elegir las diferentes alternativas establecidas en las acciones y objetivos del PAI (vea Mdulo V: Programacin de las actividades de inmunizacin).

Al finalizar esta unidad, el participante estar en capacidad de: reconocer que la supervisin es una metodologa de capacitacin: enseanza aprendizaje, que busca mejorar la eficiencia y efectividad del recurso humano del PAI; reconocer los objetivos de la supervisin; conocer el perfil del supervisor y las funciones de la supervisin; elaborar un plan de supervisin; y comprender la importancia de orientar las medidas correctivas adecuadas con la participacin del recurso humano asignado.

Mdulo VI Supervisin, monitoreo y evaluacin



B. Objetivos especficos

SUPERVISIN

C. Concepto y definicin de supervisin

Es un proceso de asesora tcnica, donde el supervisor: recopila informacin para obtener informacin actualizada sobre los logros obtenidos y las dificultades identificadas; analiza el desarrollo de las actividades y las compara con las metas y el plan de trabajo; y toma, si es necesario, acciones correctivas o complementarias para lograr los objetivos y metas, y mejorar el rendimiento de las actividades. La supervisin no est circunscrita a una sola persona, sino que debe ser realizada por todos los recursos humanos del PAI, de acuerdo al momento, a las necesidades, y al desarrollo del programa. Se realiza en periodos de tiempo cortos, en forma continua y puntual. Para el PAI es necesario que la supervisin se realice con periodicidad mensual como mnimo, de manera que si existen problemas se puedan detectar tempranamente. Hay diferentes circunstancias que muchas veces dificultan o impiden que la supervisin se efecte mensualmente, pero se deben hacer todos los esfuerzos necesarios para lograrlo a nivel local, ya que esto es un proceso de capacitacin del recurso humano.

Curso de gerencia para el manejo efectivo del Programa Ampliado de Inmunizacin (PAI)

D. Objetivos de la supervisin
Fortalecer la capacidad tcnica del recurso humano; y mejorar el rendimiento de las actividades, de manera tal que se logren los objetivos o metas del programa. La Figura 1 muestra los conceptos de la supervisin y su objetivo.

Figura 1.

E. Funciones bsicas de la supervisin

Proporcionar apoyo y soluciones para el desarrollo de actividades y/o procesos con el fin de que los mismos tengan como caractersticas: oportunidad; consistencia en calidad; suficiente asignacin de recursos; seguimiento en la implementacin de actividades; deteccin de problemas en forma proactiva, y en el menor tiempo posible; y toma de medidas correctivas cuando es necesario. Realizar educacin continua en servicio; preparar los informes de supervisin para entregar, no solamente a los integrantes del sector supervisado, sino tambin a las autoridades del rea y a todas aquellas instituciones que se relacionan con las actividades del PAI, incluyendo representantes de la comunidad; proporcionar informacin a las autoridades de salud y sociedad civil sobre el impacto y/o consecuencias que tienen sobre el programa de vacunacin y la aplicacin de las diferentes polticas y estrategias que se desarrollan para el sector salud; y promover las polticas del programa de inmunizacin y sus metas, para mantener a las autoridades informadas en lo concerniente a la toma de decisiones, y como dichas decisiones podran afectar actividades y/o procesos clave del programa.

Pregunta 1. En el nivel en que Ud. se desempea:

Existe la supervisin de actividades? Si su respuesta es positiva, considera que dicha supervisin cumple las funciones de la forma que el texto describe? S No

Mdulo VI Supervisin, monitoreo y evaluacin



SUPERVISIN

?
Curso de gerencia para el manejo efectivo del Programa Ampliado de Inmunizacin (PAI)

Pregunta 2. Qu problemas cree Ud. que se podran suscitar en caso de que no existiese la supervisin? En caso de que hayan problemas, haga un listado de cinco y numrelos del ms (nmero 1) al menos importante (nmero 5). Presente sus respuestas con las del resto del grupo para el intercambio de opiniones. Pregunta 3. Enumere cinco funciones del supervisor con una escala de mayor (nmero 1) a menor (nmero 5) importancia, de acuerdo a su criterio. Intercambie opiniones con el resto del grupo.

F. Metodologa para la supervisin

F.1. Perfil del supervisor
El supervisor debe ser un profesional: con experiencia en el tema a supervisar; que se conduzca con respeto; que sea tolerante y coherente; con capacidad para escuchar, observar, analizar la situacin, reflejar inters por los temas y las soluciones de los problemas; con conocimiento y capacidad para tomar decisiones y orientar acciones correctivas; y con habilidad para ayudar a los trabajadores a planificar y evaluar su propio trabajo. El supervisor debe motivar al personal de salud a travs de diferentes mecanismos. Esta motivacin no se refiere a recompensas monetarias, sino a la posibilidad de mejoramiento en su capacitacin por medio de cursos formales o a distancia, notas de felicitacin por un buen desempeo, comunicaciones a las autoridades de salud, palabras de apoyo y de valoracin a su trabajo, y sobre todo en insistirles en el papel que cumplen y el valor del mismo para la comunidad.

10

F.2. Capacitacin de los supervisores

Los supervisores deben: conocer perfectamente las normas del PAI, el instrumento de supervisin y su manejo; adquirir previamente toda la informacin de la zona a supervisar y analizarla de manera objetiva; y manejar las metodologas de enseanza-aprendizaje. El nmero de supervisores nunca debe superar el nmero de supervisados.

F.3. Seleccin
La seleccin de las reas y establecimientos a supervisar debe ser realizada a travs del anlisis de la situacin de salud de la localidad, municipio o provincia, y debe culminar en una priorizacin de problemas, segn: datos de cobertura de vacunacin; casos notificados de las enfermedades objeto del programa; nivel de cumplimiento del plan de accin y de los indicadores establecidos; problemas con la cadena de fro; resultados de visitas previas o evaluaciones; falta de informacin; y otros criterios socioeconmicos, por ej., nivel de pobreza o poblacin desplazada.

F.4. Plan de supervisin

Mdulo VI Supervisin, monitoreo y evaluacin
11

El gerente debe elaborar un programa de supervisin, coordinado con las regiones, distritos y municipios segn corresponda, a fin de no interferir con otras actividades. El plan debe estar dirigido a la totalidad de los servicios a su cargo y debe contener como mnimo lo siguiente: objetivos e indicadores establecidos sobre procesos o actividades del programa; gua de supervisin estandarizada; cronograma; presupuesto; gua de monitoreo de coberturas; gua de bsqueda activa; informes anteriores de supervisiones efectuadas; informacin de apoyo (normas, descripcin de funciones, informes previos, estads ticas, otros); y el plan de accin nacional y el plan de accin local.

SUPERVISIN

F.5. Calendario de supervisin

Periodicidad depende del nivel supervisado y de las dificultades identificadas. Las supervisiones a nivel local, en general, necesitan ser realizadas ms a menudo que las de nivel provincial. Fechas y lugares las fechas, establecimientos y personas a ser visitadas deben ser coordinados anticipadamente. Actividades a realizar debe haber una programacin clara de reuniones, visitas, bsquedas activas y monitoreos a ser realizados, as como de otras actividades. Responsables/ejecutores debe haber una relacin de locales a ser supervisados con sus respectivos supervisores y datos (direccin y telfonos) de los responsables y personas a ser contactadas en los diferentes servicios.

Curso de gerencia para el manejo efectivo del Programa Ampliado de Inmunizacin (PAI)

G. Instrumentos
G.1. Guas de supervisin
En el Anexo I, pgina 15, se encuentra un modelo de Gua de supervisin, que se puede adaptar a las necesidades especficas de acuerdo al nivel de complejidad. Las guas de supervisin permiten evaluar los diferentes componentes del programa, utilizando una sistematizacin clara y preguntas objetivas y directas.

G.2. Informes de supervisin

El informe de supervisin debe contener, por lo menos: datos generales; situacin encontrada; actividades realizadas; recomendaciones; y compromisos asumidos, tanto por el supervisor como por el supervisado.

G.3. Informe de monitoreo de cobertura (vea la Unidad II)

12

G.4. Informes de bsquedas activas realizadas (vea Mdulo IV: Vigilancia epidemiolgica)
Los informes deben ser hechos por duplicado y firmados por los intervinientes. Una copia debe quedar en el servicio de salud supervisado, y otra copia la mantendr el supervisor, para realizar comparaciones en la prxima visita.

Pregunta 4. Ejerce o ejerci las funciones de supervisor? Describa sus debilidades y fortalezas, comparndolas con las descripciones de funciones y perfil del supervisor. Qu necesitara para cambiar en caso que lo tenga que hacer? Realizar este ejercicio en grupo. Pregunta 5. Se utilizan en su servicio de salud, o en su nivel, los instrumentos desarrollados en el texto? Si se utilizan otros, comparta su experiencia con el grupo. Haga un listado de no ms de cuatro, y comprtalos con su grupo. Pregunta 6. Qu limitaciones existen en la institucin donde trabaja, para realizar las tareas de supervisin? Enumere las cuatro principales y por lo menos una alternativa para superarlas.

?
Mdulo VI Supervisin, monitoreo y evaluacin
13

SUPERVISIN

Ejercicio de simulacin Seleccionar en el grupo los participantes que cumplirn el rol de:
director del centro de salud o servicio que se va a supervisar; supervisor/a; y dos recursos humanos del PAI.

Para la eleccin de las personas que participarn en la simulacin, se debe tener en cuenta que no deben cumplir en la vida real el papel que van a representar. Durante la simulacin, el supervisor tiene que interactuar con el director y los recursos humanos del PAI.
Curso de gerencia para el manejo efectivo del Programa Ampliado de Inmunizacin (PAI)

El resto de los integrantes del grupo y el coordinador del grupo actuarn como observadores. La simulacin durar 30 minutos. Los comentarios posteriores del grupo se harn en 30 minutos, y se preparar un informe final que se presentar en reunin plenaria junto con los comentarios correspondientes.

14

Anexo I Modelo de Gua de supervisin

Lo ideal es contar con una gua que contenga todos los componentes del programa, y en la que las preguntas se puedan agrupar por componentes o actividades: observacin, revisin de registros, de equipos y de entrevista. La gua debe ser llenada por duplicado. El original debe quedar en el servicio de salud supervisado, con las recomendaciones y compromisos tanto del supervisor como del supervisado, y la otra la mantendr el supervisor. El objetivo es que ambas sean utilizadas en las siguientes supervisiones para monitorear el cumplimiento de las recomendaciones. La gua debe tener un instructivo para completarla. A continuacin presentamos una gua como ejemplo general, que se puede adaptar a las necesidades de los diferentes niveles, sobre todo el local.

Mdulo VI Supervisin, monitoreo y evaluacin

15

GUA DE SUPERVISIN

Anexo I
Modelo de Gua de supervisin
NOMBRE DEL CENTRO.. PERSONA/S ENTREVISTADA/S. FECHA..................

S a) El establecimiento tiene identificacin de vacunatorio? b) El vacunatorio est bien ubicado? c) Recibe regularmente boletines del PAI? d) Tiene normas del Manual Tcnico del PAI? e) Dispone de fondos operativos? I. Organizacin f) Tiene Plan Operativo Anual (POA) del PAI? g) Se incorpor el POA PAI en el municipio?

No

Obs

Verifique

Curso de gerencia para el manejo efectivo del Programa Ampliado de Inmunizacin (PAI)

h) % de ejecucin a la fecha? i) Coordina con otros programas? j) Coordina con instituciones privadas? k) Coordina con organizaciones no gubernamentales? a) Coinciden los datos del cuaderno de vacunacin con el informe mensual? b) Tiene grfico de monitoreo de coberturas actualizado y visible? c) El equipo analiza coberturas y tiene actas? II. Calidad de la informacin d) Se realiz monitoreo de coberturas casa por casa? e) Han dado resultado las estrategias empleadas? f) Hay un sistema de seguimiento para los nios que no llegan a recibir una dosis de vacuna? g) Qu porcentaje de nios retornan a completar sus terceras dosis? a) Refrigerador y/o congelador exclusivo para vacunas? b) Tiene paquetes en el congelador? c) A 15 cm de la pared, en la sombra y serpentina limpia? d) Con botellas de agua tapadas? e) Tiene termmetro? III. Cadena de fro f) Hoja de temperatura visible y actualizada? g) Temperatura dentro de los lmites de seguridad en el ltimo mes? h) Tiene garrafa de gas de reserva? i) Tiene registro de mantenimiento de equipos? j) Hay termos para actividad extramural? k) Hay plan de emergencia si falla la cadena de fro? Nombre(s) Nombre(s)

16

a) Tiene biolgicos y jeringas suficientes? b) Est adecuadamente organizado el refrigerador? c) Vacunas dentro de fechas de seguridad? IV. Vacunas y jeringas d) Frascos de vacuna sin aguja en la tapa? e) Se utilizan jeringas y agujas una sola vez? f) Abastecimiento adecuado de vacunas y jeringas? g) Desecha jeringas usadas en las cajas de seguridad? h) Tiene kardex actualizado? i) Envan informes de vacunacin en las fechas establecidas? a) Promocionan la vacunacin? b) Vacunan diariamente (hora y das laborales)? c) Observ las tcnicas de aplicacin de vacunas? d) Se rechazan nios para la vacunacin si tienen enfermedades leves? e) Investigan el estado vacunal de todos los nios que llegan al servicio de vacunacin? f) Investigan el estado vacunal de todos los nios que llegan a su centro/clnica para servicios curativos? g) Se vacunan mujeres embarazadas durante visitas prenatales? h) Realizan notificacin semanal negativa? i) Este ao notificaron e investigaron casos del PAI? En la presente visita, se haban superado los aspectos crticos encontrados en la visita anterior? Si no es as, qu influy para no cumplir con los compromisos? Cuntas veces recibi visitas de supervisin del PAI en el presente ao? Cundo fue la ltima supervisin del PAI? Quin efectu la supervisin? Cundo fue la ltima vez que recibi capacitacin? Cul mtodo?

V. Actividades de vacunacin y vigilancia

VI. Resultados

Mdulo VI Supervisin, monitoreo y evaluacin

17

GUA DE SUPERVISIN

VII. Actividades

Dependiendo de los problemas del municipio o rea, el supervisor realizar tambin actividades en el terreno (fuera del centro de salud). Como mnimo, al menos una actividad de terreno debe ser realizada en cada supervisin para considerarse esta completa: Actividad de terreno Realizada (S/no) Monitoreo de coberturas casa por casa en zonas de riesgo Bsqueda activa de casos en escuelas o colegios Resumen de resultados:

VIII. Comentarios

Curso de gerencia para el manejo efectivo del Programa Ampliado de Inmunizacin (PAI)

Por parte del supervisor: IX. Compromisos adquiridos

Por parte del establecimiento:

Nombre del supervisor: Nombre del entrevistado: Fecha de la visita:

(f) (f) Sello:

18

Unidad II Monitoreo
A. Introduccin
El PAI est sustentado en la conjuncin de varias disciplinas que deben actuar en forma armnica para producir el resultado deseado: nios sanos a travs del control y erradicacin de las enfermedades inmunoprevenibles. Cada ao el PAI debe vacunar al 100% de la nueva cohorte de recin nacidos con todas las vacunas del esquema nacional. Si se espera hasta fin de ao para determinar el logro de la meta ya no se podr corregir ni revertir la existencia de coberturas menores. Por esto la planificacin y programacin del PAI que se implementa cada ao debe estar acompaada de un mecanismo de control que permita avanzar hacia las metas trazadas. En el PAI, el monitoreo es una herramienta clave que contribuye a la ejecucin efectiva y eficiente de las acciones, pues sirve para verificar peridicamente que el trabajo se est desarrollando de acuerdo a lo que se plane, identificar causas de incumplimiento de las metas, y adoptar medidas pertinentes en forma inmediata y oportuna para su correccin.

B. Objetivos especficos
Mdulo VI Supervisin, monitoreo y evaluacin
19

Al trmino de esta unidad, el participante estar en capacidad de: conocer el concepto de monitoreo; reconocer la importancia del proceso de monitoreo en la gerencia y gestin del PAI; aplicar la metodologa de monitoreo en las acciones del PAI; interpretar los resultados de las acciones de monitoreo; e identificar los indicadores ms adecuados para la realizacin del monitoreo.

C. Definicin y concepto de monitoreo

En su concepcin ms amplia, el monitoreo es una herramienta de gestin y de supervisin para controlar el avance de los proyectos, programas o planes en ejecucin, el cual proporciona informacin sistemtica, uniforme y fiable, permitiendo comparar los resultados con lo que se planific.

MONITOREO

A diferencia de la supervisin, el monitoreo se puede efectuar con el anlisis de la informacin, enviada por los diferentes niveles, sin ir al terreno. Su objetivo es identificar logros y problemas, determinar su importancia, analizar sus causas, y adoptar medidas pertinentes en forma inmediata.

?
Curso de gerencia para el manejo efectivo del Programa Ampliado de Inmunizacin (PAI)

Pregunta 1. Analice y defina, con sus propias palabras, la importancia de la utilizacin del monitoreo en el PAI. Indique si en el lugar donde Ud. desarrolla sus actividades se aplica el monitoreo de acuerdo a los conceptos del texto. Intercambie sus conclusiones con el grupo. Pregunta 2. Describa la diferencia entre supervisin y monitoreo tomando los conceptos de las Unidades I y II y los propios. Compare sus conclusiones con las del resto de los integrantes del grupo.

C.1. Indicadores
La realizacin de un monitoreo requiere la definicin de indicadores e instrumentos. Un indicador es una medida resumen, asociada a una actividad o proceso que permite, por comparacin con los estndares, analizar peridicamente las unidades de programacin, resultados e impacto. Cumplen la funcin de aportar informacin sobre una situacin determinada o su evolucin en el tiempo. Tambin permite apreciar los resultados o el impacto de los efectos provocados por distintas intervenciones. Para establecer un indicador se deben conocer las lneas de base y metas anuales a alcanzar.

Caractersticas de los indicadores

Un buen indicador debe ser: vlido, es decir, revela efectivamente los cambios que se pretenden indicar; objetivo, permite obtener resultados similares cuando lo utilizan diferentes personas en distintas circunstancias y momentos;

20

 sensible, registra los cambios de la situacin o fenmenos de que se trata; y especfico, refleja los cambios exclusivamente en la situacin o el fenmeno de que se trate.

Tipo de indicadores comnmente usados

Indicadores de vacunacin: existen diversos indicadores de vacunacin, los cuales permiten monitorear diferentes aspectos del PAI: acceso, seguimiento, resultados e impacto del programa. Estos indicadores, en general, se calculan en porcentajes, de modo que permitan hacer comparaciones entre diferentes grupos de edad, fecha y lugar. Se construyen utilizando valores numricos que contienen: como numerador: el nmero de dosis aplicadas en la poblacin objeto a ser vacunada, por ejemplo: terceras dosis OPV y DPT aplicadas, una dosis de BCG o de vacuna antisarampionosa; y como denominador: el nmero total de la poblacin objeto. Siempre el denominador abarca el numerador. Para la determinacin del denominador se utilizan datos del censo actualizado, por ejemplo, estimacin de poblacin por grupo de edad. Con frecuencia los pases encuentran problemas en el clculo del numerador y del deno minador debido a fallas en el registro de dosis aplicadas, estimaciones inadecuadas de poblacin o migraciones. Para superar los problemas con el denominador se puede utilizar como alternativa el nmero de nios que recibieron la vacuna BCG en localidades donde se atiende un alto porcentaje de partos hospitalarios y la subsecuente vacunacin de recin nacidos. Indicadores de gestin (indicador de proceso): nmero de actividades ejecutadas/nmero de actividades programadas; y asignacin y ejecucin de fondos al PAI (POA municipales, distrital). Indicadores de sostenimiento (indicador de proceso): porcentaje de fondos recurrentes (vacunas, jeringas y gastos de operacin del programa) gerenciados con fondos nacionales o locales. Indicadores de equidad (indicador de resultado): nmero de municipios con bajas coberturas; y nmero de municipios con altos ndices de pobreza (focalizacin y asignacin de recursos). Indicadores de impacto: indicadores de morbilidad; e indicadores de mortalidad. Los indicadores de vigilancia epidemiolgica de las enfermedades prevenibles por vacunacin tales como sarampin, rubola y poliomielitis, se describen en el Mdulo I: Enfermedades del PAI.

Mdulo VI Supervisin, monitoreo y evaluacin

21

MONITOREO

?
Curso de gerencia para el manejo efectivo del Programa Ampliado de Inmunizacin (PAI)

Pregunta 3. Describa alguno de los indicadores que se utilizan en su servicio. Analice si cumplen con las caractersticas especificadas en el texto.

Entre los indicadores de vacunacin se pueden mencionar:

Indicador de acceso
Es la proporcin de nios que han sido captados por el servicio de vacunacin dentro y fuera del establecimiento en relacin con la poblacin total de este grupo. Frmula # primeras dosis de pentavalente (DPT1 o Penta1) en < 1 ao Poblacin total < 1 ao x 100

Utilidad se utiliza para analizar cuntos nios acceden efectivamente a los servicios de vacunacin, y que deben completar esquemas de vacunacin; y para verificar denominadores poblacionales. Cuando este indicador es superior al 100% existe la posibilidad que la poblacin est subestimada, o el registro de grupo de edad no sea el adecuado o se estn vacunando nios por fuera de los grupos de edad del PAI, o se est vacunando poblacin adscripta a otro servicio de salud u otro municipio. Interpretacin cuando es del 100%, el acceso es adecuado, y la posibilidad de tener coberturas con terceras dosis superiores al 90% es factible; cuando es menor al 100%, disminuye la posibilidad de llegar a coberturas superiores al 90%. Esto significa que hay dificultades para llegar a la poblacin de los nios definidos en la programacin. Se debe identificar las causas de estos problemas, a fin de abordarlas rpidamente. Por ejemplo, en poblacin dispersa, enviar brigadas mviles, campaas de difusin masivas y/o determinar el horario ms conveniente para las vacunaciones. Esta situacin identifica reas de alto riesgo; y cuando es mayor al 100%, la poblacin asignada debe ser revisada para definir la poblacin real.

22

Tasa de abandono o tasa de desercin (indicador de seguimiento)

Se puede utilizar la vacuna antipolio, DPT/pentavalente Frmula Primeras dosis de pentavalente terceras dosis de pentavalente en < 1 ao Primeras dosis de pentavalente en < 1 ao

x 100

Utilidad sirve para saber cuntos nios y mujeres han regresado al establecimiento para completar su esquema; cuando el ndice de acceso es bueno, del seguimiento depende el logro de la cobertura del nio o mujer completamente vacunado; es un indicador de calidad de la oferta del servicio, cuando la primera experiencia es buena los usuarios retornan; y es un indicador de la informacin y educacin que brindan en el establecimiento de salud en forma permanente a los usuarios. Interpretacin cuando est por debajo del 5% es aceptable; demuestra que hay un buen sistema de seguimiento, y la posibilidad de alcanzar una cobertura alta es factible. Cuando est por encima del 5%, demuestra que hay problemas en el servicio de vacunacin y mala calidad en la oferta. Se deben investigar las causas y corregirlas.

Indicador de cobertura (indicador de resultado)

Coberturas en menores de 1 ao de edad: Ejemplo DPT/pentavalente Frmula # terceras dosis de DPT o pentavalente en < 1 ao x 100 Poblacin total < 1 ao Coberturas en nios de 1 ao de edad: Ejemplo Sarampin Frmula # de nios de 12 a 23 meses con una dosis de SRP o antisarampionosa x 100 Poblacin total de 12 a 23 meses Utilidad Mide la proporcin (en porcentaje) de nios que han recibido las vacunaciones establecidas en el esquema, y que por consiguiente quedan protegidos (dosis completas de polio, DPT/ pentavalente, etc). Mdulo VI Supervisin, monitoreo y evaluacin
23

MONITOREO

Interpretacin El anlisis del indicador de cobertura se hace en base a estndares definidos. Por ejemplo, para eliminar el sarampin se precisan coberturas superiores al 95%. Cuando est por encima del 95% con BCG, antipoliomieltica y pentavalente la cobertura es buena y la proteccin adecuada; cuando est por encima del 95% para sarampin la cobertura es buena y el riesgo de epidemia es menor; cuando es inferior a 95%, se deben identificar las causas a fin de abordarlas rpidamente, si hay poblacin dispersa enviar brigadas mviles, campaas de divulgacin masiva, horario de las vacunaciones, por ejemplo; y cuando es mayor a 100%, la poblacin asignada es mayor y debe ser ajustada o el registro de las dosis aplicadas no es de calidad.

Esquema completo para la edad (indicador de resultado)

Curso de gerencia para el manejo efectivo del Programa Ampliado de Inmunizacin (PAI) Frmula # de nios <1 ao de edad que han recibido 3 dosis de DPTHib (o pentavalente), 3 dosis de la VOP, BCG y 3 dosis de hepatitis B (si se aplica en el pas) x 100 Poblacin total de nios <1 ao de edad Utilidad Mide la proporcin, en porcentaje, de nios que han recibido TODAS las vacunas apropiadas para su edad del esquema de vacunacin, y que por consiguiente, quedan protegidos. Puede realizarse para nios con esquema completo a los 6, 9, 12 meses, etc. Interpretacin El anlisis del indicador de cobertura de esquema completo da informacin sobre el nivel de proteccin contra todas las enfermedades prevenibles por vacunacin. Adems, da informacin si existen oportunidades perdidas y si el programa local de PAI est dando importancia a todas las vacunas. Si la cobertura de VOP3 no es igual a la de DPTHib3, debe ser debido a oportunidades perdidas. Si la cobertura de VOP3 es mucho ms alta de la de DPTHib3, es posible que el PAI da ms importancia a vacunar contra polio que las otras enfermedades.

24

Ejercicio A El municipio de Esteros tiene 25.670 habitantes, 770 nios menores de 1 ao, 718 nios de 12 a 23 meses. En el periodo de enero a junio del 2002, el servicio de salud del lugar administr 342 primeras dosis de pentavalente y antipolio, 325 segundas dosis de antipolio y 318 segundas dosis de pentavalente, 298 terceras dosis de antipolio y 289 terceras dosis de pentavalente. En forma grupal, los participantes deben construir cada uno de los indicadores descritos en la Unidad II, realizar la interpretacin correspondiente y emitir un informe. En la plenaria, el coordinador deber anotar en la pizarra o rotafolio los resultados, las interpretaciones y en conjunto sacar conclusiones. Si los participantes cuentan con datos propios del nivel local de su lugar de trabajo, pueden realizar comparaciones con los datos del ejercicio, y presentarlos en la plenaria.

C.2. Instrumentos del monitoreo

La Figura 1 presentada a continuacin, es til para monitorear coberturas de vacunacin. En la zona coloreada se indican los estndares: el color ms oscuro indica riesgo y el color ms claro indica zona de xito.

Grfico de monitoreo de cobertura

Este grfico de monitoreo se debe usar en todos los niveles del sistema, utilizando la informacin correspondiente a cada nivel. Este instrumento tiene varias aplicaciones: permite al nivel operativo ponerse metas mensuales y evaluarlas mensualmente; permite comparar el desempeo en diferentes periodos o aos; se puede monitorear cualquier tipo de vacuna y dosis aplicadas; y es un instrumento objetivo para mostrar al personal de salud y a los lderes de la comunidad la situacin en la que se encuentra su municipio.

Mdulo VI Supervisin, monitoreo y evaluacin

25

MONITOREO

Figura 1. Cobertura de vacunacin en nios menores de 1 ao, pentavalente

Curso de gerencia para el manejo efectivo del Programa Ampliado de Inmunizacin (PAI)

Interpretacin del grfico Se espera que cada mes se debe vacunar a un 8,3% de los nios que se encuentran bajo la responsabilidad de un servicio. Al cabo de 12 meses, se vacunar al 100% de los nios, con todos los biolgicos. Se hace un corte del 95% como mnimo para considerarse exitosa la vacunacin; cada mes se observa si est por debajo o por encima de la meta mensual. En base a la situacin encontrada y visualizada, definir las acciones correctivas para cumplir con los objetivos establecidos. Tambin es de utilidad para observar si las terceras dosis, sistemticamente, son superiores a las primeras. Esta situacin sera un sntoma de problemas en el registro, que se debe investigar. Instructivo de llenado Se programa al 100% de los nios menores de 1 ao del rea de influencia del establecimiento de salud. Registrar en el extremo superior izquierdo el total de nios a vacunar en el ao. Para este ejemplo el nmero es de 3.000; dividir 3.000 entre 12 meses para saber a cuntos nios hay que vacunar por mes y registrar en la fila que dice Ideal y luego se va acumulando ese valor: 3.000/12=250 nios/mes. Enero: 250, febrero: 500, marzo: 750. Este dato facilita la comparacin de lo realizado con el ideal esperado por mes; en la fila de nmero de vacunados en el mes con primeras dosis, registrar el nmero absoluto de primeras dosis aplicadas y calcular el porcentaje correspondiente en funcin al total de nios (siguiendo con el ejemplo, 3.000). En la fila de acumulados no se coloca nada porque en enero se empieza de cero;

26

 este mismo procedimiento se hace con terceras dosis en el mes; en el siguiente mes se coloca en la fila de vacunados en el mes el nmero correspondiente y en la fila de acumulados se suma lo vacunado en el mes de febrero; y el mismo procedimiento se sigue para terceras dosis y en los siguientes meses. Se puede utilizar el grfico en: afiches que se colocan en los servicios de vacunacin en lugares visibles; cuadernos de seguimiento para los supervisores, por cada lugar a supervisar; y a nivel local puede hacer un grfico de monitoreo semanal, el cual facilitar el monitoreo mensual.

Pregunta 4. Enumere tres de los instrumentos de monitoreo que considere ms importantes y que se utilizan en su lugar de trabajo. Comparta su experiencia con los dems integrantes del grupo.

?
Mdulo VI Supervisin, monitoreo y evaluacin
27

Ejercicio B Elabore un grfico de monitoreo de coberturas con los datos que se presentan a continuacin: Cuadro 1. Vacunados por mes
Mes
Enero Febrero Marzo Abril Mayo Junio Julio Agosto Septiembre Octubre Noviembre Diciembre

Dosis OPV Primeras

10 45 250 300 67 78 246 350 280 65 40 38

Terceras
0 30 80 100 60 70 158 245 120 45 20 15

Nmero de nios menores de 1 ao: 3.000

MONITOREO

Interprete los resultados e identifique las acciones que debieran tomarse cada mes o en el tiempo que usted crea conveniente. Realice el ejercicio y disee el grfico con datos reales de su establecimiento, si cuenta con ellos, y presntelos en la plenaria, comentando adems los hallazgos y las recomendaciones respectivas. Monitoreo de municipios en riesgo
Definicin Municipios en riesgo son los municipios que tienen mayor probabilidad de tener casos de enfermedades inmunoprevenibles. Generalmente el riesgo est relacionado con bajas coberturas de vacunacin en el municipio y en consecuencia alta acumulacin de susceptibles. Otras condiciones de riesgo son los deficientes sistemas de vigilancia epidemiolgica o la proximidad con reas de brote. Debido a ello, normalmente se monitorean los municipios a travs de indicadores de vacunacin y vigilancia. Sin embargo, hay otras medidas de riesgo que tambin se pueden utilizar para identificar y vigilar los municipios en riesgo. Por ejemplo, los municipios con altos ndices de pobreza y con una alta densidad poblacional, poblacin migrante, poblacin indgena, entre otros factores, tienen mayor riesgo de brotes de las enfermedades inmunoprevenibles. Aunque aqu discutimos el monitoreo de riesgo en trminos de cobertura, se pueden usar estos otros factores descritos. Frmula Nmero de municipios con cobertura por debajo del 95% x 100 Total de municipios Utilidad Conocer la distribucin de los municipios segn el riesgo que tienen para presentar casos de enfermedades prevenibles por vacunacin; identificar los municipios con bajas coberturas; identificar los municipios con mayor nmero de susceptibles; evaluar la equidad de los servicios de vacunacin y otros servicios; e identificar reas de riesgo a ser intervenidas oportunamente y en forma prioritaria. Los municipios o distritos pueden aplicar este indicador con unidades ms pequeas, como jurisdicciones. Interpretacin Depende de las metas operacionales que se tenga en cada pas y el peso poblacional de los municipios; y se deben identificar los municipios con bajas coberturas y con otros criterios mencionados en la definicin de monitoreo de municipios en riesgo, para priorizar las actividades de vacunacin.

Curso de gerencia para el manejo efectivo del Programa Ampliado de Inmunizacin (PAI)
28

En el siguiente ejemplo de un pas, se identifican las reas de riesgo considerando los municipios con coberturas rutinarias de antisarampin < 95%. Tambin se puede hacer por regiones, o dentro de un municipio por localidades y en una ciudad por barrios.

Mapa 1. Cobertura de vacunacin antisarampionosa por municipios. Bolivia, 2003

Fuente: Ministerio de salud de Bolivia.

En el siguiente grfico se pueden monitorear los avances del PAI, en lo relacionado a la disminucin de los municipios en riesgo en un periodo de tres aos.

Figura 2. Municipios segn cobertura de vacunacin con pentavalente, 2001-2003

Las dos formas de representacin grfica son muy indicativas de la distribucin de las coberturas.

Mdulo VI Supervisin, monitoreo y evaluacin

29

MONITOREO

?
Curso de gerencia para el manejo efectivo del Programa Ampliado de Inmunizacin (PAI)

Pregunta 5. (i) Con los datos que usted tiene correspondientes a su lugar de trabajo, hacer un mapeo de las coberturas segn corresponda (municipios, localidades, barrios, villas, etc). (ii) Puede observar cmo evolucionaron en los tres ltimos aos? (iii) En plenaria, comenten los resultados.

Monitoreo rpido de cobertura

Este monitoreo rpido de cobertura es un instrumento de supervisin cuyo objetivo es ayudarnos a determinar, como supervisores, si hay o no necesidad de revacunar en esa rea, barrio o zona. Si todos los nios de las manzanas visitadas estn vacunados y todos los padres refieren que acuden regularmente a la vacunacin y no hay falta de vacuna (o, en el caso de una campaa de vacunacin puerta a puerta, los vacunadores vacunaron a todos los nios), esto sugiere que se ha vacunado bien en esa rea. El monitoreo rpido no es una encuesta de cobertura y sus resultados no son generalizables al resto del rea o localidad. En algunos casos, los resultados del monitoreo no permiten llegar a una conclusin clara: por ejemplo se encuentran dos nios no vacunados pero todos los dems estn bien, o hay un par de casas que no fueron visitadas en la vacunacin puerta a puerta. En estos casos se puede: (a) repetir el monitoreo en otras manzanas usando los mismos criterios, (b) usar otras estrategias, como calcular la cobertura usando denominadores alternativos como cobertura DPT1 (si en el rea hay buen acceso al servicio) o BCG (si la proporcin de partos en el servicio del rea es elevada), o realizar un monitoreo sistemtico con hogares escogidos al azar. Metodologa Definir cual es el objetivo del monitoreo: monitorear programa regular, jornadas y campaas de seguimiento, para cual(es) vacuna(s) se realizar el monitoreo; preparar el formulario de registro segn grupo(s) de edad y vacuna(s) objeto del monitoreo; para desarrollar la actividad pedir ser acompaado por el responsable del estableci miento, rea, municipio o distrito; en el rea a investigar, escoger cinco manzanas separadas una de otra y que a juicio del responsable del monitoreo sean las de menor probabilidad de haber sido visitadas por los vacunadores (de difcil acceso, alejadas de las calles principales). De haber casos sospechosos o confirmados en el rea se debe escoger manzanas aledaas a la residencia y lugares frecuentados por el caso; en cada una de las cinco manzanas, visitar todas las casas movindose en la direccin de las agujas del reloj, hasta completar en cada manzana un total de 5 casas con nios elegibles para la vacunacin (en general, para sarampin, se investiga a los

30

% de vacunados con antisarampin

Nmero de nios vacunados Total de nios encontrados

x 100

Con base en los hallazgos, si es necesario, programar actividades adicionales. durante el monitoreo rpido de cobertura se debe realizar la bsqueda activa de enfermedades inmunoprevenibles.

Mdulo VI Supervisin, monitoreo y evaluacin

31

nios de 1 a 4 aos de edad) cuyos datos de vacunacin estn disponibles. Si en una de las manzanas hay menos de 5 casas con nios elegibles continuar en la manzana ms cercana hasta completar las 5 casas. Recordar identificarse al llegar a la vivienda y comunicar los objetivos de la visita; el monitoreo termina cuando todas las manzanas han sido visitadas y se encontr un total de 25 casas con nios elegibles cuyos datos de vacunacin estn disponibles; si en una casa no existe un adulto que pueda presentar el carnet, EXCLUIR esta casa del monitoreo; si durante el monitoreo se hallan ya cuatro casas cuyos nios no estn vacunados, no es necesario continuar monitoreando otras casas, pues esto sugiere que hubo un mal trabajo de vacunacin y que se necesita vacunar nuevamente la zona; llenar el formulario adjunto (Formulario 1); cuando se encuentre una casa con nios no vacunados debe entrevistarse cuidadosa mente a la madre (o al adulto a cargo) para averiguar las causas de la no vacunacin de ese o esos nios; siempre se debe investigar si hay ms familias en las viviendas visitadas que tengan nios; lo que da valor al monitoreo para el supervisor es que le permite ir al terreno (parti cularmente a zonas consideradas en riesgo), entrevistar a los usuarios en su casa y averiguar sobre la vacunacin de los menores de 5 aos para estimar: (i) si todos los nios que deban haber sido vacunados han sido vacunados, y (ii) de haber nios no vacunados, determinar, entrevistando a los padres, cules fueron los problemas que impidieron que esos nios fuesen vacunados. La informacin as obtenida es crucial para evaluar si el trabajo fue hecho y si no, qu factores contribuyeron a la falla. Esta informacin es fundamental para que el supervisor conozca de primera mano la situacin y recomiende medidas correctivas apropiadas y realistas; este monitoreo puede realizarse: durante la supervisin de la vacunacin de rutina; y en el curso de una campaa, al final de cada da de vacunacin, para determinar si el trabajo del da fue adecuado y si los vacunadores pueden continuar al rea siguiente o si no fue adecuado y algunos vacunadores deben regresar a la misma rea al siguiente da. frmula para el clculo de porcentaje de nios vacunados con antisarampionosa o para cualquier vacuna:

MONITOREO

Formulario 1 - Monitoreo rpido de conveniencia de vacunacin antisarampionosa

Provincia:______________ rea de salud:_________________ Municipio: _____________ Unidad operativa:______________ Responsable de la vacunacin: ________________________________________ Fecha del monitoreo: ________________ Responsable del monitoreo: _____________________
(A) (B) Hogar N No. de nios de 1a 4 aos que viven en la casa (C) No. de nios de 1-4 aos que viven en la casa y fueron vacunados contra el sarampin (con carnet o comprobante) (D) Motivo por el cual la madre/padre indica que no se vacun a el/los nios: (1) los vacunadores no vinieron; (2) los vacunadores vinieron cuando ellos no estaban y no volvieron; (3) padres rehusaron la vacuna por estar el nio enfermo; (4) padres rehusaron la vacuna por consejo de su pediatra o mdico; (5) padres rehusaron la vacuna por otras razones; (6) vacunadores rehusaron vacunarlo; (7) otros motivos, especificar (E) Otras observaciones: indicar si la familia refiere que los vacunadores pasaron o no por ah durante la ltima campaa casa a casa. En algunos casos, ser til anotar aqu tambin la fecha de ltima vacunacin para verificar si fue en la ltima campaa

Curso de gerencia para el manejo efectivo del Programa Ampliado de Inmunizacin (PAI)

2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 TOTAL

% vacunados con antisarampionosa: (C) Nios vacunados X 100 = (B) Total de nios

32

Figura 3. Interpretacin del monitoreo

Ejercicio C La mejor forma de aprender a hacer monitoreo es aplicndolo. Todos los participantes pueden organizarse en un juego de roles, con algunos haciendo de monitores y otros de padres o madres de familia. Cada familia deber tener un papel con su situacin (ejemplo, Roberto es familia Lpez, con 4 nios, 2 de ellos mayores de 4 aos, uno de 2 aos nunca vacunado y otro de 3 aos bien vacunado, la madre indica que fue al centro de salud con el nio de 2 aos y le dijeron que no necesitaba vacuna). Para estos juegos de roles, es prctico que el participante use el caso de su propia familia o de una familia que l o ella conozca, y responda a las preguntas en base a la historia de esa familia. Luego de terminadas las entrevistas del juego de roles, los que han realizado el monitoreo muestran los resultados a todos los participantes (usando un pizarrn, o en papel) y estos se discuten. El ejercicio termina cuando los participantes, en reunin plenaria, deciden qu medidas aconsejar para el encargado de vacunaciones del rea. El participante que haya efectuado el monitoreo debe aclarar las dudas que an persisten en la aplicacin del formato, hasta que todo est resuelto.

Mdulo VI Supervisin, monitoreo y evaluacin

33

MONITOREO

Unidad III Evaluacin

A. Introduccin
Los documentos, publicaciones y la implementacin de la evaluacin del PAI, con su propia metodologa en todos los pases de la Regin, dan prueba fehaciente de la importancia que tienen los procesos de evaluacin y su metodologa para alcanzar los objetivos y metas trazadas. Por otra parte, se sabe que los resultados de la evaluacin ayudan al diseo de los planes de accin.

B. Objetivos especficos
Describir el marco conceptual de la evaluacin; interpretar la importancia de implementar la evaluacin del PAI en forma peridica; reconocer la necesidad de utilizar diferentes metodologas en el proceso de evalua cin; analizar los componentes de evaluacin de las acciones del PAI; explicar el concepto de oportunidades perdidas; interpretar las diferencias entre supervisin, monitoreo y evaluacin; y enumerar los componentes de la investigacin operativa. Mdulo VI Supervisin, monitoreo y evaluacin
35

C. Conceptos y definicin
La evaluacin es un conjunto de procedimientos que se utilizan en forma peridica, para analizar el desarrollo del programa y para obtener informacin acerca del cumplimiento y validez de sus objetivos, actividades, costos, resultados e impacto. Sus caractersticas fundamentales son: es un juicio de valor y no simples mediciones. Este juicio de valor se sustenta en el mtodo cientfico y en el anlisis de las metodologas utilizadas; tiene carcter de periodicidad; se realiza de diferentes modos y con diferentes metodologas; y sus resultados se utilizan para sostener, corregir o cambiar las diferentes acciones y componentes del programa.

EVALUACIN

D. Propsitos
Determinar el grado de cumplimiento de los objetivos propuestos; identificar las debilidades, amenazas, fortalezas y oportunidades; determinar la eficiencia y efectividad de las acciones implementadas; proveer controles de calidad; determinar la efectividad y eficiencia de diferentes estructuras gerenciales y de gestin; y posibilitar una visin crtica del recurso humano que interviene en el programa e incrementar la comunicacin y la coordinacin.

Curso de gerencia para el manejo efectivo del Programa Ampliado de Inmunizacin (PAI)

Pregunta 1. Intercambie con su grupo los conceptos y diferencias que Ud. cree existen entre supervisin, monitoreo y evaluacin. Desarrollen un listado, y luego presntenlo en la reunin plenaria.

E. Tipos de evaluacin del programa

Existen diferentes tipos de evaluacin. En el PAI las ms frecuentes son las evaluaciones del proceso, del resultado y del impacto.

E.1. Evaluacin del proceso

Est relacionada con la verificacin de la gestin del programa, o sea, de aspectos de planificacin, ejecucin y financiamiento.

36

E.2. Evaluacin del resultado

Es la verificacin del alcance de los objetivos especficos y metas, a travs de las diferentes acciones establecidas en cada uno de los componentes del PAI, que se supone que logran el impacto deseado. Si no es as, mediante la evaluacin se deben encontrar las causas e introducir cambios. En el caso del PAI en concreto se deber evaluar: la organizacin de las actividades; las coberturas de vacunacin; y la logstica

E.3. Evaluacin del impacto

A travs de esta metodologa se evala el impacto del programa en la salud pblica, los cambios obtenidos o los resultados esperados, teniendo en cuenta la intervencin a travs de las acciones del PAI. Es importante que cuando se realicen las evaluaciones, se analicen todos los temas que se relacionan con el cumplimiento de metas y objetivos del PAI. Se deben intercambiar opiniones con las autoridades y los actores sociales, sobre la influencia de las polticas que influyen en la ejecucin de las acciones del PAI. En estas evaluaciones se debe profundizar en los aspectos sociales, econmicos, la falta de equidad en los servicios, la existencia de poblaciones marginadas y sobre todo en las polticas sectoriales y extrasectoriales que inciden en los aspectos de las inmunizaciones. Se deben enfatizar los aspectos de la poltica de reforma del Estado y del proceso de descentralizacin, ya que estos son aspectos fundamentales que intervienen en forma directa en los resultados y el impacto del programa. Mdulo VI Supervisin, monitoreo y evaluacin
37

Pregunta 2. Particip en alguna oportunidad de la evaluacin del PAI en su pas o en otro? Si su respuesta es positiva, intercambie su experiencia con el resto del grupo. El grupo deber desarrollar conclusiones y comentarios.

En el Anexo II se presenta un resumen del modelo de evaluacin del PAI que se ha realizado en la mayora de los pases de la Regin.

EVALUACIN

E.4. Evaluacin de la cobertura

Existen tres mtodos para evaluar la cobertura: (a) administrativo; (b) por monitoreo rpido de coberturas, (c) encuestas por muestreo.

a) Evaluacin administrativa
La evaluacin se realiza utilizando datos provenientes de los servicios de salud. En algunos pases el flujo de la informacin es parte de los sistemas integrales de informacin, en otros es el propio programa que colecta y procesa la informacin, pero la fuente primaria en ambos son los servicios de salud. El principal problema de este tipo de evaluacin es que los datos tanto del numerador como del denominador pueden no ser correctos debido a errores de registro, a censos muy antiguos o a la migracin interna de los pases, entre otros. Se utiliza el indicador de cobertura explicado en la Unidad II (vea pgina 31), en su construccin e interpretacin. Curso de gerencia para el manejo efectivo del Programa Ampliado de Inmunizacin (PAI)

En grupo, responda las siguentes preguntas:

Cul es la cobertura alcanzada en su nivel local? Est acorde con la programada? En caso de conocerla: cuntos lugares cumplen con lo programado y cuntos lugares (localidades, municipios, distritos) de riesgo tiene? qu porcentaje?

b) Evaluacin por monitoreo rpido

Es una opcin que permite al supervisor ir al terreno (particularmente en zonas consideradas de riesgo), entrevistar a los usuarios en su casa y averiguar sobre la vacunacin de los menores de 5 aos para estimar: (i) si todos los nios que deban haber sido vacunados fueron vacunados, y (ii) de haber nios no vacunados, determinar cules fueron los problemas que impidieron que esos nios fuesen vacunados. La informacin as obtenida es crucial para evaluar si el trabajo fue hecho y si no, qu factores contribuyeron a la falla. La metodologa de aplicacin ya ha sido explicada anteriormente (vea pginas 30 a 33).

c) Encuestas por muestreo

Cuando la duda sobre las coberturas administrativas es muy importante y se necesita obtener una estimacin real de las mismas, se pueden utilizar mtodos de encuestas. Hay varios tipos, cada una con sus ventajas y sus desventajas. Un mtodo de encuesta de cobertura vacunal comn es la encuesta por conglomerados (ENCOVA), que consiste en encuestar en cada unidad geogrfica (distrito) 30 conglomerados y en cada uno de ellos a 7 nios de 12 a 23 meses. Este mtodo no debe suplir la informacin administrativa ni ser aplicado regularmente porque distrae la atencin de la actividad prioritaria que es vacunar. Adems es un procedimiento caro que

38

distrae recursos financieros, humanos y logsticos que se aprovecharan mejor en la vacunacin misma. En consecuencia, la OPS no recomienda su uso rutinario. El nivel local debe siempre discutir con el nivel nacional antes de emprender una encuesta.

Relacin entre cobertura e impacto

Para lograr un impacto importante en salud pblica, se requiere obtener altas coberturas de vacunacin para cada uno de los biolgicos. Para lograr la eliminacin del sarampin, por ejemplo, se requieren coberturas de vacunacin anuales superiores al 95% y distribucin uniforme en todos los municipios. As mismo, se precisa de campaas de seguimiento a intervalos mximos de 4 aos, dirigidas a todos los nios de 1 a 4 aos.

Figura 1. Casos confirmados de sarampin y coberturas de vacunacin. Bolivia, 1946-2000

Con los datos de su municipio elabore una grfica de incidencia vs. coberturas con la vacuna antisarampionosa. Comente y comparta con los dems.

F. Investigacin operativa
Oportunidades perdidas las oportunidades perdidas son todas las circunstancias por las que un nio o una mujer en edad frtil, encontrndose aptos y teniendo necesidad de ser vacunados, no reciben la vacuna al acudir a un establecimiento de salud. Hay varias maneras de determinar rpidamente si existen oportunidades perdidas. Por ejemplo, se pueden revisar los registros de un centro de salud, para averiguar los nios que recibieron atencin mdica durante un da o una semana. Se puede revisar el registro de vacunacin del centro para determinar si

Mdulo VI Supervisin, monitoreo y evaluacin

39

EVALUACIN

los nios(as) necesitaban recibir alguna vacuna, pero no la recibieron. Otra manera sera una encuesta rpida e informal a la entrada de la clnica o centro. Cuando las madres con hijos salen del centro, se puede preguntar a la mam la razn de la visita, si el estado vacunal de su hijo fue revisado por el equipo del centro y despus determinar si el nio(a) necesita una vacuna. Se pueden realizar estas actividades en cada visita de supervisin. Las causas ms comunes de prdida de oportunidades de vacunacin se pueden agrupar en tres grandes grupos: falsas contraindicaciones: fiebre, diarrea, vmito, resfro o tos; actitud del personal: resistencia a abrir un frasco por un nio; y logstica y organizacin del servicio (desabastecimiento de vacunas, horarios y das de vacunacin, personal ausente).

Curso de gerencia para el manejo efectivo del Programa Ampliado de Inmunizacin (PAI)

? ?

Pregunta 3. Comente cules son las causas ms frecuentes de las oportunidades perdidas en su rea de trabajo.

En el Mdulo II: Vacunas del PAI (pgina 26) hay una discusin sobre actividades que se pueden implementar para eliminar las oportunidades perdidas. A travs de investigaciones operativas, se puede evaluar: la calidad de atencin en salud; la satisfaccin del usuario; la tasa de desperdicio; las encuestas de Conocimientos, Actitudes y Prcticas (CAP); las prcticas de vacunacin segura; y las inequidades en vacunacin.

Pregunta 4. Analizar si las causas de prdida de oportunidades expuestas arriba son similares a las detectadas en su establecimiento de salud. Elabore una lista e intercambie sus conclusiones con el grupo.

40

Pregunta 5. Escriba las propuestas de solucin a cada una de las oportunidades perdidas de vacunacin. Con el resto del grupo elija las mejores opciones.

Es recomendable que al trmino de este taller, cuando retorne a su servicio, evale las oportunidades perdidas de vacunacin.

Cuadro 1. Comparacin de la supervisin, monitoreo y evaluacin

CARACTERSTICAS
MARCO CONCEPTUAL

SUPERVISIN
Proceso de enseanzaaprendizaje del recurso humano Capacitacin en servicio

MONITOREO
Controla el avance del programa

EVALUACIN
Anlisis que incluye un juicio de valor sobre la totalidad del programa

Incluye procesos de planificacin Permanente Peridica

PERIODICIDAD

Periodos cortos Continua Puntual En terreno Presencial Rendimiento del recurso humano

METODOLOGA

Directo o indirecto Anlisis de informacin

Directa Requiere mayor cantidad de recursos humanos en el proceso Interna, externa, o mixta

APLICACIN

Medidas correctivas en forma preactiva Solucin de problemas Aumenta el rendimiento de las actividades

Proposicin de soluciones a travs del uso permanente de la informacin Vigilancia de los procesos

Evaluacin de resultados y cumplimiento de metas y objetivos

Mdulo VI Supervisin, monitoreo y evaluacin

41

EVALUACIN

Anexo II Modelo de evaluacin del PAI

Se puede utilizar el modelo de evaluacin internacional e interdisciplinaria del PAI, que es aplicable a todos los niveles y contiene todos los elementos necesarios para la evaluacin.

A. Metodologa
Curso de gerencia para el manejo efectivo del Programa Ampliado de Inmunizacin (PAI) Informar a los responsables del nivel correspondiente, a fin de que el cronograma y las personas que deben dar apoyo estn disponibles; formar un equipo evaluador, con participacin de enfermeras, mdicos y auxiliares de enfermera, personal de ONG, agencias de cooperacin y servicios privados entre otros, a fin de aprovechar sus capacidades y experiencia; delegar la responsabilidad al equipo de distrito sede (municipio); y ejecutar el proceso de evaluacin en una semana, de la cual al menos el 70% del tiempo debe ser dedicado al trabajo de campo y el 30% para estandarizar la metodologa, el manejo de guas, de entrevistas, el anlisis de la informacin epidemiolgica y la elaboracin del informe final con recomenciones a utilizarse en el plan.

B. Componentes de la evaluacin
Prioridad poltica asignada al PAI
Se menciona el PAI espontneamente entre las prioridades del nivel? Esta prioridad es respaldada con recursos? Existen resoluciones legales que la respalden? Existen resoluciones legales o administrativas que garanticen recursos?

Programacin y planificacin de actividades

Existen planes quinquenales y anuales del PAI? Cul es el grado de cumplimiento de los mismos? Estn las metas, objetivos y prioridades claramente definidos? Es confiable la informacin?

42

Organizacin y coordinacin
Cul es la ubicacin del PAI? Cul es la estructura del PAI? Es adecuada para cumplir sus metas y objetivos? Hay coordinacin con otros programas de salud? Cules? Hay coordinacin con otros sectores, tales como organismos no gubernamentales, servicios privados, seguros mdicos u otros? Hay Comits de Cooperacin Internacional? Hay un Comit Cientfico de Inmuni zaciones? Estn documentadas las actividades de estos comits?

Recursos humanos de gestin y financieros

Cuenta el PAI con el equipo tcnico y de apoyo adecuado? Los recursos de logstica y de gestin son apropiados? (vacunas, jeringas, transporte, comunicacin, viticos, otros)

Supervisin y capacitacin
Existe un plan de supervisin? Est documentado tcnicamente? Existe un plan de capacitacin? Esta documentado tcnicamente? Existen informes de capacitacin? Existen informes de supervisin? Se coordina con universidades (medicina y enfermera) y escuelas de enfermera? Est el PAI incluido en sus programas de enseanza?

Hay informacin actualizada de coberturas y vigilancia actualizada? A qu mes? Se conoce la proporcin de municipios en riesgo? Hay un plan en ejecucin de intervencin en municipios en riesgo? Comente resultados. Se ha evaluado la confiabilidad de la informacin? Se ha evaluado la calidad del sistema? Hay boletines mensuales del PAI?

Vigilancia epidemiolgica
Es adecuada la red de notificacin semanal? Se verifica la calidad de la notificacin semanal? Cmo? Se cumple con los indicadores de vigilancia del: Sarampin? Polio?

Mdulo VI Supervisin, monitoreo y evaluacin

43

Sistemas de informacin

MODELO DE EVALUACON DEL PAI

Fiebre amarilla? Ttanos neonatal? Hib y HB donde aplica? Hay informacin actualizada de casos y resultados de laboratorio? Se retroaliment al nivel local? Verifique. Se han identificado reas y poblaciones en riesgo y potencial epidmico para todas las enfermedades? De cules? Hay un plan de accin al respecto? Estas reas de riesgo y sus planes de accin son conocidas por el nivel local y por el nivel jerrquico? Verifique.

Cadena de fro
Hay inventario actualizado? Mapeado? Hay un plan de mantenimiento, renovacin y extensin? Proyectos presentados? A quin? Hay informes de supervisin? Son adecuadas las condiciones del almacn departamental? Existe un registro actualizado? Aplique el formulario de supervisin del puesto de vacunacin en su componente de cadena de fro.

Curso de gerencia para el manejo efectivo del Programa Ampliado de Inmunizacin (PAI)

Evaluacin e investigacin
Se ha evaluado el PAI? Cuntas veces por ao? Qu investigaciones operativas se han realizado? Ctelas; adjunte un ejemplar al informe. Tiene informes de brotes? Sarampin, ttanos neonatal, fiebre amarilla o de PFA.

Comunicacin social
Hay plan de comunicacin social adecuado a las caractersticas culturales locales? Este plan est financiado? Por quin? Se realiza comunicacin social durante todo el ao? La comunidad apoy al PAI?

Satisfacin de usuarios
Qu piensa usted de las vacunas para los nios? Si lo vacunaron: Tuvo que esperar mucho? Cuanto tiempo? Qued contento(a) con la atencin recibida? Recibi informacin sobre las vacunas? Le explicaron sobre las reacciones esperadas que la vacuna puede producir despus de la aplicacin?

44