Suscríbete a DeepL Pro para poder traducir archivos de mayor tamaño. Más información disponible en .

Calba et al. BMC Public Health (2015)

15:448 DOI 10.1186/s12889-015-1791-5

ARTÍCULO
DE INVESTIGACIÓNAcceso
abierto

Evaluación de los sistemas de vigilancia: revisión

sistemática de los enfoques existentes
Clementine Calba1,5,6* , Flavie L Goutard1 , Linda Hoinville2 , Pascal Hendrikx3 , Ann Lindberg4 ,
Claude Saegerman5 y Marisa Peyre1

Resumen
Antecedentes: Las evaluaciones periódicas y pertinentes de los sistemas de vigilancia son esenciales para mejorar su rend
Métodos: Con el fin de identificar y comparar las ventajas y limitaciones de estos enfoques, implementamos una revisión
Resultados: Tras aplicar criterios de exclusión e identificar otros documentos adicionales mediante citas, se conservaron 1
(iv) extraer conclusiones y recomendaciones de .
Conclusiones: Se destacó la falta de información relativa a la identificación y selección de métodos y herramientas para e

Palabras clave: Vigilancia, Enfoques de evaluación, Salud

Fondo presión para mejorar aún más la eficacia de esos sistemas

Los conceptos en los que se basa la vigilancia y el número
de sistemas de vigilancia utilizados han aumentado
rápidamente en los últimos años [1]. Estos sistemas se han
desarrollado en diversos campos, ya sea la salud pública
(SP), la salud ani- mal (SA), la salud ambiental (SMA) o,
más recientemente, la combinación de estos sectores en un
enfoque de salud única (SA) [2].
Aunque hace tiempo que se reconoce la necesidad de
contar con sistemas de vigilancia eficaces, cada vez hay más
[3]. La capacidad de los sistemas de vigilancia para
describir con precisión los patrones de las enfermedades
reviste importancia para la salud pública. Por lo tanto, es
fundamental realizar evaluaciones periódicas y pertinentes
de estos sistemas para mejorar su rendimiento y eficacia
[4]. Dependiendo de factores epidemiológicos, sociológicos
y económicos, los sistemas de vigilancia de enfermedades
pueden ser complejos, lo que significa que se requieren
múltiples atributos para evaluar su rendimiento y muchos
métodos y herramientas diferentes para evaluarlos.
Varias organizaciones o instituciones han desarrollado
sus propios enfoques para llevar a cabo evaluaciones de los
sistemas de vigilancia y para ofrecer recomendaciones
pertinentes. Estos enfoques allanan el camino para el
desarrollo de estrategias de evaluación, con el fin de ayudar
a los evaluadores a generar datos para abordar preguntas
de evaluación específicas necesarias para la gestión y la
toma de decisiones [5]. No obstante,
Calba et al. BMC Public Health (2015) 15:448 Página 2 de
22

"vigilancia de la salud" O "red de información

Klaucke destacó que "cada evaluación debe adaptarse sanitaria"].
individualmente", debido a que los sistemas de vigilancia
varían mucho en cuanto a sus métodos, alcance y objetivos
[6]. Esto subraya la necesidad de que estos enfoques de
evaluación sean lo suficientemente flexibles como para
tener en cuenta estas variaciones en los sistemas de
vigilancia.
Los objetivos de esta revisión eran, por tanto, identificar
y analizar los enfoques de evaluación de los sistemas de
vigilancia sanitaria existentes para permitir a los usuarios
finales (es decir, los responsables de la toma de decisiones
en los programas de vigilancia sanitaria en todos los niveles
administrativos de aplicación) seleccionar el enfoque más
adecuado en función de su(s) objetivo(s) y también para
informar el desarrollo de un marco de evaluación dentro
del proyecto RISKSURa (Risk-based animal health
surveillance systems). La presente revisión es la
continuación de la realizada recientemente por Drewe y
colaboradores [3], que se centró en los aspectos técnicos
del proceso de evaluación (es decir, qué atributos evaluar y
qué métodos de evaluación utilizar), y adopta un enfoque
más amplio para examinar los planteamientos
desarrollados para canalizar estas evaluaciones. Los
objetivos específicos de este estudio eran evaluar las
ventajas y limitaciones de estos enfoques e identificar las
lagunas existentes para valorar las posibles necesidades de
mejora en el proceso de orientación de la evaluación y, de
este modo, fundamentar el diseño de un marco de
evaluación integral.

Métodos
Fuentes bibliográficas y estrategia de búsqueda
Se realizó una búsqueda bibliográfica sistemática de
acuerdo con los requisitos PRISMA (Preferred Reporting
Items for Systematic Reviews and Meta-Analyses) [7],
utilizando CAB abstract (Commonwealth Agricultural
Bureau), Web of Science, Medline, Google Scholar y
Scopus para identificar artículos. La búsqueda
bibliográfica se centró en artículos publicados entre 1992
y enero de 2013. Se limitó a la lengua inglesa y a los
artículos con resúmenes disponibles. Se incluyeron cuatro
ámbitos en la búsqueda, con varias palabras clave para
cada uno: vigilancia ("surveillance or report or monitor
"), evaluación ("eva- luat or assess or analys"), marco
("framework or guideline or method or tool ") y salud
("health or bioterrorism or public security").
Se utilizaron cuatro algoritmos de búsqueda con las
correspondientes palabras clave del Medical Subject
Headings (MeSH) , dirigidos a los mismos ámbitos que la
búsqueda anterior:

– ["sistema de información sanitaria" O

"vigilancia de la salud" O "red de información
sanitaria"].
+ "directrices de evaluación" + [métodos O
herramientas].
– ["sistema de información sanitaria" O
+ "marco de evaluación" + [métodos O herramientas].
 Página 3 de
["sistema de información sanitaria" O 22
"vigilancia de la salud" O "red de información
sanitaria"].
+ "directrices de evaluación" + [métodos
O herramientas].
– ["sistema de información sanitaria" O
"vigilancia de la salud" O "red de
información sanitaria"].
+ "marco de evaluación" + [métodos O herramientas].

Durante este segundo proceso de búsqueda se utilizaron

directamente algunos criterios de exclusión:
"procedimientos quirúrgicos",
"tratamiento farmacológico",
"gestión de riesgos", "análisis de riesgos", "cáncer",
"ensayo clínico" y "evaluación de riesgos".
Además, se identificaron seis documentos a partir de las
referencias de los artículos incluidos, que se añadieron
posteriormente a la revisión sistemática.

Selección de estudios y extracción de datos

El proceso de recuperación de la bibliografía se llevó a
cabo mediante dos fases de cribado. La primera se aplicó a
los títulos y resúmenes; la segunda, a los textos completos.
En cada fase se aplicaron nueve criterios de exclusión:
artículos que no incluían al menos uno de los siguientes
términos (salud pública, sanidad animal/enfermedad,
salud medioambiental, bioterrorismo, seguridad pública,
indicadores de rendimiento) (i); artículos que describían
evaluaciones del rendimiento de pruebas (ii) o la tasa de
éxito de procedimientos quirúrgicos (iii) o tratamientos
farmacológicos (iv); y resultados de un sistema de
vigilancia en lugar del rendimiento del propio sistema (v);
artículos relacionados con la evaluación de las
herramientas de vigilancia en lugar de la evaluación del
sistema (vi), artículos que describen la importancia de la
evaluación en lugar del proceso de evaluación (vii),
artículos no relacionados con la evaluación de la vigilancia
(viii) y artículos que describen los resultados de una
evaluación en lugar de describir el método (ix).
De los artículos finalmente seleccionados se extrajeron
los siguientes datos: el ámbito de vigilancia (salud humana
o animal), la categoría de sistema de vigilancia
considerada y el tipo de evaluación propuesta; el proceso
de desarrollo del enfoque de evaluación; los objetivos de la
evaluación; el proceso de evaluación; el proceso de
valoración; y las aplicaciones prácticas (si las hubiera). Se
realizó un análisis comparativo de la exhaustividad y la
viabilidad de los distintos enfoques de evaluación. De este
modo, se extrajeron de las referencias todos los elementos
prácticos para la evaluación y se diseñó una lista completa.

Clasificación de los enfoques

Se utilizaron diversos términos para describir los enfoques
existentes y no estaba claro por qué los autores los habían
seleccionado. Por lo tanto, hemos utilizado las siguientes
definiciones para estos términos en esta revisión:

– Un armazón se considera un soporte esquelético

utilizado como base para algo que se está
construyendo; es
Calba et al. BMC Public Health (2015) Página 4 de
15:448 22

es una organización de conceptos que proporciona
un enfoque para la investigación [8,9].
– Una directriz puede definirse como un documento
que debe seguirse en la realización de determinadas
tareas; proporciona recomendaciones (un conjunto de
normas o criterios) sobre los pasos que deben
seguirse para alcanzar un objetivo deseado [10,11].
– Un método proporciona información sobre cómo
lograr un fin; es una forma regular y sistemática
de realizar algo [12].
– Una herramienta puede definirse como un proceso
con una finalidad específica; se utiliza como medio
para realizar una operación o alcanzar un fin
[13,14].
En otras palabras, los marcos ayudarían a los usuarios a
definir lo que hay que tener en cuenta en el proceso de
evaluación; las directrices informarían de los distintos
pasos necesarios para
Los métodos detallarían cómo llevar a cabo la evaluación
(qué evaluar y cómo); y las herramientas no sólo
proporcionarían una metodología, sino que también
incluirían elementos prácticos para llevar a cabo la
evaluación (por ejemplo, hojas de cálculo, cuestionarios).
Resultados
La búsqueda bibliográfica identificó un total de 521
registros (Figura 1). Tres no estaban disponibles y se han
excluido [15-17]. Se examinaron los artículos restantes y
quedaron un total de 15 artículos (Figura 1).
Ámbito de aplicación y categoría de los enfoques de evaluación
Entre los enfoques identificados, diez proceden del ámbito
de la vigilancia de la salud pública [5,18-26]; tres de la
vigilancia de la salud ani- mal [27-29]; uno de la vigilancia del
medio ambiente [27-29]; y uno de la vigilancia de la salud
pública [27-29].

11 registros identificados102
a través
registros
de Cab
identificados
Abstract
74 aregistros
través de
identificados
Web of Science
66a registros
través deidentificados
Medline 433 a través
registros
de Scopus
identificados a través de Google Scholar

686 registros identificados mediante búsquedas primarias

165 registros duplicados eliminados

521 registros seleccionados mediante títulos y resúmenes

459 registros eliminados debido a criterios de exclusión:
Artículos en los que no figure al menos uno de estos términos: salud pública; sanidad/enfermedad a
Evaluaciones del rendimiento de las pruebas.
Evaluaciones de la tasa de éxito de los procedimientos quirúrgicos.
Evaluaciones del tratamiento farmacológico.
Evaluaciones de los resultados de un sistema de vigilancia y no del rendimiento del propio sistema.
Evaluación de las herramientas de vigilancia en lugar de evaluación del sistema.
Descripción de la importancia de la evaluación más que del proceso.
No relacionado con la evaluación de la vigilancia.
Evaluación de SS más que descripción del método.

62 registros evaluados a texto completo

6 registros identificados mediante citas en registros secundarios

53 artículos eliminados debido a la misma lista de criterios de exclusión en los textos completos

15 registros incluidos en esta revisión sistemática

Figura 1 Diagrama de flujo PRISMA del proceso de selección de los estudios a incluir en la revisión sistemática.
Calba et al. BMC Public Health (2015) Página 5 de
15:448 22

vigilancia sanitaria [30]; y uno procedente tanto de la demostración de la ausencia de Brucella melitensis en
vigilancia de la sanidad animal como de la salud pública ovejas, y demostración de la ausencia de Brucella melitensis
[31] (Tabla 1). en ovejas.
Los autores definieron siete enfoques como marcos [5,21-
24,28,30]; dos como directrices [20,26]; dos como métodos
[29,31]; y cuatro como herramientas [18,19,25,27] (Tabla 1).
Sin embargo, según las definiciones revisadas
anteriormente, la mayoría de los enfoques (13/15) podrían
definirse como marcos o directrices, ya que
proporcionarían una hoja de ruta general o estructurada
para el proceso de evaluación [5,19-26,28-31] (Tabla 1).
Ocho enfoques proporcionaban información sistemática
sobre cómo debía llevarse a cabo la evaluación y, por tanto,
podían definirse como métodos [5,18-20,27-29,31], pero
sólo tres enfoques proporcionaban herramientas prácticas
para llevar a cabo la evaluación (dos en PH [18,19] y uno en
AH [27]) (Tabla 1).

Enfoque de los procesos de desarrollo y aplicación de casos

prácticos
El proceso de desarrollo se describió claramente en cuatro
de los 15 enfoques [27-30] (Tabla 1). Tres enfoques se
diseñaron mediante la opinión de expertos [27-29]. El
marco SERVAL (Marco de trabajo para la evaluación de la
vigilancia) [28] fue desarrollado por 16 expertos en
vigilancia y revisado por otros 14 expertos. El método del
Punto de Control Crítico (CCP) [29] se derivó del método
del Análisis d e Peligros y Puntos de Control Crítico
(APPCC) y se sometió a un panel de expertos mediante un
método de consulta Delphi. La herramienta OASIS (Outil
d'analyse des systèmes de surveillance) [27] se diseñó a
partir de la combinación de tres métodos de evaluación
(Surveillance Net- work Assessment Tool, CCP, y las
directrices del Centro de Control y Prevención de
Enfermedades (CDC) y de la Organización Mundial de la
Salud (OMS)), y se sometió a un proceso de obtención de
la opinión de expertos. El marco sobre programas de
vigilancia de la salud pública ambiental [30] se elaboró a
partir de los resultados de una revisión por etapas de los
datos de los sistemas de vigilancia y seguimiento
ambiental, con el fin de identificar los indicadores y
examinar los criterios utilizados en salud ambiental. El
marco de evaluación de los sistemas de vigilancia militar
para la detección precoz
[22] se basaba en el marco de los CDC para la evaluación
de los sistemas de vigilancia de la salud pública para la
detección precoz de brotes [24]. Sin embargo, en la
publicación no se describe el proceso de desarrollo del
marco de los CDC.
Dos enfoques se desarrollaron a partir de estudios de
casos, que no se describen en los artículos [22,30]; uno se
desarrolló específicamente para los sistemas de vigilancia
de la Unión Europea [23], y cuatro se han apoyado en
estudios de casos que se describen directamente en la
publicación correspondiente [27-29,31] (Tabla 1). El marco
SERVAL [28] se puso a prueba en tres sistemas de
vigilancia británicos, con objetivos de vigilancia diferentes:
Calba et al. BMC Public Health (2015) Página 6 de
y15:448
caprinos mediante vigilancia serológica; detección 22
precoz de la peste porcina clásica en el ganado porcino
(enfermedad exótica); y vigilancia de la tuberculosis
endémica en el ganado vacuno. El método de evaluación
conceptual de programas de vigilancia veterinaria y de
salud pública [31] se aplicó a la evaluación del Programa
Nacional Integrado de Vigilancia de Patógenos Entéricos
de Canadá (C-EnterNet; http://www.phac-aspc.gc.ca/c-
enternet/index-eng.php). La herramienta de evaluación
OASIS [27] se ha aplicado a la evaluación de cinco
sistemas de vigilancia, pero en el artículo sólo se describe
la evaluación de la red francesa de vigilancia de la
resistencia a los antimicrobianos en bacterias patógenas
de origen animal (RESAPATH) [27]. El método CCP
desarrollado por Dufour [29] se probó en dos sistemas de
vigilancia descritos en el libro "Epi- demiological
surveillance in animal health" [32]. Se trataba de la red
francesa RENESA (Evolución de las tasas de
micoplasmosis y salmonelosis en aves de corral) y de la
red francesa de vigilancia de la fiebre aftosa en bovinos.

Objetivos de la evaluación y descripción del proceso de

evaluación
Según el área y el tipo de vigilancia, se identificaron tres
objetivos principales (Tabla 1): evaluar el rendimiento y la
eficacia de los sistemas de vigilancia (para 12 enfoques
[5,20-30]), diseñar sistemas de vigilancia eficientes (2
enfoques [18,19]) y evaluar la integridad de los sistemas de
vigilancia en términos de componentes básicos (un
enfoque [31]).
Catorce de los 15 enfoques presentaron un proceso de
evaluación estructurado en torno a 3 a 6 pasos [5,19-31]
(Tabla 2), destacando cuatro etapas comunes en el
proceso de evaluación: (i) definición del sistema de
vigilancia que se evalúa, (ii) diseño del proceso de
evaluación, (iii) ejecución de la evaluación y (iv)
elaboración de conclusiones y recomendaciones.

Descripción del proceso de evaluación: atributos de la evaluación

En esta revisión sistemática se identificaron un total de 49
atributos de evaluación distintos. Los atributos que sólo se
tuvieron en cuenta en un enfoque de evaluación se han
eliminado del análisis para mayor claridad. En la figura 2
se presenta el número de enfoques que tienen en cuenta
cada a- tributo. Los atributos pueden agruparse en cuatro
categorías diferentes relacionadas con el aspecto de los
sistemas de vigilancia que evalúan: atributos de eficacia,
funcionales, de valor y organizativos [33].
Los enfoques de evaluación se centraron con mayor
frecuencia en atributos relacionados con la eficacia del
sistema (Figura 2), especialmente la puntualidad, que se
incluyó en todos los enfoques identificados [5,20-28], y la
sensibilidad en 9/10 [5,20-22,24-28]. En cuanto a los
atributos funcionales, los enfoques de evaluación
recomendaban principalmente
Cuadro 1 Categoría, ámbito de vigilancia y objetivo(s) de los enfoques utilizados para la evaluación de los sistemas de vigilancia
Referencias Categoría de enfoque Vigilancia Objetivo principal Objetivo(s) de la evaluación tal y como se Aplicación de casos prácticos
indica en
Definició cam el documento
Definici n revisada*.
n del ó po
autor
[5]Marco Directrices Método PHa Evaluar el Evaluar la calidad de la
rendimiento y i
la eficacia
nformaciónproporcionada, la eficacia en el
apoyo al objetivo u objetivos, en el apoyo a la
toma de decisiones informadas, y la eficiencia de
los SS.
[18] Herramienta ToolMethod PHa Diseño eficiente
Ayudar a planificar, organizar y ejecutar SSNo descrito
sistemas de
vigilancia
[19] Herramienta Directrices Método
PHa Diseñar sistemas Establecer una base de referencia y
Herramienta
de vigilancia s
[20] Directrices Marco Directrices eficaces upervisar los progresos.
Método
PHa Evaluar el Establecer y mantener
rendimiento y
la eficacia sistemas eficaces

y eficientes de vigilancia y respuesta

[21] Directrices marco PHa Evaluar el Evaluar los SS existentes e identificar las áreas -
rendimiento susceptibles de mejora
y eficacia
Evaluar si los SS alcanzan sus objetivos y Sistemas de vigilancia militar para la detección precoz
[22] Marco Marco PHa Evaluar el proporcionar información para su desarrollo de brotes en zonas de servicio
rendimiento y mejora.
y eficacia
Proporcionar información objetiva, válida y -
fiable para las decisiones sobre qué
[23] Marco Marco PHa Evaluar el actividades y funciones de vigilancia
rendimiento deben continuar
y eficacia
[24] Marco Marco Directrices
PHa Evaluar el Establecer el valor relativo de los
rendimiento y
[25] Herramienta Directrices la eficacia distintos enfoques y proporcionar
marco información necesarios para mejorar su
eficacia
PHa Evaluar el
rendimiento y Evaluar si el
[26] Directrices Marco la eficacia
Directrices método de vigilancia

aborda adecuadamente la enfermedad/salud.

PHa Evaluar el
cuestiones; si el rendimiento técnico es adecuado
rendimiento y
la eficacia Definir el funcionamiento del sistema

para alcanzar sus objetivos y propósitos.

[27] HerramientaMétodo AHb Evaluar el
Proponer recomendaciones para Implantada en Francia: red de vigilancia de la
rendimiento mejorar la SS resistencia a los antimicrobianos en bacterias
y eficacia patógenas de origen animal (también se
mencionan, pero no se describen: detección precoz de la fiebre aftosa;
detección de casos de rabia en murciélagos; red de vigilancia de
enfermedades de las aves de
corral y red de vigilancia de laboratorios de salmonela).
[28] Marco Marco Directrices Método AHb Evaluar el Apoyar la detección de disparidades Implantado en el Reino Unido: demostración
rendimiento y en la vigilancia y respaldar las de ausencia de Brucella melitensis; detección
la eficacia

Calba et al. BMC Public Health (2015)

decisiones sobre precoz de PPC y detección de casos de Tb.
el
perfeccionamiento del diseño de
[29,32] Método Directrices Método AHb Evaluar el los SS.
Implantación en Francia: evolución de las tasas de
rendimiento Contribuir a la mejora de la gestión de la micoplasmosis y salmonelosis en las aves de
y eficacia sanidad animal epidemiológica SS corral (red RENESA); y red de vigilancia de la fiebre
aftosa en el ganado vacuno.
[30] Marco EHc Programas de vigilancia de la salud pública ambiental

de
Página 5
Tabla 1 Categoría, campo de vigilancia y objetivo(s) de los enfoques utilizados para la evaluación de los sistemas de vigilancia (Continuación)

Calba et al. BMC Public Health (2015)

Evaluar el rendimiento y Tomar decisiones basadas en pruebas
la eficacia sobre la futura selección, desarrollo y
uso de los datos.
[31] Método Directrices MétodoPHa & AHb Evaluar la Evaluar la integridad y coherencia de los Programa nacional integrado de vigilancia
exhaustividad conceptos subyacentes a un programa de de patógenos entéricos, Canadá
de los sistemas de vigilancia vigilancia de la salud
en términos de componentes
básicos
a: Salud Pública; b: Sanidad Animal; c: Salud Medioambiental; SS: Sistema de Vigilancia. FA: Fiebre Aftosa *Según la información facilitada en la publicación.

de
Página 6
Tabla 2 Pasos del proceso de evaluación proporcionados por los enfoques de evaluación identificados; junto con la ausencia o presencia del diferente
elemento práctico recuperado del análisis.
Elementos prácticos de evaluación
Referencias Organización Pasos
Presencia Ausencia
Contexto del sistema de vigilancia - Sin presentación de casos prácticos
Preguntas de evaluación - Lista de atributos de evaluación
- Falta de representación visual de los resultados
(13)
Proceso de recogida y gestión de datos - Falta de información sobre el
evaluador o evaluadores
[5] Hoja de ruta - Falta de métodos y herramientas para la
estructurada
Hallazgos
evaluación (sólo preguntas generales)
- Definiciones de los atributos
Informe de
de evaluación - Falta de matriz de selección de atributos
evaluación
Seguimiento - Sin presentación de casos prácticos
- Métodos e instrumentos de - Falta de información sobre los evaluadores
Hoja de ruta evaluación: cuestionario y fichas de
[ estructurada - Hojas trabajo - Falta de atributos de evaluación
de trabajo (lista de
control) - - Falta de definiciones de los atributos de
evaluación
- Representación visual de los
resultados: gráficos de barras y de - Falta de matriz de selección de atributos
radar
Evaluación de recursos- No hay presentación
casos prácticos
de
Indicadores

- Falta de información sobre los evaluadores

[19] Evaluación de las fuentes
Hoja de uta - Métodos e instrumentos de evaluación:
estructurad de datos
Guía de Evaluación de la gestión - Falta de atributos de evaluación
aplicación guía de puntuación
de datos
- Falta de definiciones de los atributos de
Evaluación de la calidad de evaluación
- Representación visual de los resultados (gráficos)
los datos
Difusión y uso de la información - Falta de matriz de selección de atributos
- Sin presentación de casos prácticos
Plan de evaluación -
- Falta de representación visual de los resultados
Lista de atributos de evaluación (10)
Preparación para la evaluación - Falta de información sobre el evaluador o
[20] Hoja de ruta evaluadores
estructurada
Realizar la evaluación - Falta de métodos y herramientas para la
Definiciones de los atributos evaluación (sólo preguntas generales)
de evaluación
Difusión y utilización de los resultados - Falta de matriz de selección de atributos
- Tipo/conocimientos del evaluador/es:
Preparación de la evaluación
Ministerio
- Sin presentación de casos prácticos
estructurada

Hoja de ruta
Tabla 2 Pasos del proceso de evaluación proporcionados por los enfoques de evaluación identificados; junto con la ausencia o presencia del diferente
de
de
Documentac
ión y
evaluación
del
vigilancia-
Lista de
atributos de
evaluación
(8)
representaci
ón visual de
los
resultados
Evaluación de
la capacidad
del sistema de
vigilancia
Definiciones de
los atributos de
evaluación
 - Falta de métodos y herramientas para la evaluación (cuestiones generales)
Resultado de la evaluación - Falta de matriz de selección de atributos
- Sin presentación de casos prácticos

Calba et al. BMC Public Health (2015)

Hoja de ruta generalEvaluación inicial- Lista de
[22] atributos de evaluación (16) - Falta de representación visual de los resultados

de
Página 7
Tabla 2 Pasos del proceso de evaluación proporcionados por los enfoques de evaluación identificados; junto con la ausencia o presencia del diferente elemento
práctico recuperado del análisis (Continuación)
Evaluación intermedia - Falta de información sobre los evaluadores
-Definiciones de los atributos - Falta de métodos y herramientas para la
Evaluación final de evaluación evaluación
- Falta de matriz de selección de atributos

- Tipo/conocimientos de los - Sin presentación de casos prácticos

Utilidad de las actividades y resultados
evaluadores: de tres a cuatro evaluadores - Falta de representación visual de los resultados
Hoja de ruta (5 años de experiencia en vigilancia de
[23]
general enfermedades transmisibles para el jefe - Falta de definiciones de los atributos de
Rendimiento técnico evaluación
de equipo, más un experto en
laboratorio y otro en epidemiología).
- Falta de métodos y herramientas para la
evaluación
Cumplimiento de los objetivos del contrato- Lista de atributos de evaluación (7) - Falta de matriz de selección de
atributos.
- Sin presentación de casos prácticos
Descripción del sistema
- Lista de atributos de - Falta de representación visual de los resultados
evaluación (9)
Detección de brotes- Falta de información
[24] Hoja de ruta
los evaluadores
general
sobre
Experiencia en sistemas
- Definiciones de los atributos
de evaluación - Falta de métodos y herramientas para la
evaluación (cuestiones generales)
Conclusiones y recomendaciones- Falta de matriz de selección de
atributos
Utilidad de la operación
- Tipo/conocimientos del evaluador/es: - Sin presentación de casos prácticos
expertos
Calidad de los resultados en la vigilancia internacional de - Falta de representación visual de los resultados
las enfermedades transmisibles
Hoja de ruta Desarrollo del sistema nacional de - Falta de definiciones de los atributos de
[25] estructurada - evaluación
Cuestionario vigilancia Rendimiento técnico
- Lista de atributos de - Falta de métodos y herramientas para la
evaluación (6) evaluación (cuestiones generales)
Estructura y gestión - Falta de matriz de selección de atributos
Implicar a las partes interesadas
- Sin presentación de casos prácticos
Describir el sistema de vigilancia - Lista de atributos de evaluación
- Falta de representación visual de los resultados
(10)
Diseño de la evaluación - Falta de información
sobre los evaluadores
Hoja de ruta general
[26] Hoja de ruta Rendimiento del sistema de vigilancia
estructurada - - Definiciones de los atributos de evaluación
Conclusiones y recomendaciones
Conclusiones y lecciones aprendidas
- Presentación de casos prácticos (véase
el Cuadro 1)
Diseñar la evaluación
- Representación visual de los
resultados mediante diagramas - Falta de métodos y
(gráficos circulares, histograma, herramientas para la evaluación
gráfico de radar) (cuestiones generales)

Calba et al. BMC Public Health (2015)

- Falta de matriz de selección de
atributos

- Falta de definiciones de los atributos

de evaluación
Cuestionario -
[ Puntuación - Tipo/saberes del evaluador/es: requiere
guía - Hojas de trabajo Aplicar la evaluación pocos conocimientos y experiencia
relacionados con la vigilancia
Finalización- Falta de matriz de selección de
atributos

de
Página 8
Tabla 2 Pasos del proceso de evaluación proporcionados por los enfoques de evaluación identificados; junto con la ausencia o presencia del diferente elemento
práctico recuperado del análisis (Continuación)
- Lista de atributos de evaluación (10)
e indicadores de resultados
- Métodos y herramientas para la
evaluación: cuestionario, guía de
puntuación y hojas de trabajo.
Ámbito de la evaluación- Aplicación del estudio de caso (c.f.
Tabla 1) (Tabla 1)
Representación visual de los
Características del sistema de vigilancia - resultados
mediante un código de
Hoja de ruta colores (verde, naranja, rojo) - Falta de métodos y herramientas para la
[28] estructurada - evaluación
Diseñar la evaluación Tipo/conocimientos del
evaluador o
evaluadores:"Cualquier
persona familiarizada con conceptos
epidemiológicos y
Guía de aplicación Realizar la evaluación con un conocimiento razonable de la (sólo se facilitan referencias)
enfermedad objeto de vigilancia".
- Lista de atributos de evaluación (22)
Informe - Definiciones de los atributos de
evaluación
- Matriz de selección de atributos
Descripción del sistema de - Falta de representación visual de los resultados
- Falta de información sobre los evaluadores
vigilancia Identificación de los Presentación de casos prácticos (véase
Hoja de ruta -Falta de atributos de evaluación
[29,32] estructurada - el Cuadro 1)
Cuestionario - Guía de objetivos prioritarios - Falta de definiciones de los atributos de
puntuación evaluación
Elaboración de cuadros de mando e - Falta de métodos y herramientas para la
indicadores Aplicación y seguimiento Proporciona indicadores de resultados evaluación
Actualizaciones y auditoría- Falta de matriz de selección de
atributos
- Sin presentación de casos prácticos
- Proporciona indicadores de
Establecimiento de prioridades resultados - Falta de representación visual de los resultados
- Falta de información sobre los evaluadores
[30] Hoja de
Base científica y pertinencia- Falta de atributos de evaluación
ruta
general Solidez analítica y viabilidad - Falta de definiciones de los atributos
de evaluación
- Falta de métodos y herramientas para la
evaluación
[31] Hoja de Interpretación y utilidad
ruta
general Análisis de textos
Comparación Validación
Modelo conceptual del programa

- Presentación de casos
prácticos (véase el Cuadro 1)
- Falta de matriz de
selección de
atributos
Calba et al. BMC Public Health (2015)
- Falta de representación
visual de los resultados
- Falta de información
sobre los evaluadores
- Falta de atributos de
evaluación
- Falta de definiciones de
los atributos de
evaluación
- Falta de métodos y
herramientas para la
evaluación
- Falta de matriz de
selección de
atributos
de
Página 9
Calba et al. BMC Public Health (2015) Página 10 de
15:448 22

10
10
9 9 9
8 8 8
7
6 7 7
5
4 6 6
Número de

3 5
2
1 4
0
3 3
2 2 222222

Simplic

Portabil
Especifi

Flexibil

C
Sensibil

Estab
Puntual

Representativid

pac
s
Fiabili

Im

to
cid ad

Calidad

ilid
ida d

ida d
ida d

ida d

ad

Efic
de los
datos

Gestión de
Integri
Valor predictivo

Aceptabilidad /

Gestión de
Eficacia Funcional Valor Organización

Atributos y grupos de atributos

Figura 2 Número de enfoques de evaluación que tienen en cuenta cada atributo de evaluación identificado en esta revisión.

la evaluación de la aceptabilidad (8/10) [5,20-22,24, 26-28], Los estudios que han evaluado los sistemas de vigilancia
la flexibilidad (7/10) [5,20,21,24,26-28], la estabilidad (6/ han utilizado los atributos recomendados por las
10) [5,22,24,26-28] y simplicidad (5/10) [5,20,21,26,27]. directrices de los CDC [24].
Otros atributos como la utilidad (9/10) [5,20-27], la
representatividad (8/10) [5,20,21,24-28] y la calidad de los Comparación entre enfoques
datos (7/10) [5,22-27] también se incluyeron en más de la Para cada enfoque de evaluación identificado, se
mitad de los enfoques. Los atributos destinados a evaluar el enumeraron los elementos prácticos propuestos para
valor del sistema de vigilancia no se tuvieron en cuenta con realizar la evaluación (por ejemplo, lista de atributos de
frecuencia, especialmente los atributos económicos: la evaluación, pres- entación de casos prácticos). En la Tabla
evaluación del coste sólo se recomendó en 3/10 enfoques 3 se presenta una lista combinada de estos elementos y su
[22,24,28]; el impacto, la eficacia y la eficiencia sólo en 2/10 utilidad en el proceso de evaluación. Se analizó la presencia
[5,22,28]. o ausencia de estos elementos prácticos en cada enfoque de
En cuanto al proceso de evaluación de estos atributos, evaluación considerado en esta revisión. Esto permitió
sólo se ofrecieron orientaciones con ejemplos de preguntas realizar un análisis comparativo de los enfoques existentes
para los principales interesados en seis enfoques (Tabla 2) en función de su exhaustividad y practicidad (Tabla 3):
[5,20,21,24-26]. Estas preguntas eran en su mayoría
generales y no siempre se especificaba a quién había que (1) La falta de aplicación a los estudios de casos. Se
entrevistar para recopilar la información pertinente. Uno aplicaron cuatro enfoques a estudios de casos
de los enfoques incluía referencias a la aplicación publicada [27- 29,31], lo que facilita su posterior aplicación
de métodos o herramientas para la evaluación de atributos por parte de los usuarios.
específicos, que podían utilizarse como ejemplo o base, (2) La falta de representación gráfica de los resultados.
pero no se incluían orientaciones sobre cómo seleccionar Cuatro enfoques [18,19,27,28] produjeron
el método más adecuado (Tabla 2) [28]. resultados gráficos (por ejemplo, gráficos circulares,
Diez de los 21 atributos incluidos en los enfoques histogramas), que facilitan la presentación de
ilustrados en la Figura 2 eran los recomendados en las informes, la comunicación y el análisis posterior de
directrices de los CDC [24]. Esto concuerda con los los resultados de la evaluación.
hallazgos previos de Drewe y colaboradores [3], quienes (3) La ausencia de recomendaciones sobre el tipo de
destacaron que casi una cuarta parte de los atributos evaluador y los conocimientos que requiere. Cinco
identificados publicados en las directrices de los CDC [25] enfoques ofrecían información sobre el evaluador
eran los recomendados en ellas.
Calba et al. BMC Public Health (2015) Página 11 de
15:448 22

Tabla 3 Aspectos prácticos identificados en una revisión de los enfoques de evaluación de los sistemas de vigilancia de la salud, y su
papel en el proceso de evaluación
Elementos prácticos Utilidad
Lista de atributos de evaluación que deben evaluarseDiseñar la
evaluación
Definiciones de los atributos de evaluación que deben evaluarseDiseñar la
evaluación
Presentación de casos prácticosFacilidad de
aplicación
Representación visual de los resultadosFacilidad de
comunicación
Información sobre el evaluador o evaluadores (por ejemplo, nivel de conocimientos requerido) Diseño de la evaluación
Lista de métodos y herramientas para evaluar los atributos de la evaluación a los que se dirige Diseñarla evaluación
Facilidad de
aplicación

Guía para la selección de atributos de evaluación Diseñarla

evaluación Facilidad
de aplicación

requisitos (por ejemplo, experiencia en vigilancia de descripción del proceso de evaluación, (iii) aplicación y (iv)
enfermedades transmisibles, experto superior de recomendaciones. Tres enfoques de evaluación se centraron
laboratorio) [21,23,25,27,28], lo que ayuda a valorar en la evaluación de la estructura del sistema [18,19,31], pero
la viabilidad y garantizar la calidad de la evaluación. la mayoría también incluía una evaluación de la calidad de
(4) Información práctica insuficiente sobre qué atributos los datos generados.
de evaluación evaluar (por ejemplo, sensibilidad,
aceptabilidad). Diez enfoques proporcionaron una
lista de atributos [5,20-28] y los atributos se
definieron en 7 de ellos [5,20-22,24,26,28]. Sin
embargo, sólo un enfoque [28] proporcionaba
información sobre cómo priorizar estos atributos en
función del contexto y el objetivo de la vigilancia
mediante una matriz.
(5) Ausencia de información sobre cómo evaluar los
atributos de evaluación. Aunque diez enfoques
proporcionaron información sobre qué atributos
evaluar, sólo la herramienta OASIS proporcionó
métodos detallados y una herramienta lista para usar
para realizar esta evaluación [27]. Seis enfoques
sugerían formas de abordar la fase de evaluación,
proporcionando preguntas generales relacionadas con
la evaluación de cada atributo (por ejemplo, ¿es el
intervalo de tiempo adecuado para la intervención
sanitaria?) [5,20,21,24-26]; y uno proporcionaba
referencias a publicaciones relevantes relacionadas
con la evaluación práctica de los sistemas de vigilancia
y con los métodos y herramientas existentes [28].
Además, ninguno de los enfoques proporcionaba
información sobre cómo interpretar las evaluaciones
de atributos.

Debate
Aunque los objetivos de evaluación de los distintos
enfoques varían según el ámbito de aplicación y el tipo de
enfoque, se identificaron cuatro etapas comunes en el
proceso de evaluación: (i) descripción del con- texto, (ii)
Calba et al. BMC Public Health (2015) Página 12 de
y15:448
el rendimiento del sistema. Estos enfoques también 22
tienen en cuenta implícitamente la estructura del sistema,
que debe describirse para comprender el proceso de
vigilancia, seleccionar los atributos que deben evaluarse y
formular las recomendaciones pertinentes.
Una de las principales limitaciones de los enfoques
existentes era el nivel de detalle proporcionado a los
evaluadores para poner en práctica la evaluación. La
mayoría de los enfoques identificados ofrecían
recomendaciones g e n é r i c a s para las
evaluaciones (es decir, marco y directrices) con mayor o
menor nivel de detalle sobre los distintos pasos a seguir
para su aplicación. Sólo tres incluían métodos y
herramientas para la implementación de la evaluación (es
decir, cuestionarios listos para usar y/o guías de
puntuación) [18,19,27], de los cuales sólo uno estaba
relacionado con la AH [27]. Esto pone de manifiesto la
necesidad de desarrollar herramientas prácticas en este
campo. Se ha hecho hincapié en la necesidad de
flexibilidad para tener en cuenta las variaciones del
sistema de vigilancia y los recursos disponibles [6]. De
hecho, los métodos y herramientas presentados no
permitían al evaluador diseñar su propio proceso de
evaluación en función del contexto de vigilancia o de las
limitaciones socioeconómicas.
Otra limitación de los enfoques existentes es la ausencia
de una lista exhaustiva de los atributos que deben
evaluarse, de flexibilidad en la elección de los atributos y
de orientaciones sobre cómo deben seleccionarse. Las
directrices actualizadas de los CDC [26] sugieren que no
todos los atributos enumerados pueden ser pertinentes y
que pueden seleccionarse en función del contexto y los
objetivos de la evaluación. Las descripciones del proceso
de desarrollo proporcionadas en la bibliografía revisada
no fueron suficientes para comprender el proceso de
selección de atributos en los distintos enfoques; si se
seleccionaron, por ejemplo, debido a su importancia
relativa en la evaluación de los sistemas de vigilancia, o
debido a la facilidad de evaluación. Sólo un enfoque [28]
ofrecía un método para seleccionar los atributos
relevantes en función de los objetivos de vigilancia. Sin
embargo, en el documento no se ofrecían orientaciones
sobre cómo llevar a cabo este proceso de selección.
Calba et al. BMC Public Health (2015)
15:448
Las orientaciones sobre los métodos de evaluación de
atributos son limitadas. Sólo un enfoque (claramente
etiquetado como herramienta) proporcionaba métodos
detallados para la evaluación de atributos [27], pero esto no
permitía ninguna flexibilidad en la selección de métodos
para la evaluación de atributos. La selección de un método
de evaluación adecuado puede ser compleja y un enfoque
de evaluación debe proporcionar suficientes elementos
para ayudar a los evaluadores a elegir. De hecho, es
necesario examinar las ventajas y los límites de los métodos
actuales, así como los recursos necesarios para su
aplicación (datos necesarios, requisitos tecnológicos y
conocimientos específicos). La elaboración de
orientaciones para la selección de los atributos pertinentes
y los métodos más adecuados para evaluarlos aportaría
otro grado de flexibilidad al propio proceso de evaluación.
Además de esta necesidad de orientación sobre la
selección y evaluación de atributos, también es necesario
incluir una lista exhaustiva de atributos de evaluación que
podrían valorarse. Esta revisión confirma publicaciones
anteriores en las que se destacaba la necesidad de tener en
cuenta los atributos económicos en los enfoques de
evaluación (por ejemplo, la relación coste-eficacia, la
relación coste-beneficio) [3]. Los aspectos económicos son
un tema central en la mayoría de los procesos de decisión y
permitirían una mejor selección y/o priorización de las
medidas correctoras eficaces. Estos elementos podrían
desempeñar un papel importante en la definición del
proceso de evaluación, ya que permitirían orientar mejor la
evaluación teniendo en cuenta los beneficios para los
responsables de la toma de decisiones, que a menudo
tienen que elegir en función de unos recursos limitados o
decrecientes [3]. También se necesitan atributos
sociológicos (por ejemplo, aceptabilidad, comunicación,
beneficios no monetarios), ya que ninguno de los enfoques
de evaluación proporciona información sobre cómo tener
en cuenta las percepciones, necesidades y expectativas de
las partes interesadas. Además, la evaluación también debe
tener en cuenta las necesidades e intereses de las partes
interesadas del sistema [34]. Estos aspectos son esenciales
para garantizar la aceptabilidad, sostenibilidad e impacto
de los sistemas de vigilancia. Es importante comprender las
percepciones y expectativas de las partes interesadas en
para garantizar que el sistema funciona correctamente y
proporciona información relevante. Como se describe en el
artículo de Auer y colaboradores [34], la aceptabilidad
puede considerarse un atributo fundamental. Deben
desarrollarse métodos y herramientas para evaluar estos
elementos e incluirlos en los enfoques de evaluación.
Ninguno de los enfoques proporcionó estándares de oro
que pudieran guiar la interpretación de los resultados de la
evaluación y orientar las medidas correctivas que debían
aplicarse. También habría que considerar en los enfoques
de evaluación cómo fijar el objetivo económico para
ofrecer recomendaciones sobre cómo equilibrar los
resultados frente a los costes, especialmente en situaciones
de escasez de recursos.
Página 13 de
22
Otras limitaciones de los enfoques existentes son la
ausencia de recomendaciones sobre quién debe llevar a
cabo la evaluación, lo que ayudaría a establecerla, y de una
representación gráfica de los productos que ayude a
difundir los resultados. Además, una descripción de las
aplicaciones de los estudios de caso podría ayudar a los
usuarios finales a comprender cómo llevar a cabo la
evaluación. Asimismo, una cierta transparencia en el
proceso de desarrollo de los enfoques contribuiría a su
usabilidad al ofrecer la posibilidad de ver y evaluar posibles
conflictos de intereses.
Conclusión
Varias organizaciones han desarrollado enfoques de
evaluación, centrados sólo en aspectos parciales de las
características de los sistemas de vigilancia, y la mayoría de
los enfoques disponibles ofrecen recomendaciones
generales para las evaluaciones.
Esta revisión ha puesto de manifiesto la necesidad de
desarrollar un enfoque global para la evaluación de los
sistemas de vigilancia, basado en los ya existentes y que
incluya orientaciones sobre la evaluación de atributos
individuales. Este enfoque tendría que ser (i) completo, e s
decir, proporcionar una lista completa de atributos que
abarque no sólo los aspectos epidemiológicos de la
evaluación, sino también los sociales y económicos; (ii)
flexible y adaptable al contexto (propósito de la vigilancia y
objetivo de la e v a l u a c i ó n ) y a las limitaciones de
las evaluaciones (tiempo, recursos, datos disponibles, etc.);
y (iii) operativo, es decir, que se adapte a las necesidades de
los usuarios.); y (iii) operativa, es decir, que ofrezca un
proceso estructurado para llevar a cabo la evaluación que
incluya orientaciones sobre cómo seleccionar los atributos
adecuados y la selección de métodos e instrumentos
prácticos para su evaluación.
Nota final
a
El objetivo general de RISKSUR es desarrollar y validar
marcos conceptuales y de apoyo a la toma de decisiones,
así como herramientas asociadas para diseñar sistemas
eficientes de vigilancia zoosanitaria basados en el riesgo
http://www.fp7-risksur.eu/.
Abreviaturas
PH: Salud pública; AH: Sanidad animal; EH: Sanidad ambiental; OH: Una salud;
CCP: Punto de control crítico; APPCC: Análisis de riesgos del punto de control
crítico; CDC: Centro para el control y la prevención de enfermedades; OMS:
Organización Mundial de la Salud; RESAPATH: Red de vigilancia de la
resistencia a los antimicrobianos en bacterias patógenas de origen animal;
RENESA: Evolución de las tasas de micoplasmosis y salmonelosis en aves de
corral; FA: fiebre aftosa;
OASIS: Outil d'analyse des systèmes de surveillance; SERVAL: SuRveillance
EVALuation framework.
Intereses contrapuestos
Los autores declaran no tener intereses contrapuestos.
Contribuciones de los autores
MP y FLG concibieron la idea de este estudio, supervisaron la ejecución
general del estudio y el proceso de elaboración del manuscrito. CC
contribuyó al diseño del estudio, la recopilación de datos, el análisis de
datos y la redacción del manuscrito. AL y LH ayudaron a diseñar el estudio
y, con
Calba et al. BMC Public Health (2015) Página 14 de
15:448 22

FLG y MP, a interpretar los resultados y proporcionaron comentarios críticos

sobre el manuscrito. PH
Calba et al. BMC Public Health (2015) Página 15 de
15:448 22

y CS participaron en la revisión y mejora del manuscrito. Todos los
autores leyeron y aprobaron el manuscrito final.
Agradecimientos
Esta revisión se ha realizado en el marco del proyecto RISKSUR, financiado
por el Séptimo Programa Marco de la Unión Europea (7PM / 2007-2013)
mediante el acuerdo de subvención n°310806.
16. Solberg S. Forest health monitoring: evaluation of methods, trends and
causes based on a Norwegian Nationwide set of monitoring plots, Dr.
Agric. Tesis, Universidad Agrícola de Noruega. 1999.
17. Teutsch G, Ptak T, Schwarz R, Hoder T. A new integral procedure for the
quantification of groundwater contamination. J Contam Hydrol.
2000;75:183-213.

Datos del autor

1
Département ES, UPR AGIRs, Bureau 208, Bâtiment E TA C22/E, Centre de
coopération internationale en recherche agronomique pour le
développement (CIRAD), Campus international de Baillarguet, Montpellier
Cedex 5 34398, Francia. 2Animal Health and Veterinary Laboratories Agency
(AHVLA), Weybridge, New Haw, Addlestone KT15 3NB, Reino Unido.
3
Agencia Francesa de Seguridad Sanitaria Alimentaria, Medioambiental y
Profesional (ANSES), 31 avenue Tony Garnier, 69394 Lyon Cedex 07, Francia.
4
Instituto Veterinario Nacional (SVA), SE-751 89 Uppsala, Suecia. 5Research
Unit of Epidemiology and Risk Analysis applied to Veterinary Sciences
(UREAR-ULg), Fundamental and Applied Research for Animal and Health,
Faculty of Veterinary Medicine, University of Liege, Boulevard de Colonster 20,
B42, B- 4000 Liege, Bélgica. 6CIRAD, UPR AGIRS, Bureau 208, Bâtiment E, TA
C22/E, Campus international de Baillarguet, 34398 Montpellier Cedex 5,
Francia.

Recibido: 10 de noviembre de 2014 Aceptado: 22 de abril de 2015

Referencias
1. Declich S, Carter A. Vigilancia de la salud pública: orígenes
históricos, métodos y evaluación. Bull World Health Organ.
1994;72:285-304.
2. Corley CD, Lancaster MJ, Brigantic RT, Chung JS, Walters RA, Arthur RR,
et al. Assessing the continuum of event-based biosurveillance through
an operational lens. Biosecur Bioterror. 2012;10:131-41.
3. Drewe J, Hoinville L, Cook A, Floyd T, Stärk K. Evaluation of animal and
public health surveillance systems: a systematic review. Epidemiol
Infect. 2012;140:575-90.
4. Shahab S. Finding value in the evaluation of public health
syndromic surveillance systems from a policy perspective. En: Finding
value in the evaluation of public health syndromic surveillance
systems from a policy perspective. Alberta, Canadá: Alberta Health
Services; 2009. p. 1-24.
5. Comité Coordinador de Vigilancia Sanitaria. Marco e instrumentos
de evaluación de los sistemas de vigilancia de la salud. En: Marco e
instrumentos para evaluar los sistemas de vigilancia de la salud.
Vancouver, Canadá: Health Canada; 2004.
6. Klaucke ND. Evaluación de los sistemas de vigilancia de la salud
pública. En: Halperin W, Baker EL, Monson RR, editores. Vigilancia de
la salud pública. New York: Van Nostrand Reinhold; 1992. p. 26-41.
7. Moher D, Liberati A, Tetzlaff J, Altman DG. Preferred reporting
items for systematic reviews and meta-analyses: the PRISMA
statement. Ann Intern Med. 2009;151:264-9.
8. Diccionario de la lengua inglesa.
[http://www.thefreedictionary.com/ framework]
9. Encycolpedia y diccionario de medicina, enfermería y
afines. [http://medical-
dictionary.thefreedictionary.com/framework].
10. Diccionario de términos científicos y
técnicos. [http://
enciclopedia2.thefreedictionary.com/guidelin
es]
11. Diccionario dental Mosby. [http://medical-
dictionary.thefreedictionary.com/ guidelines]
12. Diccionario médico. [http://medical-
dictionary.thefreedictionary.com/
method].
13. Diccionario de la lengua inglesa.
[http://www.thefreedictionary.com/tools]
14. Cobuild English Usage. [http://www.thefreedictionary.com/tools]
15. Yoshimizu M, Hori Y, Yoshinaka T, Kimura T, Leong J, Rodgers C.
Evaluation of methods used to detect the prevalence of infectious
haematopoietic necrosis (IHN) virus in the surveillance and monitoring of
fish health for risk assessment. En: Rodgers C, editor. Risk analysis in
aquatic animal health;
8-10 de febrero; París, Francia. París, Francia: Oficina Internacional de
Epizootias (OIE); 2001. p. 276-81.
Calba et al. BMC Public Health (2015) Página 16 de
15:448 22
18. Organización Mundial de la Salud. Componentes básicos para los 2011;11:744.
programas de prevención y control de infecciones: herramientas
de evaluación para los programas de CIP. En: Componentes
básicos para los programas de prevención y control de
infecciones: herramientas de evaluación para los programas de
CIP. Organización Mundial de la Salud (OMS); 2011.
http://www.wpro.who.int/hrh/about/nursing_midwifery/
core_components_for_ipc.pdf.
19. Organización Mundial de la Salud. Evaluación del sistema
nacional de información sanitaria: instrumento de evaluación.
Organización Mundial de la Salud (OMS); 2008.
http://apps.who.int/iris/bitstream/10665/43932/1/
9789241547512_eng.pdf?ua=1 (ISBN 978 92 4 154751 2).
20. Organización Mundial de la Salud. Sistemas de vigilancia y
respuesta a las enfermedades transmisibles: guía para el
seguimiento y la evaluación. En: Sistemas de vigilancia y respuesta
a las enfermedades transmisibles: guía para el seguimiento y la
evaluación. Ciudad: Organización Mundial de la Salud (OMS);
2006. p. 90.
21. Organización Mundial de la Salud. Protocolo para la evaluación de
los sistemas de vigilancia epidemiológica. En: Protocolo para la
evaluación de los sistemas de vigilancia epidemiológica. Ciudad:
Organización Mundial de la Salud (OMS); 1997. p. 49.
22. Meynard JB, Chaudet H, Green AD, Jefferson HL, Texier G, Webber
D, et al. Proposal of a framework for evaluating military surveillance
systems for early detection of outbreaks on duty areas. BMC Public
Health. 2008;8:46.
23. Centro Europeo para la Prevención y el Control de las Enfermedades.
Marco para la evaluación y valoración de las redes de vigilancia a escala
de la UE en 2006-2008. En: Marco para la evaluación y valoración de las
redes de vigilancia a escala de la UE en 2006-2008. Ciudad: Centro
Europeo para la Prevención y el Control de las Enfermedades (ECDC);
2006. p. 13.
24. Buehler JW, Hopkins RS, Overhage MJ, Sosin DM, Tong V.
Framework for evaluating public health surveillance systems for early
detection of outbreaks: recommendations from the CDC Working
Group. En: Marco para la evaluación de los sistemas de vigilancia de
la salud pública para la detección precoz de brotes:
recomendaciones del Grupo de Trabajo de los CDC, vol. 53. Madrid.
Ciudad: Centro para el Control y la Prevención de Enfermedades
(CDC); 2004. p. 1-11.
25. Kansanterveyslaitos Folkhälsoinstitutet. Protocolo de evaluación de
las redes de vigilancia de las enfermedades transmisibles en la UE.
En: Protocolo de evaluación de las redes de vigilancia de las
enfermedades transmisibles en la UE. Ciudad: Instituto Nacional de
Salud Pública (KTL); 2004. p. 59.
26. German RR, Lee L, Horan J, Milstein R, Pertowski C, Waller M.
Directrices actualizadas para la evaluación de los sistemas de
vigilancia de la salud pública. En: Directrices actualizadas para la
evaluación de los sistemas de vigilancia de la salud pública, vol.
50. Ginebra: OMS. Ciudad: Center for Disease Control and
Prevention (CDC); 2001. p. 1-35.
27. Hendrikx P, Gay E, Chazel M, Moutou F, Danan C, Richomme C, et
al. OASIS: an assessment tool of epidemiological surveillance
systems in animal health and food safety. Epidemiol Infect.
2011;139:1486-96.
28. Drewe J, Hoinville L, Cook A, Floyd T, Gunn G, Stärk K. SERVAL: un
nuevo marco para la evaluación de la vigilancia zoosanitaria.
Transbound Emerg Dis. 2013;62:1-13.
29. Dufour B. Método de evaluación técnica y económica para la mejora
de las redes de vigilancia de enfermedades animales infecciosas. Vet
Res. 1999;30:27-37.
30. Malecki KC, Resnick B, Burke TA. Effective environmental public
health surveillance programs: a framework for identifying and
evaluating data resources and indicators. J Public Health
Manag Pract. 2008;14:543-51.
31. El Allaki F, Bigras-Poulin M, Ravel A. Conceptual evaluation of
population health surveillance programs: method and example. Prev
Vet Med. 2013;108:241-52.
32. Dufour B, Hendrickx P. Surveillance épidémiologique en santé
animale. En: Éditions Quæ. 3r ed. París, Francia: AEEMA y CIRAD,
Maison Alfort. 2011.
33. Peyre M, Hoinville L, Häsler B, Lindberg A, Bisdorff B, Dorea F, et al.
Network analysis of surveillance system evaluation attributes: a way
towards improvement of the evaluation process. La Habana, Cuba:
Presentado en la Conferencia Internacional para la Vigilancia de la
Sanidad Animal (ICAHS2); 2014.
34. Auer AM, Dobmeier TM, Haglund BJ, Tillgren P. The relevance of
WHO injury surveillance guidelines for evaluation: learning from
the Aboriginal Community-Centered Injury Surveillance System
(ACCISS) and two institution-based systems. BMC Public Health.