Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Aunque la existencia de esta brecha se debe a múltiples y diversos factores, a los fines de
este capítulo se enfatizará sobre el rol de investigadores y decisores como productores y
usuarios de conocimiento, y se introducirán conceptos básicos sobre investigación en
implementación.
Según la Alianza para Políticas de Salud e Investigación de Sistemas de la Organización
Mundial de la Salud “la investigación en implementación toma lo que sabemos y lo
transforma en lo que hacemos. La investigación sobre la implementación de políticas,
planes y programas es sumamente valiosa para esclarecer la frecuentemente desigual
relación entre lo que teóricamente se puede lograr y lo que se consigue en la práctica.
Mediante la interacción con el mundo real, y gracias a los puntos fuertes basados en gran
medida en las experiencias de los profesionales del mundo real y las comunidades en las
que prestan servicios, la investigación sobre implementación genera conocimientos
profundos específicos del contexto, que simplemente no están disponibles en las
perspectivas de investigación más focalizadas”.3
Esta definición de la Alianza destaca los principios sobre los cuales se sustenta la
investigación sobre implementación -como su anclaje en el mundo real y su foco en el
1
Subdirectora Ejecutiva del Instituto de Investigaciones Epidemiológicas, Academia Nacional de Medicina,
Buenos Aires. Ex Ministra de Salud de la Provincia de Buenos Aires
2
Investigadora del Instituto de Investigaciones Epidemiológicas, Academia Nacional de Medicina, Buenos
Aires. Docente e investigadora, Departamento de Economía, Universidad Nacional del Sur.
3
Investigadora del Instituto de Investigaciones Epidemiológicas, Academia Nacional de Medicina, Buenos
Aires. Coordinadora del Programa de Investigación en Enfermedades Crónicas No Transmisibles de la
Universidad Nacional Arturo Jauretche
1
contexto- con el objeto de identificar, comprender y actuar sobre aquellos factores que
inciden en la implementación de las intervenciones. Para alcanzar sus objetivos este tipo de
investigación requiere involucrar antes, durante e incluso al finalizar, a aquellos actores
clave que participan en mayor o menor medida del proceso de implementación. Sólo a
través de su involucramiento, y de una mirada atenta y en tiempo real del contexto en el que
transcurre la implementación, será posible identificar las brechas existentes y diseñar,
ejecutar y evaluar estrategias que permitan corregirlas o modificarlas.
Quienes investigan en y para la salud –cuya función es generar evidencias- están dentro de
un sistema más amplio y complejo, que incluye a los decisores o implementadores de
políticas, planes y programas sanitarios. Mientras que a los primeros los desvela la
rigurosidad científica y metodológica, a los implementadores de políticas los motiva la
gestión de los flujos de poder y las tensiones que cada decisión conlleva. Esta conjunción
de enfoques ha sido reconocida como investigación-acción, con la idea de plantear la
coexistencia de ambos cada vez que se quiere resolver problemas de salud. La investigación
“pura”, aislada o sin relación con decisiones que resuelvan la cuestión no alcanza.4 Las
decisiones que no usan resultados de investigaciones tampoco. El ideal es contar con
investigadores y decisores que produzcan y usen el conocimiento para el bien común. Ese
ideal se puede lograr en la medida que se dé lugar al uso de evidencia en las decisiones
sanitarias y que la evidencia generada responda a los problemas que los decisores sanitarios
deben enfrentar cada día.
Para los investigadores bajo el paradigma del positivismo -usualmente el más cercano a las
ciencias biomédicas- los ensayos clínicos randomizados (ECR) son los diseños más sólidos
para juzgar la validez de las estrategias terapéuticas. Este tipo de evidencia, aunque aporta
información valiosa sobre la eficacia y efectividad de las intervenciones clínicas, no
alcanza para entender y resolver los problemas de los sistemas de salud y de sus
poblaciones a cargo. Se ha prestado gran atención a los determinantes físicos y biológicos
en las ciencias y servicios médicos, pero mucho menos a los determinantes sociales y al rol
de los sistemas de salud en el proceso salud-enfermedad-atención,5 pese a que estos últimos
2
se consideran centrales en el origen de las desigualdades sanitarias. Es por ello que para los
decisores sanitarios puede resultar insuficiente usar un ECR como única evidencia al
momento de tomar una decisión.
3
El contexto está determinado por: el ambiente físico, el entorno político (relaciones de
poder, estructuras de gobernanza, partidos políticos); los sistemas de salud (gobernanza,
sistemas de información, recursos humanos, materiales y financieros, provisión de
servicios); las características socio-económicas (características demográficas, ingreso,
vivienda, educación) y culturales (creencias, identidad étnica, tradiciones) de la población
a la que se dirige la intervención así como las particularidades de las instituciones (cultura
organizacional).10 El involucramiento y la participación de investigadores y decisores antes,
durante y al finalizar la investigación permite analizar y comprender la manera en la que el
contexto incide en la intervención y diseñar estrategias que fortalezcan su implementación.
Según Novick, “los actores clave se involucran en una actividad específica, ya sea
produciendo, consumiendo, gestionando, regulando o evaluando dicha actividad”.11 (Figura
1)
Fuente: Elaboración propia, adaptado de Implementation Research Toolkit. TDR, For research on diseases
of poverty. UNICEF-UNDP-World Bank-World Health Organization; 2014.
4
decisores, la brecha entre la investigación y la implementación de los resultados seguirá
existiendo.12
Una intervención sanitaria es el conjunto de acciones que conforman una política, plan o
programa de salud, que incluye más de un grupo y nivel de la organización y de la
comunidad, e involucra tanto a quienes proveen como a quienes reciben la intervención. Su
evaluación requiere considerar múltiples indicadores, que den cuenta tanto de los procesos
como de los resultados de la implementación.13 La multiplicidad de componentes, grupos,
actores y niveles de evaluación definen a esta intervención como compleja.
Las características contextuales que son relevantes varían según el tipo de intervención,
pero podría decirse que siempre agregan complejidad. El contexto modela, en alguna
medida, la estrategia de implementación de las intervenciones sanitarias: qué actores
involucrar, cómo y en qué momento hacerlo y cómo estimular su participación a lo largo
del proceso (Ejemplo 1).
En el año 2016 se publicaron los resultados de un estudio cuyo objetivo fue evaluar la
implementación de un programa de cesación tabáquica en pacientes que eran asistidos en
una red de hospitales de un distrito de Australia.16 Si bien se disponía de evidencia que
mostraba la efectividad de este tipo de programas17,18,19,20 las tasas de tabaquismo en la
población seguían siendo elevadas y se desconocía, en ese momento, cuál era la efectividad
de las estrategias que permitían incrementar la adopción de las recomendaciones propuestas
para lograr la cesación tabáquica en esta población. El programa (la intervención) tenía
múltiples componentes: (i) evaluación del grado de dependencia a la nicotina, (ii) provisión
5
de los tratamientos de reemplazo nicotínico a los dependientes durante la internación y por
tres días luego del alta hospitalaria, (iii) consejería breve sobre la cesación tabáquica y
derivación a una línea de asistencia gratuita para dejar de fumar. Las estrategias para
incrementar la adopción de las recomendaciones del programa en los hospitales
participantes fueron: (i) fortalecimiento del liderazgo y gobernanza del programa; (ii)
desarrollo y diseminación de herramientas para la provisión del cuidado para la cesación
tabáquica; (iii) entrenamiento de los equipos de salud; (iv) facilitación de la
implementación del programa en los hospitales participantes; (v) auditoría y devolución de
resultados a los equipos de salud involucrados y (vi) comunicación.
Este ejemplo da cuenta de los desafíos que presentan el diseño, la ejecución y la evaluación
de este tipo de intervenciones sanitarias, que como se dijo son complejas, programáticas y
dependientes del contexto. Una intervención con cuatro componentes, con seis estrategias
de implementación diferentes y múltiples actores involucrados.
6
intereses comerciales. A veces la evaluación, en lugar de ser previa, tiene lugar junto con la
implementación a gran escala.
Figura 2. Diseño y evaluación de intervenciones complejas para mejorar la salud. Adaptado de Campbell y
col. BMJ 2000; 321:694-6 21
Cuando se trata de una intervención sanitaria, la fase 0 está destinada a definir el marco
teórico-empírico que se utilizará para el diseño de la misma. En esta fase se necesita
fundamentar tanto la intervención seleccionada como el diseño de las estrategias a través de
las cuales se buscará implementar la intervención, para lo cual, se necesitan distintos tipos
de evidencia: la empírica, la experiencial y la teórica (Tabla 1).
7
Tabla 1. Tipos de evidencia para informar la implementación de intervenciones sanitarias
Tipo de Descripción Forma en la que contribuye a informar el diseño de la
Evidencia intervención
Evidencia Información sobre el uso Ayuda a comprender cómo se desenvuelve la intervención en la
Empírica real, efectividad y resultados práctica; establecer y medir su efecto real y el mecanismo causal
de la intervención. que subyace entre los componentes de la intervención y los
resultados esperados.
Evidencia Información sobre las Ayuda a comprender cómo las personas (profesionales de la
Experiencial experiencias de las personas salud, usuarios, gestores) experimentan, visualizan y responden a
que participan en la la intervención, y cómo contribuye esta información a nuestra
implementación de la comprensión sobre la intervención y las formas de
intervención. implementación.
Evidencia Ideas, conceptos, modelos Ayuda a comprender las teorías que subyacen a la intervención, y
Teórica empleados para describir la a emplear teorías del cambio de comportamiento individual y
intervención, explicar cómo organizacional para explicar los mecanismos por los cuales la
y por qué funciona, y darle intervención logra el efecto buscado. Sobre la base de un marco
un marco y una base de teórico-conceptual es posible formular y evaluar hipótesis sobre
conocimiento más amplia. los posibles mecanismos causales que determinan el efecto de la
intervención y transferir lo aprendido a otros ámbitos.
Fuente: Adaptado de Harvey y col.23
Por último, debe seleccionarse un marco teórico o conceptual. El desarrollo del marco
teórico brindará las bases para entender el proceso de cambio a través del cual se
implementará la intervención en un contexto determinado y de qué manera ésta logrará los
efectos deseados. En otras palabras, la evidencia teórica es la que permite identificar cuáles
son los mecanismos sociales por los cuales “funcionan” las intervenciones complejas en los
sistemas y servicios de salud. Se han descripto más de 60 marcos teóricos o conceptuales,
algunos de los cuales están ampliamente difundidos y referidos en la bibliografía, como el
8
RE-AIM y el CFIR (“Consolidated Framework for Implementation Research”). Incluso
algunos estudios combinan diversos marcos teóricos en función de sus objetivos.24, 25, 26
Los estudios en fase III para intervenciones sanitarias -al igual que en los estudios clínicos-
son experimentales y utilizan grupo control, con el fin de evaluar la efectividad de las
estrategias de implementación propuestas. Sin embargo, tanto la asignación aleatoria como
la doble ocultación no son factibles y en ocasiones, se requieren otro tipo de diseños de
investigación.
Así como en estudios de investigación clínica los medicamentos aprobados tras los estudios
en fase III a menudo se mantienen bajo observación durante un largo tiempo en los estudios
en fase IV, lo mismo ocurre con los programas sanitarios, que en esta fase se dan a largo
plazo. Los estudios en fase IV son necesarios para responder a preguntas importantes que
pudieron haber quedado pendientes en la fase de evaluación de la implementación.
9
Ejemplo 2. Diseño, implementación y evaluación de una intervención para reducir la
mortalidad por Infarto de Miocardio con elevación del segmento ST (IM-EST)
Aunque los resultados del estudio pueden haber estado relacionados con factores no
evaluados o no relacionados con las intervenciones del proyecto, la asociación bien
documentada de reperfusión más consistente y más rápida con mejor supervivencia en
pacientes con IM-EST, mostró que la implementación de un programa de atención del IM-
EST, coordinado y organizado regionalmente, representa una oportunidad para mejorar los
resultados de salud pública.
Entre las conclusiones sobre la escalabilidad del programa, los autores identificaron las
condiciones que, más allá del hospital y de los recursos del sistema de emergencias, serían
requisitos para su implementación en otras regiones: (1) la voluntad de los hospitales,
médicos y agencias de emergencias para colaborar, establecer protocolos comunes y
compartir datos; (2) el desarrollo de un registro que mida los procesos y resultados del
contacto inicial del sistema a través de la atención hospitalaria; (3) el liderazgo a nivel local
10
a través de la conformación de un equipo interdisciplinario que represente las distintas
instituciones involucradas y se reúna regularmente para diseñar, dirigir y supervisar la
implementación del programa; (4) el liderazgo a nivel regional, a través de la participación
de un coordinador (5) la disponibilidad de tiempo y espacio físico para reuniones de los
equipos.28
11
respuesta a un determinado problema) y/o la factibilidad de implementar dicha intervención
(posibilidad de implementar la intervención en la práctica diaria o en un contexto
determinado). Cuando se trata de intervenciones existentes, toman relevancia aspectos
como la medida en la cual la intervención se implementa tal cual fue diseñada (fidelidad) u
otros aspectos, como cobertura o costos de implementación.
Como se vio en los párrafos precedentes, para evaluar una intervención sanitaria no alcanza
un diseño tradicional del tipo de los ECR, dada la complejidad de este tipo de
intervenciones. La evaluación de la implementación y la efectividad de una intervención
sanitaria en escenarios del “mundo real” requiere establecer un equilibrio entre la validez
interna y externa, para lo cual son necesarios diseños de investigación relevantes para la
población y el contexto donde se desarrollará el estudio. Algunos de estos diseños son
menos conocidos y pueden presentar cierta dificultad a la hora de estandarizarlos o
restringirlos a las clasificaciones tradicionales.34
Los llamados ensayos pragmáticos o ensayos clínicos prácticos (practical clinical trials-
PCTs) se caracterizan porque evalúan comparativamente intervenciones clínicamente
relevantes en poblaciones diversas, reclutan participantes de escenarios diferentes y
heterogéneos, y recolectan datos sobre una amplia gama de resultados de salud,35 aunque
no todos se ajustan estrictamente a la definición de “investigación en implementación” (ver
Ejemplo 3).
El programa Si! utilizó un diseño aleatorizado por conglomerados para evaluar el efecto de
una intervención educativa sostenida a lo largo de 3 años, destinada a inculcar estilos de
vida saludables en niños, sus padres y docentes. Fueron incluidos 2062 alumnos de pre-
escolar de 24 escuelas de Madrid, el punto final primario fue el cambio en los niveles de
conocimiento, las actitudes y los hábitos de los niños a través del score KAH (knowledge,
12
attitudes and habits) y el endpoint secundario fue el cambio en marcadores de adiposidad.
Los resultados del estudio mostraron un score KAH global fue 4,9% más elevado en el
grupo intervención en comparación con el grupo control, por lo que los investigadores
concluyeron que el Programa Si!, es una estrategia factible y efectiva para inculcar hábitos
saludables, que se traduce en un efecto beneficioso en marcadores de adiposidad. El diseño
no incluyó la evaluación del proceso de implementación ni utilizó un marco teórico, por lo
que no pudo explicar cuáles fueron los factores determinantes del efecto obtenido.
Una revisión sistemática que evaluó 404 estudios publicados en la principal revista de
ciencias de implementación, identificó 212 estudios orientados a evaluar eficacia o
efectividad de estrategias de diseminación e implementación. Entre ellos, el 77% utilizó
diseños randomizados, principalmente por conglomerados (clusters randomized trials) y
ensayos por conglomerados escalonados (stepped wedge cluster randomized trial),38
seguidos por diseños quasi-experimentales y observacionales. Más de la mitad utilizó
metodologías cualitativas y cuantitativas, y sólo el 52% utilizó un marco teórico para guiar
el estudio.39
13
intervenciones en condiciones controladas, pero que, en el contexto de intervenciones
complejas en sistemas complejos, resultan insuficientes.
En estos contextos, no basta con demostrar que (I) es la causa de (D), sino que se requiere
comprender cómo (I) causa (D) en un determinado contexto (C). Es decir, no basta con una
descripción causal, sino que es necesario proveer una explicación causal para la cual se
requiere un enfoque de evaluación que explique los mecanismos a través de los cuales las
intervenciones funcionan en determinados contextos. Esta explicación se logra a través del
uso de las teorías.
Los enfoques de evaluación basados en la teoría o guiados por la teoría examinan no sólo
los resultados de la intervención, sino también las posibles causas y factores del contexto
que explican el cambio observado.40Algunos autores han denominado a este enfoque como
“evaluación de caja blanca”, en la medida que buscan abrir “la caja negra” que se
encuentra entre “las intervenciones clínicas efectivas” y “los resultados de salud de la
población”, para explicar los mecanismos internos por los cuales la intervención
funciona.41,42,43
La evaluación guiada por la teoría se define como una estrategia o enfoque de evaluación
que explícitamente integra y emplea la teoría para conceptualizar, diseñar, ejecutar,
interpretar y aplicar los resultados de la evaluación. Este tipo de enfoque es uno de los
pilares en los que se sustentan las ciencias de la implementación (ver Ejemplo 4).
En el año 2013, el Gobierno de Samoa (Islas del Pacífico), implementó una iniciativa
nacional (MASIMA) para control de la Hipertensión Arterial en el marco de un proyecto
del Consejo de Investigación Médica del Reino Unido y la Alianza Global para
Enfermedades Crónicas. MASIMA consistió en una estrategia nacional, multifacética, para
la reducción del consumo de salud, cuyos resultados se evaluaron a través de la excreción
urinaria de 24 horas de sodio y el cambio en los conocimientos, actitudes y
comportamientos auto-reportados por la población, antes y después de la intervención. La
evaluación de resultados mostró que, si bien se observaron mejoras en el conocimiento,
actitudes y comportamientos, no se observaron cambios en la ingesta promedio de sal.
Con el fin de comprender los mecanismos que podrían explicar estos resultados
discordantes y fortalecer futuras intervenciones, se realizó una evaluación del proceso de
implementación sustentado en el modelo conceptual de Steckler y Linnan, que incluye la
evaluación de variables como alcance, dosis y fidelidad. Se incluyó además otro indicador,
la adopción del programa, el cual fue tomado de otro modelo conceptual (RE-AIM). Los
autores también evaluaron los costos, dada la importancia que tiene este aspecto en la
14
transferibilidad de la intervención a otros contextos, particularmente de medianos y bajos
ingresos, como es el caso de Samoa.
Los resultados de esta evaluación mostraron que las campañas, los estándares de nutrición
en las escuelas y las intervenciones para movilización de la comunidad se implementaron
con un alcance y fidelidad moderada. Los costos de las campañas fueron mayores a los
esperados y la dosis de implementación fue muy baja, dada las dificultades para involucrar
a líderes comunitarios en la diseminación de los mensajes de reducción del consumo de sal.
Otras iniciativas, como el involucramiento de las empresas alimenticias para que
voluntariamente redujeran la cantidad de sal de los alimentos así como la regulación
relacionada con el consumo de sal fueron las que mayores dificultades presentaron. Otros
factores de contexto que obstaculizaron la implementación de la iniciativa fueron la cultura
alimentaria de la población, los costos elevados y la baja disponibilidad de alimentos con
bajo contenido de sodio.
Esta evaluación evidenció que, aunque las intervenciones individuales y comunitarias
ayudaron a incrementar el conocimiento de la población con relación al consumo de sal, se
requiere una modificación del marco legal que modifique el ambiente alimentario de
manera de lograr un efecto real en la ingesta de sal en la población.
A través del uso de un marco teórico conceptual, pudieron comprender cuáles fueron los
componentes que funcionaron y aquellos que no lo hicieron, y de esta manera explicar, el
resultado final observado.
Comentarios
Si analizamos una parte de la historia de los avances en salud, desde que Lind demostró el
beneficio de comer naranjas y limones para curar el escorbuto -en un estudio clínico de 12
pacientes- hasta que apareció en el British Medical Journal el primer ensayo clínico
randomizado pasaron dos siglos. Treinta años después, Sackett, Haynes y Tugwell se
esforzaban por integrar la epidemiología y la investigación a la toma de decisiones clínicas.
En 1990, Guyatt acuñó el término «Medicina Basada en Evidencia» (MBE) en un
documento informal destinado a los residentes de Medicina Interna de la Universidad de
Mc Master, en Canadá. Posteriormente, el término MBE fue ampliado a otras
especialidades, fue traducido como «Atención de Salud Basada en Evidencia» e
incorporado por algunos sistemas de salud de países como Inglaterra y Canadá. 46, 47, 48, 49
15
Como toda innovación el desarrollo de la MBE generó resistencia: ya no alcanzaba con la
experiencia; era crucial tener evidencia científica para tomar decisiones clínicas acertadas.
Parte de la polémica inicial se centró en antagonizar «experiencia» con «evidencia», en vez
de definir a qué llama evidencia la MBE. Treinta años después, MBE es usar la mejor
evidencia disponible para la toma de decisiones clínicas, sin desconocer la importancia de
la experiencia. Nuevamente estas dos posiciones extremas se han suavizado con el tiempo.
La evidencia se considera siempre necesaria, pero nunca será suficiente para tomar
decisiones. Hay múltiples factores a considerar al momento de tomar una decisión clínica:
la experiencia y el juicio clínico, la realidad del entorno con los recursos disponibles, los
valores o preferencias del paciente y la mejor evidencia proveniente de estudios clínicos.
Cómo se podría lograr excede los objetivos de este capítulo, pero la rueda avanza porque
hubo una decisión inteligente al incorporar a este libro un espacio para describir el proceso
de producción y uso del conocimiento en las decisiones sanitarias sumadas a la complejidad
de las intervenciones sanitarias y la evaluación de su implementación.
REFERENCIAS
1) Doval HC, Tajer C. Evidencias en Cardiología VIII: de los ensayos clínicos a las
conductas terapéuticas CD. 8º edición ampliada; 2016.
16
sistemas de salud: Una guía de métodos. TARSC, AHPSR, WHO, IDRC Canada,
EQUINET, Harare. 2014.
6) Gilson L, ed. Health Policy and System Research: A methodology reader. Alliance for
Health Policy and System Research, World Health Organization; 2012.
7) Closing the gap in a generation: health equity through action on the social determinants
of health. World Health Organization; 2008.
9) Esandi ME, Ortiz Z, Chapman E, y col. Production and quality of clinical practice
guidelines in Argentina (1994-2004): a cross-sectional study. Implement Sci. 2008;3:43.
12) Perel P, Miranda JJ, Ortiz Z, Casas JP. Relation between the global burden of disease
and randomized clinical trials conducted in Latin America published in the five leading
medical journals. PLoS One. 2008;3(2):e1696. Published 2008 Feb 27.
doi:10.1371/journal.pone.0001696
13) Campbell NC, Murray E, Darbyshire J et al. Designing and evaluating complex
interventions to improve health care. British Medical Journal 2007; 334:455-9.
14) Hawe P, Bond L, Butler H. Knowledge theories can inform evaluation practice: What
can complexity lens add? In J.M. Ottoson and P. Hawe (Eds.). Knowledge utilization,
diffusion, implementation, transfer and translation: Implications for evaluation. New
Directions for Evaluation 2009, 124, 89-100.
15) Rychetnik L, Frommer M, Hawe P et al. Criteria for evaluating evidence on public
health interventions. Journal of Epidemiology and Community Health 2002 (56): 119-27.
16) Slattery C, Freund M, Gillham K, Knight J et al. Increasing smoking cessation care
across a network of hospitals: an implementation study. Implementation Science 2016:
11:28.
17) Fiore MC, Jaen CR, Baker TB. Treating tobacco use and dependence: 2008 update.
Clinical practice guideline. Rockville: U.S. Department of Health and Human Services;
2008.
17
18) National Institute for Health and Care Excellence (NICE). Smoking cessation in
secondary care: acute, maternity and mental health services. London: NICE 2013.
Disponible en: https://www.nice.org.uk.
19) World Health Organization & WHO Tobacco Free Initiative. Policy recommendations
for smoking cessation and treatment of tobacco dependence: tools for public health. World
Health Organization; 2003. Disponible en: http://www.who.int/iris/handle/10665/42708
20) Stead LF, Perers R, Bullen C et al. Nicotine replacement therapy for smoking cessation.
Cochrane Database Syst Rev. 2012; Issue 11.
22) Campbell M, Fitzpatrick R, Haines A et al. Framework for design and evaluation of
complex interventions to improve health. BMJ 2000; 321: 694-6.
23) Harvey G et al. The NIHR collaboration for leadership in applied health research and
care (CLAHRC) for Greater Manchester: combining empirical, theoretical and experiential
evidence to design and evaluate a large-scale implementation strategy. Implementation
Science 2011, 6:96.
25) Birken SA, Powell BJ, Presseau J et al. Combined use of the Consolidated Framework
for Implementation Research (CFIR) and the Theoretical Domains Framework (TDF): a
systematic review. Implementation Science 2017; 12:2.
26) Glasgow RE, Harden SM, Gaglio B et al. RE-AIM planning and evaluation framework:
Adapting to New Science and Practice with a 20-Year Review. Front. Public Health 2019,
7:64. doi: 10.3389/fpubh.2019.00064.
27) Jollis JG, Al-Khalidi HR, Roettig ML et al. Mission: Lifeline STEMI Systems
Accelerator Project. Regional Systems of Care Demonstration Project: American Heart
Association Mission: Lifeline STEMI Systems Accelerator. Circulation 2016; 134:365–
374.
28) Jollis JG, Al-Khalidi HR, Monk L et al. Regional Approach to Cardiovascular
Emergencies (RACE) Investigators. Expansion of a regional ST-segment-elevation
myocardial infarction system to an entire state. Circulation 2012; 126:189–195.
18
29) World Health Organization. A guide to implementation research in the prevention and
control of non-communicable diseases. World Health Organization; 2016. License: CC
BY-NC-SA 3.0 IGO.
31) Meissner HI, Glasgow RE, Vinson CA et al. The U.S. training institute for
dissemination and implementation research in health. Implementation Science 2013, 8:12.
https://doi.org/10.1186/1748-5908-8-12
32) Proctor EK, Silmere H, Raghavan R et al. Outcomes for Implementation research:
Conceptual Distinctions, Measurement Challenges, and Research Agenda. Adm Policy
Ment Health 2011; 38:65–76.
33) Proctor EK, Powell BJ, Baumann AA et al. Writing implementation research grant
proposals: ten key ingredients. Implementation Science 2012; 7: 96.
34) Handley MA, Lyles CR, McCulloch C et al. Selecting and improving quasi-
experimental designs in effectiveness and implementation research. Annu. Rev. Public
Health 2018; 39: 5–25
35) Tunis SR, Stryer DB, Clancy CM. Practical Clinical Trials: Increasing the Value of
Clinical Research for Decision Making in Clinical and Health Policy. JAMA 2003;
290(12): 1624–1632. doi:10.1001/jama.290.12.1624
36) Peñalvo JL, Santos-Beneit G, Sotos-Prieto M et al. The SI! Program for Cardiovascular
Health Promotion in Early Childhood: A Cluster-Randomized Trial. J Am Coll Cardiol.
2015 Oct 6; 66 (14): 1525-1534.
38) Hemming K. Et al. The stepped wedge cluster randomized trial: rationale, design,
analysis, and reporting BMJ 2015; 350:h391.
39) Mazzucca S, Tabak RG, Pilar M et al. Variation in Research Designs Used to Test the
Effectiveness of Dissemination and Implementation Strategies: A Review. Front. Public
Health 2018; 6:32.
19
40) Marchal B, van Belle S, van Olmen J et al. Is realist evaluation keeping its promise? A
review of published empirical studies in the field of health systems research. Evaluation
2012, 18:192–212.
41) Scriven M. The fine line between evaluation and explanation. Evaluation Practice 1994,
15 (1): 75–77. https://doi.org/10.1177/109821409401500108
42) Coryn CLS, Noakes LA, Westine CD, Schröter DC: A systematic review of theory-
driven evaluation practice from 1990 to 2009. Am J Eval. 2011 (32): 199-226.
43) Chen HT. Theory-driven evaluation: Needs difficulties and options. Evaluation Practice
1994; 15, 79-82.
44) Trieu K, Webster J, Jan S et al. Process evaluation of Samoa´s national salt reduction
strategy (MASIMA): what interventions can be successfully replicated in lower-income
countries? Implementation Science 2018; 13(1): 107.
45) Sonis A. Investigación en Servicios de Salud. Organización Panamericana de la Salud,
1989.
46) Bhatt A. Evolution of Clinical Research: A History Before and Beyond James Lind.
Perspectives in Clinical Research 2010; 1 (1): 6-10.
47) Sackett DL, Haynes RB, Tugwell P. Clinical epidemiology: a basic science for clinical
medicine. Ed. Little, Brown and Company. Boston 1985.
49) Gray JA, Chambers LW. Evidence-based healthcare: how to make health policy &
management decisions. Canadian Medical Association Journal 1997; 157 (11):1598-1599
20