Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Revista de Senología
y Patología Mamaria
www.elsevier.es/senologia
ARTÍCULO DOCENTE
a
Servicio de Cirugía General y Digestiva, Hospital General Universitario de Castellón, Castellón, España
b
Servicio de Ginecología y Obstetricia, Hospital General Universitario de Castellón, Universitat Jaume I, Castellón, España
PALABRAS CLAVE Resumen El metaanálisis es un método sistemático para sintetizar resultados de diferentes
Metaanálisis; estudios empíricos sobre el efecto de una variable independiente, sea de intervención o trata-
Revisión sistemática; miento, en un resultado final preciso. Desarrollado principalmente en la investigación médica
Sesgo de publicación; y psicológica como una herramienta para sintetizar información empírica sobre los resultados
Heterogeneidad de un tratamiento, ahora el metaanálisis se usa cada vez más en las ciencias de la salud, for-
mando parte de las revisiones sistemáticas, como una herramienta de inferencia estadística.
Sin embargo, a pesar de sus indiscutibles propiedades para la síntesis de la información dispersa
en la literatura y para la resolución de controversias con un alto grado de evidencia, adolece
de distintos problemas en la consecución de estos objetivos. Es necesario conocer su entra-
mado metodológico, aunque sea a un nivel básico, para valorar su validez en el logro de dichos
objetivos.
© 2020 SESPM. Publicado por Elsevier España, S.L.U. Todos los derechos reservados.
https://doi.org/10.1016/j.senol.2020.05.007
0214-1582/© 2020 SESPM. Publicado por Elsevier España, S.L.U. Todos los derechos reservados.
Revista de Senología y Patología Mamaria 34 (2021) 44---51
Formulación de objetivos
Enfermedad, Población,
Intervención, Efectos, Medidas
Búsqueda bibliográfica
Criterios de búsqueda
Recogida de datos
Tabla de estudios seleccionados
Tabla de variables para cálculos
Puntos débiles
Cálculos estadísticos Sesgo de publicación
Resultado Pruebas de efectos fijos
Forest plot Heterogeneidad
Pruebas de efectos aleatorios Análisis de sensibilidad
Presentación
Discusión
Conclusiones
Recomendaciones
45
V.J. Escrig Sos, J.A. Llueca Abella, L. Granel Villach et al.
Autor 2 2001 75 20 6 85 4 15
Figura 2 Disposición habitual de las variables en una tabla de datos para metaanálisis
A: ejemplo de tabla básica para analizar diferencias de efectos de tipo cuantitativo.
B: ejemplo de tabla básica para analizar diferencias de efectos de tipo cualitativo.
D.E.: desviación estándar.
los estudios que combina y resume, factores que si exis- ser seleccionados en la revisión sistemática. Se cree que en
ten se trasladan siempre al metaanálisis, de la mejor o algunos metaanálisis la no inclusión de estudios no conclu-
peor selección de estudios que se hace en la revisión sis- yentes puede incrementar artificialmente hasta seis veces
temática y los derivados del propio análisis estadístico. Se el tamaño de las diferencias finales4 . Para aminorar el sesgo
trata de sesgos que de alguna manera se deben identificar, de publicación en los resultados de un metaanálisis se debe
porque si existen, lo que hacen es alejar el resultado final hacer un esfuerzo adicional para localizar estudios no publi-
del verdadero resultado existente en la población4 . No obs- cados y estudios no concluyentes. Identificar estudios no
tante, aunque tal aproximación al verdadero resultado en publicados es ahora algo más fácil, gracias a una mejor
la población se logre en mayor o menor medida, un buen comunicación entre los investigadores de todo el mundo, y
metaanálisis puede despejar incógnitas y siempre consti- gracias a los registros en los que constan todos los estudios
tuirá una sinopsis que ahorra largas horas de búsqueda y de una determinada enfermedad o tratamiento, indepen-
lectura de la literatura. Dentro de la valoración de la calidad dientemente del resultado4 .
de un metaanálisis también es muy importante comprobar La identificación de un sesgo de publicación se hace
que cumpla con unas determinadas normas de publicación5---7 habitualmente sobre unas gráficas en forma de embudo o
como la mejor manera de que el lector pueda identificar sus funnel plot10,11 . Son unas gráficas de dispersión entre alguna
fortalezas y limitaciones. medida relacionada con el error estándar (tamaño de la
Entre los diversos problemas que pueden aparecer hay muestra) y los resultados de cada ensayo incluido que apa-
dos que son capitales, y que de forma constante se analizan recen como puntos o círculos alrededor del resultado del
en todos los artículos. Las normas de publicación obligan. Se metaanálisis (fig. 3).
trata del Sesgo de publicación8 y de la heterogeneidad9 del La figura 3A es un ejemplo de ausencia de sesgo de publi-
resultado final, que afectan tanto a la validez interna como cación. Tanto los puntos correspondientes a los ensayos con
a la validez externa del metaanálisis. gran muestra, como a aquellos con muestras menores, se
distribuyen homogéneamente dentro del triángulo y a cada
El sesgo de publicación lado de la línea de puntos que marca el resultado del metaa-
nálisis. La figura 3B es un ejemplo de la existencia de un
importante sesgo de publicación. Los puntos correspondien-
Puede producirse cuando en la selección de artículos se
tes al resultado de los distintos ensayos incluidos no se
recogen mayoritariamente grandes ensayos con resultados
distribuyen homogéneamente dentro del triángulo ni alre-
concluyentes, es decir, estadísticamente significativos, y se
dedor del resultado del metaanálisis. En este ejemplo se
excluyen ensayos no concluyentes que frecuentemente pre-
puede observar que no han sido incluidos en el metaanálisis
sentan resultados de escasa magnitud, por lo que no suelen
ensayos con menor muestra y con diferencias de signo posi-
ser publicados, al menos en revistas importantes de lengua
tivo, seguramente no concluyentes debido a lo escaso de
inglesa. Las políticas editoriales de las revistas científicas y
su muestra. Esto hace que el resultado final se vea atraído
las políticas de las empresas farmacéuticas favorecen este
sesgadamente hacia unas diferencias de signo negativo.
fenómeno, así como la búsqueda de artículos en sólo una
La interpretación gráfica del sesgo de publicación es
o pocas bases de datos bibliográficas. Todo ello influye en
una buena manera de analizar su existencia. Todo lo que
que este tipo de ensayos tengan una menor probabilidad de
46
Revista de Senología y Patología Mamaria 34 (2021) 44---51
1
A
ERROR ESTÁNDAR
GRANDES
2 ESTUDIOS
Menor muestra
3
PEQUEÑOS
4 ESTUDIOS
5
-15 -11 -7 -3 1 5 9
1
B
ERROR ESTÁNDAR
GRANDES
2 ESTUDIOS
Menor muestra
PEQUEÑOS
4 ESTUDIOS
5
-15 -11 -7 -3 1 5 9
RESULTADO DEL METAANÁLISIS (DIFERENCIAS)
no se vea como en la figura 3A indica sesgo de publicación puede ocurrir que en algunas ocasiones sea complicado
en mayor o menor medida. Junto con la gráfica Funnel se valorar la presencia y el alcance de este importante sesgo.
suele reportar alguna prueba de hipótesis orientada a este
sesgo, con un valor p que indicará sesgo de publicación
cuando sea estadísticamente significativo12 . La incerti- La heterogeneidad
dumbre aparece cuando ese valor p no es significativo.
Entonces, no se puede confirmar este sesgo, pero tampoco Se refiere al grado en que los resultados individuales de
se confirma que esté descartado. Es en este caso cuando los ensayos incluidos en el metaanálisis difieren entre sí.
más útil resulta una interpretación visual de la gráfica Cuando es elevada, tal variabilidad lo que produce de nuevo
Funnel. Sin embargo, cuando en un metaanálisis se hayan es la total inseguridad de que el resultado del metaanáli-
incluido pocos ensayos la gráfica Funnel mostrará pocos sis se corresponda bien con el verdadero valor existente en
puntos, lo cual dificultará su interpretación, y también la población, porque nos viene a decir que posiblemente
será más probable que las pruebas de hipótesis ofrezcan en el metaanálisis hemos incluido realmente diferentes
valores p no significativos, de modo que podemos volver a cuestiones de investigación: «estamos mezclando peras con
quedarnos en la incertidumbre de saber si este sesgo está manzanas». Se trata pues de un aspecto fundamental al
realmente presente. En estos casos más dudosos pueden valorar la validez del resultado del metaanálisis.
ser de ayuda los llamados métodos «Trim and Fill», y los Actualmente, su existencia se suele escrutar mediante la
Índices de tolerancia13,14 que indican el hipotético número obtención de un estadístico llamado I-cuadrado (I2 ) que se
de ensayos pequeños o no concluyentes que sería necesario reporta en forma de porcentaje, de 0 a 100%, y se acompaña
introducir en el metaanálisis para que hubiese un cambio de un valor p. Valores progresivamente superiores a un tercio
notable en el valor del resultado final y en su significación (33%) ya nos van indicando un grado progresivo de hetero-
estadística. Lógicamente, si ese número es pequeño nos geneidad a considerar, que se verá confirmada si supera el
estará señalando un posible sesgo de publicación. Así pues, 50% y si además su valor p es estadísticamente significativo.
47
V.J. Escrig Sos, J.A. Llueca Abella, L. Granel Villach et al.
-20 -10 0 10
Mejor Tratamiento A Mejor Tratamiento B
48
Revista de Senología y Patología Mamaria 34 (2021) 44---51
También se ve favorecida cuando se incluyen ensayos no final aplicando ambos tipos de pruebas. En el caso de que
aleatorizados cuyos resultados pueden estar lastrados ambos resultados difieran mucho en su magnitud se debería
fácilmente por diversos sesgos. tener en cuenta el obtenido mediante las pruebas de efec-
En ocasiones, cuando la gravedad de la enfermedad no tos aleatorios, aunque la diferencia final esté sujeta a mayor
es la misma en todos los ensayos incluidos, conviene hacer fluctuación poblacional. Este proceder, en el fondo, es como
un metaanálisis estratificado para cada nivel de gravedad una especie de barrera de defensa ante la obtención de un
del proceso estudiado, con el fin de eliminar el alto grado resultado heterogéneo.
de heterogeneidad que proporcionaría en este escenario un Una mención especial merece los metaanálisis relaciona-
metaanálisis global de todos los ensayos. Para la estratifi- dos con resultados quirúrgicos. En los metaanálisis de cirugía
cación como herramienta de control de la heterogeneidad la heterogeneidad suele estar muy presente, quizás porque
también se suele usar el tamaño de los ensayos, su nivel de los ensayos que se incluyen son propensos a esconder ses-
calidad, como, por ejemplo, ensayos aleatorizados frente a gos metodológicos de diversa naturaleza. Entre otras cosas,
no aleatorizados, su año de publicación, etc., es decir, aque- en ellos es difícil el cegamiento y muchas de sus varia-
llos factores metodológicos que puedan no ser homogéneos bles no tienen una escala de medida objetiva y uniforme.
en los ensayos incluidos. También puede faltar el fundamental principio de incerti-
El análisis de sensibilidad, no siempre incluido en los dumbre, que es una especie de conflicto de intereses, es
artículos, es otra herramienta de control de la heterogenei- decir, el cirujano tiene de entrada preferencia por favorecer
dad. Consiste en realizar sucesivos metaanálisis excluyendo determinados tipos de técnicas, como actualmente podrían
cada vez uno de los ensayos seleccionados. Si alguno de ser las relacionadas con la laparoscopia. Esto influye tanto
los resultados desentona fuertemente con el resto se habrá en el desarrollo del estudio como en el sentido y magni-
identificado el ensayo que aporta un mayor grado de hete- tud del resultado. Además, los ensayos clínicos en cirugía
rogeneidad, ensayo que tal vez debería ser excluido del son escasos, con frecuencia tienen una pequeña muestra
metaanálisis. Es un mecanismo similar en cierto modo al que hace que la aleatorización no controle perfectamente la
que utiliza el llamado metaanálisis acumulado que consiste existencia de factores de confusión, y no destacan excesiva-
en calcular el resultado añadiendo cada vez un ensayo de mente en cuanto a su calidad metodológica global15 . Por lo
los seleccionados, pero siguiendo un orden que suele ser tanto, y en general, los metaanálisis sobre temas quirúrgicos
el año de publicación, así hasta obtener el resultado final merecen siempre una valoración crítica muy exhaustiva.
cuando se hayan analizado todos los ensayos selecciona-
dos. La metarregresión es otra técnica estadística en la que
este control se ejerce mediante un ajuste por una o varias Pasos fundamentales en la interpretación de
variables concretas, no por ensayos. un metaanálisis
Una parte de la heterogeneidad puede controlarse a tra-
vés del propio análisis estadístico efectuado para combinar Son dos las grandes preguntas que nos debemos hacer
los resultados de los ensayos individuales que se resumen cuando nos enfrentamos a la lectura de un artículo de
en el resultado final del metaanálisis. En este sentido, hay metaanálisis: ¿tiene problemas metodológicos, es decir, su
dos grupos principales de pruebas estadísticas para el trata- validez interna es lo suficientemente correcta? ¿tiene para
miento estadístico de los datos: las Pruebas de Efectos Fijos, nosotros validez externa, es decir, lo que nos informa es
y las Pruebas de Efectos Aleatorios, cada cual con distintas aplicable a nuestros pacientes?
variantes a elegir. Las pruebas de efectos fijos calculan el Para la primera pregunta, ante todo, hemos de valorar
resultado final del metaanálisis promediando el resultado si la información que aporta el metaanálisis está correcta-
individual de cada ensayo con ponderaciones únicamente mente expuesta y estructurada. Para ello, es bueno disponer
basadas en su tamaño de muestra y en la variabilidad de su de las normas de publicación existentes7 y comprobar que se
propio resultado. Las pruebas de efectos aleatorios calcu- cumplen todas, es decir, que se aporta toda la información
lan el resultado final ponderando además por la variabilidad necesaria para su valoración. Hay que desconfiar de la cali-
existente entre los resultados de todos los ensayos incluidos. dad metodológica del metaanálisis si esto no se da. Después,
Estas pruebas o modelos pueden proporcionar un resultado hemos de fijarnos en la tabla de las características de los
final no coincidente si existe cierta heterogeneidad, pero estudios incluidos y de su calidad, para que no surja un posi-
siempre será más preciso (intervalo de confianza menos ble sesgo de selección de ensayos que sólo favorecen a uno
amplio) en las pruebas de efectos fijos que las pruebas de de los tratamientos confrontados. Para ello, es útil escrutar
efectos aleatorios. el diagrama de flujo de la búsqueda bibliográfica que nos
En principio, las pruebas de cálculo de efectos fijos se debe informar de los criterios de búsqueda y de los rasgos
deberían usar preferentemente cuando los ensayos inclui- y motivos de inclusión y exclusión de los estudios encon-
dos son metodológicamente muy similares, mientras que trados en la bibliografía. Por último, se debe comprobar la
las pruebas de efectos aleatorios tendrían una mayor posible presencia del sesgo de publicación según las direc-
indicación cuando los ensayos incluidos muestren las dis- trices antes expuestas que, de existir, podría haber alterado
crepancias metodológicas antes mencionadas. Los artículos la magnitud y la dirección del resultado.
sobre metaanálisis deben incluir alguna tabla que resuma las Si la primera pregunta tiene una respuesta favorable, ya
características de las variables de cada uno de los ensayos se puede pasar a valorar la siguiente, la que se refiere a
y la calidad metodológica de los mismos, como información la validez externa. Aquí, lo que suele mirarse ante todo
descriptiva y como justificación en la elección del método es la presencia de heterogeneidad. Es lo más importante,
de cálculo estadístico empleado. No obstante, en la práctica porque si existe y es elevada el resultado no será fiable en
lo que se suele hacer muchas veces es obtener el resultado absoluto para nosotros, ni para nadie. Puede ser útil leer
49
V.J. Escrig Sos, J.A. Llueca Abella, L. Granel Villach et al.
qué dicen los autores sobre ello en la discusión del artículo, para un auténtico metaanálisis de la supervivencia. Si no
si es que comentan las posibles causas o fuentes de dicha se han utilizado anteriormente, o actualmente con más
heterogeneidad y los puntos débiles del estudio. frecuencia, es por la dificultad del cálculo estadístico y por
Suponiendo que la heterogeneidad sea inexistente o asu- la ausencia de software que lo permitiera. Actualmente
miblemente baja, ya sólo queda ver el resultado, y aquí es este problema ya está resuelto.
más conveniente fijarse en su magnitud y en la importan- La condición necesaria para emplearlos es que los ensa-
cia clínica que conlleva que en su significación estadística. yos clínicos que se incluyan en el metaanálisis reporten el
La consideración de la importancia clínica de un resultado valor del Hazard Ratio y el valor de los dos límites de su
no es algo que nos resuelva la estadística sino que depende intervalo de confianza, o en última instancia, la informa-
de nuestro propio criterio y conocimiento sobre el problema ción necesaria para calcularlos desde otros datos16 . Desde
que se analiza, y se basa en valorar, dada la magnitud de la estas tres cifras se pueden obtener, mediante las oportunas
diferencia de efectos, sí estaría justificado (balance riesgo- transformaciones matemáticas16---18 , las restantes variables
beneficio) cambiar nuestra intervención habitual por la que necesarias a incluir en la tabla de datos de los programas
se ve favorecida en el metaanálisis, o persistir en el uso de estadísticos, como pueden ser Stata® o MedCalc® , entre
esta si es la que se ha utilizado. El mejor hallazgo sería otros muchos. Básicamente son tres las variables a manejar:
observar un resultado no heterogéneo que consideremos el propio Hazard Ratio (HR) tal cual o en escala logarít-
clínicamente importante y que sea estadísticamente signi- mica (logHR), el error estándar del Hazard Ratio en escala
ficativo, ofrecido por un metaanálisis metodológicamente logarítmica (EElogHR), o el llamado estadístico V que es la
correcto en líneas generales. varianza del Hazard Ratio en escala logarítmica. Los prin-
Un último paso, pero no menos importante, para la valo- cipales métodos de cálculo existentes utilizan LogHR con
ración de la validez externa del metaanálisis es retornar al EElogHR, o bien HR con V. El resultado final (diamante) mos-
escrutinio de los rasgos de los pacientes incluidos y de la trará el HR combinado con su intervalo de confianza.
enfermedad. Ningún resultado nos servirá si los rasgos de
nuestros pacientes difieren de los que se muestran en el
metaanálisis, ni si el grado habitual de la enfermedad que Metaanálisis de pruebas diagnósticas
tratamos es distinta, ni tampoco por añadidura si la aten-
ción médica que en general aplicamos a nuestros casos y sus Es otra variedad de metaanálisis de datos agregados. La
resultados pudieran ser distintos al contexto del metaanáli- introducción de datos de los estudios individuales deriva
sis. Si se dan estas discrepancias nunca podremos reproducir de una tabla 2x2 que confronta una prueba diagnóstica
el resultado del metaanálisis en nuestro entorno, y lo más de referencia (Gold Standard) con la prueba a combinar
probable es que nuestro resultado sea peor. Esta debilidad y resumir en el metaanálisis. Hay que disponer pues de
en la validez externa de un metaanálisis es extensible a los cuatro variables imprescindibles: el número de verdaderos
ensayos clínicos, y no es infrecuente que se pase por alto y falsos positivos y negativos reportados en cada estudio.
cuando se leen artículos de este tipo. El resultado final mostrará la Sensibilidad, Especificidad, y
En definitiva y como ya se ha mencionado antes, un Cocientes de probabilidad combinados de la prueba diag-
metaanálisis no equivale sin más discusión a «controversia nóstica a estudio, así como sus índices de rendimiento
resuelta» por más que ocupe el primer puesto en la escala diagnóstico general, Odds Ratio y Área bajo la curva ROC.
de la evidencia, y siempre es necesario aplicarle una mirada En líneas generales, la valoración de la validez de este
crítica, al menos en los aspectos fundamentales que hemos tipo de metaanálisis es similar a lo expuesto antes, aun-
tratado. que tiene algunas características particulares, como es la
evaluación del efecto del distinto umbral de positividad
utilizado en la prueba diagnóstica19 analizada, que reper-
Metaanálisis de supervivencia cute en la heterogeneidad del metaanálisis. Actualmente
se utilizan complejas rutinas de cálculo multivariantes que
Cuando se analizan las diferencias en supervivencia de dos todavía están en discusión y en evolución. No obstante, para
intervenciones se ha recurrido tradicionalmente a metaa- los iniciados puede ser ejecutado con relativa facilidad en
nálisis basados en Odds Ratios. Se debe tener en cuenta distintos paquetes de software estadístico19,20 .
que esta medida relativa del riesgo sólo cuenta números
de eventos (muertes, recidivas) pero no tiene en conside-
ración el mayor o menor tiempo que tardan en producirse Conflicto de intereses
ni la influencia de los casos censurados, aquellos casos per-
didos en el seguimiento y los que no han sufrido el evento Los autores declaran no tener ningún conflicto de intereses.
final. No tienen la misma supervivencia tres eventos apa-
recidos al año de seguimiento que otros tres eventos que
acontecen a los cinco años. Por lo tanto, lo que hace este Bibliografía
tipo de metaanálisis es sólo una aproximación a la verdadera
supervivencia. 1. Glass GV. Primary Secondary, and Meta-Analysis of Research.
Los Hazard Ratios constituyen la medida relativa del IJERI. 1976;5:3---8.
riesgo de sufrir un evento que sí tienen en cuenta los tres 2. Glass GV. Meta-analysis ad middle age: a personal history. Res
aspectos de la supervivencia: número de eventos, tiempo e Synth Methods. 2014, http://dx.doi.org/10.1002/jrsm.1133.
influencia de los casos censurados. Por lo tanto, un Hazard 3. Egger M, Smith GD, Altman DG. Systematic reviews in health
Ratio es la medida relativa del riesgo que se debería utilizar care. Meta-analysis in context. Ed London: BMJ Books; 2001.
50
Revista de Senología y Patología Mamaria 34 (2021) 44---51
4. Walker E, Hernandez AV, Kattan MW. Meta-analysis: Its 13. Gleser LJ, Olkin I. Models for estimating the number of unpu-
strengths and limitations. Cleveland Clinic Journal of Medicine. blished studies. Stat Med. 1996;15:2493---507.
2008;75:431---9. 14. Rosenthal R. The «file drawer problem» and tolerance for null
5. Urrutia G, Tort S, Bonfill X. Metaanálisis (QUOROM). Med Clin results. Psychol Bul. 1979;86:638---41.
(Barc). 2005;125:32---7. 15. Dixon E, Hameed M, Sutherland F, Cook DJ, Doig C. Evalua-
6. Moher D, Cook DJ, Eastwood S, Olkin I, Rennie D, Stroup ting Meta-analyses in the General Surgical Literature. A Critical
DF. Improving the quality of reports of meta-analyses of ran- Appraisal. Ann Surg. 2005;241:450---9.
domized controlled trials: the QUOROM statement. Lancet. 16. Parmar MKB, Torri V, Stewart L. Extracting summary statistics
1999;354:1896---900. to perform meta-analysis of the published literature for survival
7. Urrutia G, Bonfill X. Declaración PRISMA: una propuesta para endpoints. Statis Med. 1998;17:2815---34.
mejorar la publicación de revisiones sistemáticas y metaanáli- 17. Tierney JF, Stewart L, Ghersi D, Burdett S, Sydes MR. Practi-
sis. Med Clin (Barc). 2010;135:507---11. cal methods for incorporating summary time-to-event data into
8. Thornton A, Lee P. Publication bias in meta-analysis: its causes meta-analysis. Trials. 2007;8:16---22.
and consequences. J Clin Epidemiol. 2000;53:207---16. 18. Primo J, Escrig J. MetaSurv: calculadora Excel
9. Higgins JPT, Thompson SG. Quantifying heterogeneity in a meta- para metaanálisis de supervivencia. 2008.
analysis. Statis Med. 2002;21:1539---58. http://www.redcaspe.org/herramientas/calculadoras.
10. Egger M, Smith GD, Schneider M, Minder C. Bias in meta-analysis [Consultada 12.4.2020].
detected by a simple graphical test. BMJ. 1997;315:629---34. 19. Zamora J, Plana MN, Abraira V. Estudios de evaluación de
11. Sterne JAC, Egger M. Funnel plots for detecting bias in la validez de una prueba diagnóstica: revisión sistemática y
meta-analysis: Guidelines on choice of axis. J Clin Epidemiol. metaanálisis. Nefrología. 2009;29:15---20.
2001;54:1046---55. 20. Wang J, Leeflang M. Recommended software/packages for
12. Sterne JAC, Gavaghan D, Egger M. Publication and related bias meta-analysis of diagnostic accuracy. J Lab Precis Med.
in meta-analysis: Power of statistical test and prevalence in the 2019;4:22---7, http://dx.doi.org/10.21037/jlpm.06.01.
literature. J Clin Epidemiol. 2000;53:1119---29.
51