TEMA REVISIONES SISTEMÁTICAS Y METAANÁLISIS

21
1. REVISIONES SISTEMÁTICAS
1.1. CONCEPTOS GENERALES
La producción científica tiene lugar a gran velocidad y los resultados no siempre son consistentes. A este
hecho se une la capacidad limitada que tiene el profesional de acceder a todo lo que se publica, seleccionar
aquello que sea metodológicamente correcto y obtener conclusiones. De ahí la necesidad e importancia de las
revisiones de la bibliografía científica. Se diferencian dos tipos de revisiones: clásicas o narrativas y
sistemáticas. Las primeras no siguen un protocolo sistemático de búsqueda, extracción y síntesis de
información de los estudios previos, por lo que sus conclusiones tienen escasa validez. La forma de obviar
estos inconvenientes es la utilización de una metodología que permita localizar todos los trabajos publicados
sobre un tema, su evaluación crítica para identificar las fortalezas y debilidades de cada estudio y, cuando sea
posible, la combinación estadística de sus resultados. Esta es la base de las llamadas revisiones sistemáticas:
evaluaciones rigurosas de temas clínicos concretos, basadas en la aplicación de una metodología explícita,
definida desde el principio, que permita la identificación de todos los trabajos originales que se han realizado
sobre un problema concreto, así como la evaluación, extracción y síntesis de sus resultados, de tal forma que si
otros autores siguiesen la misma metodología, las conclusiones alcanzadas deberían ser idénticas. En
ocasiones, los resultados de los diferentes estudios pueden combinarse matemáticamente, hablándose entonces
de metaanálisis.
Una revisión sistemática es la mejor forma de resolver el problema de la falta de consistencia entre los
resultados de los diferentes estudios que han abordado un determinado problema. Inicialmente surgieron para
resumir los resultados de ensayos clínicos controlados y aleatorizados, para ir después extendiéndose a
estudios observacionales para identificar y cuantificar el efecto de factores de riesgo o protectores, así como
para estudios de validez de pruebas diagnósticas. Aparte de aportar un resumen de los resultados de estudios
previos en relación a cualquiera de los aspectos anteriores, las revisiones sistemáticas son útiles para
identificar las causas de la falta de consistencia entre unos estudios y otros (tipo de estudio, año de realización,
tipo de población, calidad metodológica, etc.).
Una vez que se ha decidido realizar una Revisión Sistemática, es altamente aconsejable registrar el protocolo
de la misma en el registro PROSPERO (International Prospective Register of Systematic Reviews).

1.2. ETAPAS DE UNA REVISIÓN SISTEMÁTICA

1.2.1. DEFINICIÓN DEL PROBLEMA
El primer paso es formular una buena pregunta de investigación, concreta y clara, huyendo del abordaje de
temas amplios y ambiguos. Una buena pregunta de investigación debería incluir cinco elementos, cuyas
iniciales en inglés originan el acrónimo PICOS, que debe identificarse en toda pregunta de investigación bien
formulada:
P roblem Se refiere a la patología de estudio, características de los pacientes, contexto de
aplicación.
I intervention Intervención de interés (tratamiento, prueba diagnóstica o medida preventiva
sometida a evaluación).
C omparison Alternativa a la intervención de interés, frente a la que ésta se va a comparar.
O utcome Desenlace de interés (mortalidad, incidencia de enfermedad, curación, coste, etc.
S tudy design Tipo de estudio empleado para investigar el problema.
1.2.2. IDENTIFICACIÓN DE LOS ESTUDIOS REALIZADOS SOBRE EL TEMA.
Una revisión sistemática bien hecha debe partir de la identificación de todos los estudios realizados que den
respuesta a la pregunta de investigación, tanto publicados como no publicados. Para alcanzar este paso, es
necesario definir dos elementos:
a) ¿Dónde buscar?: Ningún registro o sistema de localización de estudios contiene todos los trabajos
realizados sobre un tema, por lo que es necesario combinar varios métodos de búsqueda. Entre ellos destacan
los siguientes:
─ Bases de datos electrónicas: Es el método más importante. En el ámbito de las ciencias de la salud,
destacan las bases de datos Pubmed, Scopus, Web of Science, Cochrane Library, Biosis, Google Scholar,
etc. Muchas emplean sistemas de indexación de términos que facilitan la búsqueda, como, por ejemplo, el
MeSH (Medical Subject Headings). Es importante tener en cuenta las ventajas e inconvenientes de cada
una. Por ejemplo, Pubmed tiende a decantarse por revistas de lengua inglesa (sesgo hacia publicaciones
anglosajonas).
─ Revisiones y libros de texto recientes. Su principal problema es la rapidez con la que quedan obsoletos.
─ La revisión manual de las referencias bibliográficas de los estudios ya localizados.
─ Especialistas en el tema en cuestión, quienes nos ayudarán a identificar los trabajos más importantes, así
como aquellos que pueden haberse realizado pero sin llegar a publicarse.
─ Registros de ensayos clínicos con objeto de identificar trabajos que se pueden haber empezado pero que
no han llegado a publicarse, bien porque no han finalizado o bien porque sus resultados no son los
esperados (sesgo de publicación).

El sesgo de publicación es la tendencia a que los estudios publicados sean sistemáticamente diferentes del
total de estudios realizados sobre un tema. Algunos de estos estudios nunca se publican y sistemáticamente
son diferentes del resto. Por ejemplo, es más probable publicar un estudio si sus resultados son
estadísticamente significativos que si no lo son. El origen del sesgo de publicación puede ser diverso: desde
que los autores decidan abandonar el estudio porque sus resultados van a ser negativos y, por tanto, no se
envían a publicar, hasta que los editores de las revistas no los encuentren interesantes y decidan no
publicarlos. A ello hay que sumar los intereses de la industria farmacéutica. Gran parte de las subvenciones
para la investigación en el sector biomédico proceden de empresas farmacéuticas o la industria en general. Es
habitual que los resultados de los estudios así financiados favorezcan más el producto de la compañía que
subvenciona la investigación.
Una forma la valorar la posible existencia de un sesgo de publicación es el diagrama en embudo o funnel plot.
En él, cada estudio viene representado por un punto en un diagrama de coordenadas, en cuyo eje horizontal se
representa el valor del parámetro estimado en el estudio, mientras que en el eje vertical se coloca, en orden
inverso, el error estándar del parámetro estimado en cada estudio. Si no hay sesgo, el conjunto de puntos
adquiere la forma de un triángulo o embudo, cuyo eje central pasa por el valor de la estimación resumen. Los
estudios de menor tamaño (y, por tanto, con mayor error estándar, ubicados en la base del triángulo), arrojan
estimaciones más dispersas, pero simétricas con respecto a dicho eje. A medida que el tamaño aumenta
(menor error estándar), las estimaciones de los distintos estudios son más parecidas, y los puntos, ubicados
cada vez más arriba en el diagrama, se aproximan al eje, también de forma simétrica. Cuando hay un sesgo de
publicación, los estudios de mayor tamaño se suelen publicar todos, pero a medida que el tamaño es menor,
solo se publican los que detectan asociaciones de un cierto sentido; eso hace que la base del embudo sea
asimétrica (faltan estudios, y los resultados de los faltantes son diferentes de los que se han publicado).

b) ¿Qué buscar? La definición de una buena estrategia PICOS debe conducir al establecimiento de unos
criterios de selección de estudios (de inclusión y exclusión), que deben aplicarse a cada uno de los cinco
elementos del acrónimo. El primer paso será utilizar estos criterios de selección para definir los términos
generales de búsqueda (palabras clave), a utilizar en la búsqueda de los trabajos en las bases de datos
electrónicas. La combinación adecuada de estos términos de búsqueda en una ecuación de búsqueda (por
ejemplo: “selecciona todos los artículos que contengan, en su título o en el resumen, el término “A” y el
término “B” o el término “C”, pero que no contengan el término D”), permitirá identificar, en cada una de las
bases de datos seleccionadas, un conjunto amplio de artículos dentro de los cuales esperamos que se
encuentren, a priori, todos los que dan respuesta a nuestra pregunta de investigación. La ecuación de búsqueda
empleada en cada base de datos debe especificarse, para que cualquier lector de nuestra revisión pueda
reproducir (y en su caso, criticar) nuestra estrategia de búsqueda. Por lo demás, esta búsqueda general de
artículos podrá acotarse más o menos, en función de que hayamos definido otros criterios de selección (idioma
de los trabajos, tipo de estudios, período de publicación, etc.).

Una vez que, combinando todas las fuentes de información mencionadas en el apartado anterior, tenemos la
lista de todos los estudios candidatos a responder a nuestra pregunta de investigación (y tras eliminar de esa
lista los estudios duplicados, identificados en dos o más fuentes de búsqueda), tenemos que hacer una
selección para quedarnos con aquellos estudios que verdaderamente lo pueden hacer, porque cumplen con los
criterios de selección pre-especificados. Para eliminar los estudios que no cumplen dichos criterios se suele
proceder en dos fases:
─ La primera permite descartar trabajos simplemente leyendo el título y el resumen del trabajo.
─ La segunda requiere leer el texto completo de los trabajos que han superado la primera criba.
El resultado final es el conjunto de estudios sobre los que finalmente se va a hacer la revisión sistemática y, si
es posible, el metaanálisis.
Este proceso de búsqueda y selección de trabajos debe ser realizado de forma independiente por al menos dos
investigadores. Cuando se produzcan discrepancias entre ellos será necesario recurrir a un tercero.
Tal y como recomienda la guía PRISMA (ver al final del tema), es recomendable que este proceso de
búsqueda y selección de artículos se represente de forma gráfica en el llamado “Diagrama de Flujo”.

1.2.3. OBTENCIÓN DE LA INFORMACIÓN DE CADA ESTUDIO Y PRESENTACIÓN DE

RESULTADOS
La lectura del texto completo de los trabajos seleccionados en el paso anterior, realizada de forma
independiente por al menos dos investigadores, permitirá obtener los siguientes resultados:
a) Descripción de las características de cada estudio, en función de una serie de variables previamente
especificadas: autores, institución dónde se ha hecho el trabajo, revista en la que se ha publicado, año de
realización, tipo de financiación, tipo de diseño, población de estudio, tamaño de muestra, resultados
principales, entre otras. Para obtener esta información es habitual diseñar previamente plantillas
estandarizadas de recogida de datos. Es frecuente presentar esta descripción de forma tabulada. Como se
verá en la sección dedicada al metaanálisis, muchas de estas características pueden ser fuentes de
heterogeneidad entre estudios.
b) Valoración de la calidad de los estudios: Es importante valorar la validez de los estudios seleccionados.
Para ello suelen emplearse instrumentos de evaluación estandarizados (por ejemplo, la evaluación del
riesgo de sesgo de la Colaboración Cochrane para los ensayos clínicos, o la escala Newcastle-Ottawa, para
los estudios observacionales).
c) Descripción de los resultados de los estudios. Cuando están expresados con el mismo parámetro en
todos los estudios (por ejemplo, si todos ellos expresan sus resultados como RR o como diferencia de
medias), los resultados de cada estudio suelen presentarse de forma conjunta en el llamado diagrama de
forest o en bosque, que contiene columnas con toda o parte de la siguiente información de cada estudio
(ordenados en filas, normalmente por año de publicación):
─ Primer autor y año de publicación.
─ Datos brutos (número de sujetos y desenlaces en cada grupo de comparación).
─ La magnitud del efecto (estimación puntual e intervalo de confianza) se representa numéricamente
y gráficamente (como un cuadrado y una línea horizontal proporcional a la anchura del intervalo,
perpendicular a un eje vertical que representa el valor nulo del parámetro empleado).
 ─ El peso asignado a cada estudio (cuando se hace un metaanálisis posterior; ver más adelante)
también se suele presentar numéricamente (en una columna que expresa la contribución
porcentual de cada estudio a la estimación promedio) y gráficamente (la superficie del cuadrado
que representa la estimación puntual de cada estudio es proporcional a dicho peso).
d) Identificación de los factores asociados a la heterogeneidad: Una de las utilidades del diagrama de
forest es que permite identificar, de forma visual, la existencia de discrepancias (heterogeneidad) en los
resultados aportados por los distintos estudios. Una vez identificadas, es necesario buscar los posibles
orígenes de estas inconsistencias, que pueden estar relacionadas con el tipo de estudio, su calidad, o
cualquier otra variable caracterizada en el apartado a).

1.2.4. COMBINACIÓN DE RESULTADOS

Cuando es posible, el último paso de una revisión sistemática es la combinación de los resultados de los
distintos estudios en un único valor resumen. A este proceso se le denomina metaanálisis, y se describe en el
siguiente apartado.

2. METAANÁLISIS
El término metaanálisis se utiliza para referirnos a la combinación mediante métodos estadísticos de los
resultados de los diferentes estudios incluidos en una revisión sistemática. Comprende un conjunto de técnicas
estadísticas que sirven para sintetizar la información contenida en estudios similares. La unidad de estudio es
cada uno de los diferentes estudios que se han realizado sobre un determinado tema. La combinación de los
resultados de los diferentes estudios permite la obtención de una estimación más precisa de la magnitud del
efecto. En todo metaanálisis se deben contemplar tres procedimientos de análisis:
2.1. Identificación y cuantificación de la Heterogeneidad. La existencia de diferencias entre los resultados
obtenidos entre los distintos estudios revisados puede depender de dos grandes grupos de factores:
a) Los dependientes del fenómeno estudiado: diferencias entre estudios con respecto a las poblaciones, las
intervenciones, las comparaciones o los desenlaces, así como a otros factores (confusores o modificadores de
efecto) que puedan influir en los desenlaces.
b) Los dependientes del diseño y análisis de cada estudio: el tipo de estudio, su calidad, las fuentes de
información, la definición de las variables del estudio, las estrategias de análisis empleadas, etc.
La valoración y cuantificación de la heterogeneidad entre estudios se conoce como Análisis de
Heterogeneidad. Este análisis pretende, por una parte, determinar si los resultados de los distintos estudios
son diferentes entre sí más allá de lo esperable por azar. Para ello se emplean test estadísticos de
homogeneidad, siendo el más utilizado la Q de Cochran, aunque su potencia para detectar heterogeneidad es
baja, especialmente cuando se trabaja con pocos estudios (por ello se suele aumentar su umbral de
significación estadística a p<0,10). Por otra parte, el análisis pretende cuantificar la magnitud de la
heterogeneidad, para lo que se suele utilizar el índice I2, que indica el porcentaje de varianza entre estudios
que no es debido al azar, sino a la heterogeneidad entre estudios. Un valor superior al 25% indica la existencia
de heterogeneidad, que se considera muy elevada si supera el 50%.
La identificación de heterogeneidad no impide la realización del metaanálisis, pero si obliga a tratar de
identificar sus causas y a valorar con cautela el resultado de la estimación promedio. Para lo primero se suelen
realizar metaanálisis estratificados por subgrupos de estudios, definidos en función de características que
puedan ser, a priori, responsables de esa heterogeneidad.
Por lo demás, aunque el análisis de heterogeneidad no identifique la existencia de ésta, puede no tener sentido
realizar un metaanálisis cuando se sabe a priori que los estudios revisados son intrínsecamente diferentes con
respecto a elementos clave. Por ejemplo, en una revisión sistemática sobre el tipo de tratamiento antibiótico de
la otitis media, parece poco lógico combinar los resultados de estudios que utilizan antibióticos distintos, por
muy parecidos que parezcan a priori y así lo determine el análisis de heterogeneidad.
2.2. Combinación de los resultados de los estudios revisados: Lo habitual es combinar las estimaciones
obtenidas en cada uno de los estudios incluidos en el metaanálisis. Para ello se utilizan dos tipos de modelos
matemáticos: Modelo de Efectos Fijos y el Modelo de Efectos Aleatorios:
o El Modelo de Efectos Fijos asume "a priori" que toda la variabilidad existente entre las estimaciones
obtenidas de los estudios que se van a combinar es aleatoria, ya que todas ellas estiman el mismo
parámetro poblacional. Es decir, el efecto verdadero es el mismo en todos los estudios.

o El Modelo de Efectos Aleatorios contempla "a priori" la posibilidad de que exista heterogeneidad de
efecto y que, por tanto, la verdadera magnitud del parámetro estimado difiera en cada una de las
poblaciones sobre las que se ha realizado cada estudio. La varianza obtenida con un modelo de efectos
aleatorios es mayor que con uno de efectos fijos, lo que, a su vez, produce intervalos de confianza más
amplios (y más realistas). Esto último, unido a la consideración de la heterogeneidad, hace que los
modelos de efectos aleatorios sean los más utilizados. Los modelos de efectos fijos solo deben emplearse
cuando la heterogeneidad es pequeña.

Independientemente del tipo de modelo utilizado, lo que se hace es ponderar los diferentes estudios incluidos
en el metaanálisis. No se le puede dar la misma importancia a un estudio con 50 pacientes que a otro con
10.000. Hay diferentes métodos para ponderar el peso de cada uno de los estudios. En general, lo habitual es
ponderar cada estudio por el inverso de la varianza del estimador. En comparación con los modelos de efectos
fijos, los de efectos aleatorios tienden a aumentar el peso de los estudios más pequeños (y, por tanto, menos
precisos), lo que contribuye a aumentar la varianza del estimador resumen.

Cuando se calcula la magnitud global del efecto, ésta se suele representar al pie del diagrama de forest como
un diamante, cuya anchura refleja la amplitud del intervalo de confianza. En el diagrama también se incluye
información sobre la valoración estadística de la heterogeneidad de los estudios y el tipo de modelo empleado
para obtener la estimación resumen.

Otra posibilidad de combinar los estudios, poco frecuente aunque preferible a la anterior, es combinar
directamente los sujetos incluidos en cada uno de los estudios. Pocos metaanálisis se realizan así, por la
dificultad para obtener los datos individuales de cada estudio, aunque su realización permite buscar efectos en
subgrupos importantes clínicamente, como los pacientes más graves o con otras enfermedades.
2.3. Análisis de sensibilidad. Trata de valorar la robustez o estabilidad de la estimación resumen. Una
alternativa es repetir el análisis tantas veces como estudios seleccionados, omitiendo en cada vez uno de los
estudios. Con ello se valora la influencia de cada estudio concreto sobre la estimación resumen. Si los
resultados de estos sucesivos metaanálisis son consistentes entre sí, la estimación resumen se considera
robusta. Otra alternativa se basa en ir excluyendo del análisis subgrupos de estudios dependiendo de su
calidad, su no publicación o sus criterios de selección.

2.4. TÉCNICAS ESPECIALES EN METAANÁLISIS:

2.4.1. Metaanálisis acumulado: cada vez que se dispone de un nuevo estudio sobre el tema en cuestión se
realiza un metaanálisis. Los resultados de estos sucesivos metaanálisis se van ubicando en orden descendente
en un diagrama de forest. En él se observará cómo la precisión del estimador resumen va aumentando y si
existe alguna tendencia temporal en la evolución de los estimadores puntuales.

2.4.2. Metaanálisis en red. Es un tipo particular de metaanálisis que combina los resultados de estudios
individuales realizados con objetivos diferentes, para obtener estimaciones indirectas de magnitud de efecto.
Por ejemplo, existen muchos ensayos clínicos que han valorado la eficacia de diversos fármacos de la familia
de los triptanes para el tratamiento de la migraña, en comparación con un placebo, pero muy pocos que
comparen estos fármacos entre sí. El metaanálisis en red permite combinar los múltiples ensayos realizados
para cada triptán por separado para ofrecer una estimación indirecta de la eficacia relativa de cada triptán en
comparación con el resto.

Para publicar una revisión sistemática y un metaanálisis, se recomienda adecuar la redacción del estudio a la
guía PRISMA (Preferred Reporting Items for Systematic reviews and Meta-Analyses). Recientemente se ha
publicado la guía PRISMA-DTA, para las revisiones sistemáticas de estudios de validez de pruebas
diagnósticas.