Está en la página 1de 9

International Journal of Clinical and Health Psychology (2013) 13, 4957

Publicacin cuatrimestral / Four-monthly pub licat ion ISSN 1697-2600 Volu men 13, N mero 1 Enero - Marzo 2013 Volume 13, Number 1 January - March 2013

International Journal of Clinical and Health Psychology


www.elsevier.es/ijchp

International Journal of Clinical and Health Psychology

Director / Editor:
Juan Carlos Sierra

Directores Asociados / Associate Editors:


Stephen N. Haynes Michael W. Eysenck Gualberto Buela-Casal

ARTCULO TERICO

Standards on how to develop and report systematic reviews in Psychology and Health
Lilisbeth Perestelo-Prez
Servicio de Evaluacin, Servicio Canario de la Salud Red de Investigacin en Servicios de Salud en Enfermedades Crnicas (REDISSEC), Espaa Recibido el 29 de septiembre de 2012; aceptado el 19 de octubre de 2012

PALABRAS CLAVE Normas; Revisiones sistemticas; Psicologa; Ciencias de la Salud; Estudio terico

Resumen Las revisiones sistemticas de la evidencia cientfica son estudios secundarios que sintetizan la mejor evidencia cientfica disponible mediante mtodos explcitos y rigurosos para identificar, seleccionar, evaluar, analizar y sintetizar los estudios empricos que permitirn responder a cuestiones especficas. El objetivo de este estudio terico es establecer una serie de normas y recomendaciones para la planificacin, desarrollo y redaccin de una revisin sistemtica en el mbito de las ciencias de la salud. La exposicin del artculo se introduce situando las revisiones sistemticas en el contexto de la prctica basada en las pruebas cientficas, su auge, justificacin, aplicabilidad y diferencias con las revisiones tradicionales de la literatura. En segundo lugar se expone la metodologa para su desarrollo, estableciendo directrices para su preparacin, elaboracin y redaccin; describiendo las etapas del proceso y elaboracin de un protocolo, con nfasis en los pasos a seguir para elaborar una revisin sistemtica. Finalmente se exponen algunas consideraciones adicionales para su redaccin y publicacin en una revista cientfica. Esta gua est dirigida tanto a los autores como revisores de una revisin sistemtica de la evidencia cientfica.
2012 Asociacin Espaola de Psicologa Conductual. Publicado por Elsevier Espaa, S.L. Todos los derechos reservados.

KEYWORDS Standards; Systematic reviews; Psychology; Health Sciences; Theoretical study

Abstract Systematic reviews are secondary studies that summarize the best scientific evidence available by means of explicit and rigorous methods to identify, select, appraise, analyse and summarise the empirical studies that enable responding to specific questions. The aim of this theoretical study is to set out a series of standards and recommendations for the planning, development and reporting of a systematic review in the field of the health sciences. The article describes the systematic reviews in the context of practice based on scientific evidence, their rise, justification, applicability and differences compared to traditional literature reviews. Secondly, the methodology is set out for their development and guidelines are established for

*Dirigir correspondencia a: Servicio de Evaluacin del Servicio Canario de la Salud, C/ Prez de Rozas, 5, 4 Planta, 38004 Santa Cruz de Tenerife, Espaa. E-mail: lperperr@gobiernodecanarias.org.
1697-2600/$ - see front matter 2012 Asociacin Espaola de Psicologa Conductual. Published by Elsevier Espaa, S.L. All rights reserved.

50

L. Perestelo-Prez
their preparation; the stages of the process and preparation of a protocol are described with emphasis on the steps to follow to prepare and report a systematic review. Finally, some additional considerations are set out for their preparation and publication in a scientific journal. This guide is aimed both at authors and reviewers of a systematic review.
2012 Asociacin Espaola de Psicologa Conductual. Published by Elsevier Espaa, S.L. All rights reserved.

Hoy en da, en cualquier mbito de las ciencias de la salud, se promueve la bsqueda de evidencias cientficas para fundamentar las decisiones clnicas, sanitarias y de investigacin. En este sentido, las revisiones sistemticas de la evidencia cientfica (RSEC) son un recurso y herramienta metodolgica de investigacin que nos ofrecen la posibilidad de estar informados y actualizados sin necesidad de invertir tanto tiempo y recursos, a partir de la integracin de forma eficiente de la informacin disponible (clnica, epidemiolgica, econmica, etc.), con la ventaja de ahorrar tiempo a los profesionales, facilitar la toma de decisiones y la prctica basada en las mejores pruebas o evidencia cientfica, de manera racional Una RSEC consiste en la sntesis de la mejor evidencia existente dirigida a responder cuestiones especficas mediante la utilizacin, explcita y rigurosa, de los mtodos utilizados para identificar, valorar crticamente y sintetizar los estudios ms relevantes. En una RSEC se aplican estrategias de investigacin cientfica que permitan minimizar los sesgos que estn presentes en las revisiones ms tradicionales de la literatura, en las que no se sigue un mtodo sistemtico y explcito para la bsqueda, seleccin y anlisis de la informacin (Fernndez-Ros y Buela-Casal, 2009; Higgins y Green, 2011). No obstante, hay que tener en cuenta que la estructura, extensin y calidad metodolgica de las RSEC es muy variable, por lo que se requiere de estndares y directrices que mejoren la calidad en su desarrollo y publicacin. El objetivo del presente trabajo terico (Montero y Len, 2007) es presentar brevemente una serie de normas y recomendaciones para el desarrollo y redaccin de una RSEC, con el fin de ofrecer a los revisores una gua estructurada para realizar y publicar una RSEC en una revista cientfica de ciencias de la salud como la International Journal of Clinical and Health Psychology, que reduzca al mnimo el esfuerzo requerido para su ejecucin y sirva de referencia para aquellos que las consultan y quieran evaluar su validez, aplicabilidad e implicaciones para la prctica y la investigacin.

Directrices para la elaboracin y redaccin de una RSEC


Del mismo modo que ocurre en cualquier preparacin previa de un estudio emprico, en el que su ejecucin debe estar precedida por una pregunta claramente definida, un problema adecuadamente formulado y unos antecedentes empricos que justifiquen su ejecucin, antes de embarcarnos en la engorrosa tarea de elaboracin y publicacin de una RSEC se recomienda explorar cul es el problema que se pretende abordar y cules son los objetivos especficos que guiarn el proceso, para ello es importante explorar si la metodologa cientfica de una RSEC es la estrategia ms apropiada para responder al problema en cuestin, si existen RSEC previas sobre el tema y si an persiste la incertidumbre en esta rea del conocimiento que justifiquen su ejecucin. Prcticamente en cualquier revista de Psicologa, Medicina, Enfermera es posible encontrar RSEC sobre algn tema en concreto que pueda ser de inters para la prctica basada en pruebas cientficas y algunas organizaciones y grupos de investigadores como la Colaboracin Cochrane, la Colaboracin Campbell y la Declaracin PRISMA han desarrollado manuales y directrices, ampliamente aceptados y adoptados por la comunidad cientfica, que guan la preparacin, elaboracin y publicacin de una RSEC (Botella y Gambara, 2006; Cook y West, 2012; Higgins y Green, 2011; Moher, Liberati, Tetzlaff, Altman y The PRISMA Group, 2009; Snchez-Meca, Boruch, Petrosino y Rosa-Alczar, 2002; Snchez-Meca y Botella, 2010; Urrtia y Bonfill, 2010).

Desarrollo del protocolo y etapas del proceso para el desarrollo de una RSEC
En esta seccin se describen algunas consideraciones metodolgicas y los pasos a seguir para elaborar una RSEC, teniendo en cuenta el formato y directrices utilizadas para la elaboracin y publicacin de las revisiones sistemticas de la Colaboracin Cochrane1, la Colaboracin Campbell2 y la declaracin PRISMA3. El desarrollo de una RSEC requiere de la elaboracin previa de un protocolo que gue todo el proceso de la revisin de forma explcita y reproducible. El protocolo de una revisin es similar al protocolo de cualquier estudio de investigacin en el que se describe y justifica el problema objeto de estudio, los objetivos y mtodos a seguir para la recoleccin y anlisis de los datos, as como la declaracin de conflicto de intereses y fuentes de financiacin (Tabla 1). Su desarrollo requiere la participacin y aprobacin final de todos los revisores que participarn en el proceso de revisin (ver ejemplos de protocolo en www.cochrane.com).

Metodologa para el revisin sistemtica

desarrollo

de

una

La elaboracin de una RSEC es un proceso complejo y de carcter iterativo que implica una serie de consideraciones y decisiones. Con el fin de minimizar los riesgos de sesgo de una RSEC, los mtodos han de ser definidos a priori, haciendo explcito y reproducible el proceso sistemtico que se ha de seguir para su desarrollo.

1. Cochrane Collaboration (www.cochrane.org; www.cochrane.es). 2. Campbell Collaboration(www.campbellcollaboration.org). 3. PRISMA Statement (www.prisma-statement.org).

Standards on how to develop and report systematic reviews in Psychology and Health

51

Tabla 1 Aspectos a desarrollar en un protocolo de una RSEC.

Ttulo Informacin del protocolo

Descripcin breve de la intervencin a evaluar, condicin de salud y poblacin

Informacin bsica de los autores, persona de contacto, fecha de realizacin, actualizaciones Descripcin del mbito de investigacin, la condicin de salud a evaluar, la intervencin Antecedentes y justificacin objeto de estudio, cules son sus principales efectos, reas de controversia, motivos que del tema de estudio justifican el desarrollo de la revisin Descripcin de los objetivos primarios y especficos, en base a la pregunta de Objetivos investigacin Definicin de los criterios de elegibilidad segn el tipo de participantes, la intervencin, Criterios de seleccin de los el comparador (si existe), las medidas de resultado, el diseo de investigacin, el estudios (inclusin y exclusin) contexto Estrategia de bsqueda y Proceso que describe el mtodo para desarrollar la estrategia de bsqueda (palabras fuentes de informacin para la claves, lmites de la bsqueda), fuentes de informacin que se consultarn (bases de datos electrnicas, bsquedas manuales, contacto con autores de relevancia) identificacin de los estudios Evaluacin del riesgo de sesgo Proceso sobre cmo se desarrollar la lectura crtica de los estudios, evaluacin del (o calidad metodolgica) riesgo de sesgo (o calidad metodolgica) al nivel de los estudios o de los resultados Proceso de recoleccin de los datos ms relevantes de cada estudio, a partir de plantillas Extraccin de datos previamente diseadas (caractersticas del estudio, calidad metodolgica, evaluacin del riesgo de sesgo, resultados) Anlisis y sntesis de la Proceso sobre cmo se sintetizar y analizar la informacin. Sntesis cualitativa o cuantitativa (meta-nlisis) evidencia cientfica Referencias Referencias relevantes y otras versiones publicadas de la revisin (si existen) Declaracin de conflictos de Notificacin de cualquier fuente de conflicto de inters (beneficio financiero, de prestigio o de promocin personal o profesional) inters Fuentes de financiacin Descripcin de las fuentes de financiacin externas e internas Es recomendable adherirse lo mximo posible al protocolo inicial, pero del mismo modo que ocurre en un estudio experimental, cuasi-experimental o ex post facto, en el que en ocasiones se tiene que modificar el protocolo de la investigacin (por problemas en el reclutamiento de los participantes, en la obtencin de datos o tasas de eventos inesperados), a veces tambin es necesario hacer modificaciones en el protocolo de una revisin. Sin embargo, dada la naturaleza retrospectiva de las revisiones, es muy importante que las modificaciones que se realicen en el protocolo original (en relacin con los estudios a incluir o excluir, en el tipo de anlisis de datos a realizar, etc.); queden explcitamente documentadas en un registro de incidencias de la revisin. Asimismo, se recomienda la publicacin previa del protocolo, con el fin de reducir el impacto de los sesgos inherentes al autor, promover la transparencia sobre los mtodos y el proceso a seguir, adems de reducir las revisiones redundantes sobre el tema. Los componentes de una pregunta claramente definida 4 siguen el formato PICOS : descripcin de los participantes, las intervenciones, las comparaciones y las medidas de resultado de la revisin sistemtica, as como el tipo de estudio (diseo). A modo de ejemplo, una pregunta adecuadamente planteada podra ser: en personas adultas con un episodio depresivo mayor, nico o recidivante (participantes) cul es la eficacia (tipo de estudio), en trminos de respuesta al tratamiento, remisin, recuperacin, recadas y recurrencia (medidas de resultado), de la terapia de activacin conductual (intervencin) frente a la terapia cognitivo conductual (comparador)? La descripcin de los participantes implica la definicin del trastorno o condicin de salud a evaluar (en el ejemplo, pacientes con un episodio depresivo mayor, nico o recidivante), aadiendo cuando sea relevante otras caractersticas de la poblacin y el mbito de inters como la edad, el sexo, la etnia, el mbito o entorno de la intervencin, etc. (en el ejemplo, personas adultas). Es importante que la limitacin o restriccin que se establezca en el tipo de participantes est justificada por la evidencia cientfica. As por ejemplo, la evidencia cientfica puede justificar que el abordaje teraputico en personas adultas con depresin sea diferente a la intervencin que se realiza con nios y adolescentes. No obstante, cuando se tengan dudas con respecto al efecto que podra tener incluir o no un subgrupo de la poblacin (por ejemplo, personas que reciben un tratamiento en rgimen ambulatorio frente a personas que estn hospitalizadas), probablemente sea mejor incluir un entorno ms amplio, y analizar posteriormente, si se estima oportuno, en qu medida esas diferencias afectan los resultados de la intervencin.
4

Pasos a seguir para elaborar una RSEC


Primer paso: formulacin del problema
El paso previo a una RSEC es la formulacin clara y precisa de la pregunta de investigacin de acuerdo a unos criterios explcitos que definan el problema que se pretende evaluar (Higgins y Green, 2011; Liberati et al., 2009). La pregunta de investigacin determina la estructura y el alcance de la revisin y, como en cualquier estudio de investigacin, se requiere que est claramente definida y que incluya una serie de componentes clave, que se deben especificar en el protocolo y en el mtodo de un artculo cientfico en la seccin criterios de seleccin de los estudios.

PICOS. Acrnimo de P: participants; C:comparisons; O: outcomes; S: study design

I:

interventions;

52 La descripcin de la intervencin es el segundo componente clave de la pregunta y en ella se especifica cul es la intervencin de inters (tratamiento farmacolgico, psicolgico, intervencin quirrgica, programa de prevencin, indicacin de prueba diagnstica, etc.), que se compara con el tercer componente clave de la pregunta, comparador o comparadores, que es la alternativa a la intervencin y que puede ser la comparacin del grupo de intervencin frente a un grupo control que recibe placebo, o un grupo que recibe la atencin habitual, o un grupo que est en lista de espera o la comparacin frente a otro grupo de intervencin que recibe otro tratamiento o intervencin activa (en nuestro ejemplo, terapia de activacin conductual, que es la intervencin, frente a terapia cognitiva conductual, que es el comparador) . La descripcin de los resultados relevantes para la revisin es el cuarto componente clave de una pregunta bien formulada y hace referencia a los resultados (outcomes y endpoints) que se pretenden conseguir con la intervencin. Las medidas de resultado deben estar claramente definidas en trminos explcitos con el fin de evaluar si, por ejemplo, la intervencin alivia o elimina los sntomas, si reduce el nmero de efectos adversos, si disminuyen las recadas y recurrencias, etc. As, en una revisin que pretende evaluar la respuesta al tratamiento al comparar dos intervenciones psicolgicas para el abordaje del trastorno depresivo mayor, se podran considerar las siguientes especificaciones: una reduccin de ms del 40% en la puntuacin del Cuestionario de Depresin de Beck y una reduccin del 50% en la Escala de Desesperanza de Beck, estar al menos en la categora de "bastante mejorado o muy mejorado" segn la Clinical Global Impression Change Scale - CGI (Escala de Cambio de la Impresin Clnica Global). En general, las RSEC deben incluir todos aquellos resultados publicados que puedan ser significativos para las personas que necesitan tomar una decisin en base al problema que se ha formulado en la revisin. Un ltimo componente de gran relevancia para delimitar el tipo de pruebas cientficas que se requiere para responder a la pregunta de investigacin es definir el tipo de diseo de estudios que se seleccionarn para la revisin. En la comunidad cientfica de las ciencias de la salud es un hecho ampliamente aceptado que, segn el tipo de diseo de investigacin, no todos los estudios son igualmente vlidos y fiables. En este sentido, los estudios primarios que se basan en la realizacin de ensayos controlados aleatorizados (estudios experimentales), que implican la asignacin aleatoria de los participantes a las condiciones experimentales, son las evidencias cientficas ms fiables para avalar la eficacia de una intervencin (Nezu y Nezu, 2008). No obstante, los ensayos controlados aleatorizados no son siempre el tipo de estudio ms apropiado para responder a una pregunta de investigacin, ni todos los temas de investigacin se pueden abordar desde esta perspectiva metodolgica. Si el curso de una enfermedad o los efectos de una intervencin son muy evidentes, no parece necesario ni tico acudir a los ensayos controlados aleatorizados. En algunas ocasiones puede ser apropiado y necesario realizar una RSEC a partir de otros estudios no experimentales, as por ejemplo si queremos responder a una pregunta sobre pronstico o etiologa, probablemente tengamos que acudir a algn tipo de estudio cuasi-experimental o ex post facto, como pueden ser los estudios de cohortes o de caso-control, ms que a un estudio de tipo experimental.

L. Perestelo-Prez Es importante tener en cuenta, que mientras ms restrictivos sean los criterios que definan la pregunta de investigacin, ms especfica y focalizada ser la revisin, pero tambin es necesario tener en cuenta que si se aaden muchas restricciones a priori, podramos encontrar dificultades para encontrar informacin que responda a preguntas de investigacin tan restringidas. Asimismo, si la revisin se enfoca a responder una pregunta de investigacin muy restringida, es posible que los resultados y conclusiones obtenidas no puedan ser generalizables a otros mbitos, poblaciones o formas alternativas de una misma intervencin. La clave est en conseguir el balance entre la exhaustividad y la precisin (sensibilidad y especificidad).

Segundo paso: bsqueda de la informacin


Una vez se ha definido adecuadamente la pregunta de investigacin, el siguiente paso es la identificacin de la evidencia cientfica disponible que permita responder a dicha cuestin. La localizacin de los estudios requiere un proceso sistemtico en el que se defina a priori cules sern las bases de datos electrnicas a consultar, las fuentes de informacin necesarias para identificar los estudios, la verificacin de listas de referencias, la revisin de comunicaciones e informes de inters, y la bsqueda manual de la evidencia cientfica, que constituir la estrategia de bsqueda de la RSEC. En la actualidad, existen mltiples fuentes de informacin y recursos electrnicos que se pueden consultar y que facilitan el proceso de bsqueda y recuperacin de las referencias bibliogrficas. Las bases de datos bibliogrficas computarizadas de estudios publicados en revistas indexadas se pueden clasificar en: primarias y secundarias. Las bases de datos primarias (como Medline, The Cochrane Controlled Trials Register, PsycInfo, Embase, Web of Knowledge, Lilacs, Cinahl, Cuiden, Biblioteca Virtual en Salud, ndice Mdico Espaol, entre otras) permiten obtener fundamentalmente estudios individuales (aunque actualmente tambin permiten acceder a algunas revisiones sistemticas que han sido publicadas en revistas cientficas), mientras que las bases de datos secundarias (The Cochrane Database of Systematic Reviews, Centre for Reviews and Dissemination, National Guideline Clearinghouse, SIGN, GuaSalud, Fisterra, AUnETS, entre otras) permiten obtener estudios que son el resultado de la evaluacin crtica, sntesis y anlisis de las investigaciones individuales, como las RSEC, guas de prctica clnica o informes de evaluacin de tecnologas sanitarias. Otros recursos electrnicos disponibles para recopilar informacin son los meta-buscadores o buscadores de buscadores (Trip Database, Excelencia Clnica, etc.), que son bases de datos que realizan la misma bsqueda en varias bases de datos electrnicas a la vez, con la desventaja de que no es posible hacer bsquedas muy especficas, pero con la ventaja de que permiten hacer una bsqueda rpida y general en varias bases de datos electrnicas al mismo tiempo. En el captulo de bsqueda eficiente de la evidencia cientfica de Duque (2010) y en el Manual bsico para una atencin en salud mental basada en la evidencia (Moreno, Bordallo, Blanco y Romero, 2012) se puede encontrar una descripcin detallada de la mayora de estos recursos electrnicos, disponibles algunos de forma gratuita a travs de Internet y otros que requieren acceso mediante suscripcin.

Standards on how to develop and report systematic reviews in Psychology and Health Se recomienda que los revisores utilicen siempre ms de dos o tres bases de datos para sus consultas, con especial consideracin de aquellas especficas que incorporan estudios de relevancia en el mbito de estudio (as por ejemplo, en el mbito de la salud mental, la base de datos PsycInfo es un recurso indispensable para la revisin, Cinahl y Cuiden en el mbito de la enfermera, etc.). No obstante, estos son solo algunos recursos electrnicos disponibles para el revisor, existen otros registros especializados (como los registros de los Grupos de Colaboradores de la Colaboracin Cochrane), fuentes de informacin especficas por categora profesional (psicologa, enfermera, terapia ocupacional, etc.) (Moreno et al., 2012) y recursos bibliogrficos que pueden ser consultados online (Centre for Reviews and Dissemination CRD, 2010; Chan, Dennett, Collins y Topfer, 2006). El control de las listas de referencias de los artculos relevantes en el rea, as como el contacto directo con expertos e investigadores en el mbito de la revisin, constituyen otras fuentes importantes de informacin para identificar los estudios que no han sido publicados, la bsqueda manual y de la literatura gris, compuesta por informes de evaluacin de tecnologas sanitarias, comunicaciones a congresos, tesis doctorales, entre otros, son referencias que pueden ser muy tiles para completar el proceso exhaustivo de bsqueda de la evidencia cientfica. Tambin existen bases de datos especficas que se dedican a referenciar la investigacin que no ha sido publicada, como la Conference Papers Index, Disertation Abstracts y, especialmente, el System for Information on Grey Literature in Europe (SIGLE). La elaboracin de la estrategia de bsqueda (combinacin de trminos) que se va a llevar a cabo en las diferentes bases de datos electrnicas relevantes para la revisin debe ser explcita y debe estar bien documentada. Consiste bsicamente en trasladar los componentes bsicos de la pregunta de investigacin (PICOS) al lenguaje de las bases de datos en las que se harn las bsquedas, combinando descriptores (trminos o palabras claves), operadores (que sirven para relacionar los trminos and, or, not, next, near, adj2), smbolos de truncamiento (que permiten buscar trminos con la misma raz y diferente terminacin *, $), y comodines o wild cards (que son smbolos que sirven para representar cualquier letra #, ?). Las principales bases de datos electrnicas tambin nos permiten hacer bsquedas en campos especficos (ttulo, abstract, autor, revista), as como aplicar lmites en funcin de la fecha de publicacin, tipo de estudio, tipo de publicacin, idioma, edad de la poblacin, etc. (Duque, 2010). El desarrollo de una estrategia de bsqueda es un proceso iterativo en el que los trminos que se utilizan se van modificando segn los resultados que se van obteniendo, hasta alcanzar una estrategia definitiva que requiere adaptarse a la estructura y sistema de indexacin propio de cada una de las base de datos a utilizar. Es posible que tras utilizar una estrategia de bsqueda nos encontremos con un nmero de referencias excesivo (habitualmente con referencias irrelevantes para el estudio en cuestin), por lo que se recomienda hacer uso de los filtros de bsqueda, que son estrategias que permiten precisar an ms las caractersticas de las referencias que se desean recuperar, segn el tipo de estudios, tipo de participantes, etc. (Duque, 2010). Algunas bases de datos electrnicas ya incorporan estos filtros (Medline, Embase, Cochrane, CRD) y otras referencias relevantes recogen multitud de filtros con distintas caractersticas de sensibilidad y especificidad (Lokker et al., 2010; Wilczynski, McKibbon y Haynes, 2011).

53

Aunque el proceso que se sigue para la obtencin de la evidencia cientfica es un proceso minucioso y riguroso, una de las limitaciones que siempre est presente en una RSEC es la imposibilidad de recuperar absolutamente toda la informacin que existe sobre un tema. No obstante, la bsqueda de los estudios debe intentar ser exhaustiva, sensible, eficiente y no sesgada. En este sentido, se debe evitar el habitual sesgo de publicacin, en el que influyen mltiples factores como: que los trabajos que obtienen resultados positivos y con diferencias significativas tienen ms probabilidad de ser publicados, que una vez que son aceptados se publican ms rpidamente, que suelen ser aceptados en revistas de ms impacto y que suelen ser citados con ms frecuencia; haciendo esfuerzos por localizar los estudios no publicados y los que se encuentran en curso (ongoing studies), al consultar varias fuentes de informacin que permitan identificar estos estudios. Asimismo, se debe evitar incurrir en el sesgo por idioma de publicacin, que consiste en limitar las bsquedas a un solo idioma (espaol o ingls), excluyendo otros estudios potencialmente relevantes en otras lenguas; o el sesgo por cobertura de las bases de datos utilizadas (por ejemplo, ms referencias europeas en Embase y ms referencias norteamericanas en Medline) haciendo bsquedas en diferentes bases de datos y ampliando la bsqueda a diferentes idiomas que pueden ser potencialmente relevantes para el tema en cuestin. Una vez obtenidas las referencias a revisar, se recomienda la utilizacin de gestores de bases de datos documentales como el Reference Manager, EndNote, EndNote Web, ProCite, Zotero, RefWorks, etc., como herramientas tiles para recopilar, almacenar y dar formato a la informacin que se ha identificado en las distintas bases de datos de referencias bibliogrficas. Cada uno de estos programas tiene unas caractersticas especficas, segn el tipo de licencia, lenguaje de trabajo, disponibilidad de versin Web o local, usabilidad, recursos compatibles, etc., que determinarn la seleccin de uno u otro programa en funcin de la consideracin de los pros y los contras que hagan los revisores del estudio (CordnGarca, Martn-Rodero y Alonso-Arvalo, 2009; Duarte-Garca, 2007).

Tercer paso: preseleccin de referencias y seleccin de estudios incluidos


El siguiente paso en la RSEC es preseleccionar las referencias potencialmente relevantes y posteriormente seleccionar los estudios que se incluirn en la revisin. Para este proceso puede ser til el uso de una lista de comprobacin (checklist), en la que se incluyan todas aquellas caractersticas y criterios que debe cumplir un estudio para ser incluido en la RSEC. Esta lista de comprobacin incluye bsicamente los criterios de seleccin que se describen en el protocolo y que se basan en el formato PICOS de la pregunta de investigacin. El proceso de preseleccin y seleccin sigue las siguientes fases sistemticas en esta etapa del proceso: Fase 1. Una vez realizadas las bsquedas en las distintas fuentes de informacin, al menos dos revisores procedern, de forma independiente, a seleccionar las referencias por los ttulos y resmenes para preseleccionar las referencias potencialmente relevantes segn los criterios de inclusin. En caso de duda, se recomienda ser ms conservador y preseleccionar el estudio. Fase 2. Una vez finalizado el primer cribado, se proceder a la puesta en comn de la preseleccin de las referencias por los revisores. Cuando haya desacuerdo entre ellos se resolver tras discusin y si no hubiera consenso se analizar la referencia a texto completo para su valoracin posterior.

54 Fase 3. Una vez finalizada la fase de preseleccin, se proceder a repetir la sistemtica anterior con los artculos completos, para seleccionar e incluir finalmente los artculos que se valorarn, analizarn y sintetizarn en la revisin. Cuando haya desacuerdo entre los revisores se resolver tras discusin y si no hay consenso entre ellos se consultar a otro revisor independiente. Si el estudio cumple con todos los criterios de inclusin ser un estudio incluido y si no ser un estudio excluido, siendo recomendable justificar, en esta fase, el motivo de exclusin. Es importante que todas las discusiones y acuerdos entre revisores queden documentadas en un registro de incidencias de la revisin.

L. Perestelo-Prez factores: secuencia en la asignacin, cegamiento, datos incompletos de los resultados, informe selectivo de los datos; y otro tem global que considera otras fuentes potenciales de sesgo, y desaconsejan rotundamente el uso de escalas para la evaluacin de la calidad metodolgica de los estudios. Asimismo, aunque estos criterios han sido explcitamente definidos para los ensayos controlados aleatorizados, los autores mencionan que tambin podran ser criterios tiles para otro tipo de estudios (Higgins et al., 2011; Liberati et al., 2009). No obstante, es importante destacar que existe un gran nmero de escalas y listas de comprobacin que estn disponibles para evaluar la validez y calidad de estudios empricos primarios experimentales, cuasi-experimentales, ex post facto, cualitativos, etc.; as como de otros estudios secundarios, como las RSEC, guas de prctica clnica, evaluaciones econmicas, etc.; que varan en trminos de extensin, validez, fiabilidad (Garca y Yanes, 2010; Jarde, Losilla y Vives, 2012). La eleccin de uno u otro instrumento depender fundamentalmente del tipo de estudio (diseo), pero tambin del nmero de estudios incluidos y de los recursos disponibles (en trminos de tiempo, nmero de revisores). Recientemente, la Canadian Agency for Drugs and Technologies in Health (CADTH) ha publicado un informe (Bai, Shukla, Bak y Wells, 2012), en el que concluye que las siguientes escalas son las ms adecuadas, vlidas y tiles para evaluar la calidad metodolgica de los estudios: la escala AMSTAR 2005 (del ingls, Assessment of Multiple Systematic Reviews) para RSEC, la escala SIGN 50 2004 (del ingls, Scottish Intercollegiate Guidelines Network) para los ensayos controlados aleatorizados y estudios observacionales (estudios de cohorte y de caso-control), y el GRADE 2004 (del ingls, Grading of Recommendations Assessment, Development and Evaluation) para establecer los niveles de evidencia cientfica. En cualquier caso, se recomienda combinar varios mtodos y criterios explcitos para la evaluacin de la calidad y del riesgo de sesgo de los estudios, y que cada artculo incluido en la RSEC sea valorado por al menos dos evaluadores independientes, que resolvern los desacuerdos entre s en base al protocolo, y cuando sea necesario, recurrirn a un tercer revisor independiente.

Cuarto paso: lectura crtica y evaluacin del riesgo de sesgo en los estudios incluidos
La aplicabilidad de los resultados de una RSEC, la validez de los estudios individuales y ciertas caractersticas del diseo de una revisin, pueden afectar la interpretacin y conclusiones de la misma. El proceso de lectura crtica de un artculo cientfico implica la lectura comprensiva y el anlisis pormenorizado de toda la informacin que se describe en el estudio. Esto requiere considerar al menos tres aspectos relevantes: a) la validez metodolgica del estudio, b) la valoracin de la precisin y alcance del anlisis de los resultados, y c) la aplicabilidad de los resultados y las conclusiones del estudio a nuestro contexto. En este sentido, la calidad y validez de las conclusiones de una RSEC dependen tanto de las caractersticas metodolgicas de los estudios incluidos en la revisin como de los resultados obtenidos, descritos y analizados en stos. Asimismo, son importantes todos los esfuerzos que los autores lleven a cabo para prevenir la introduccin de posibles factores de riesgo que puedan afectar la interpretacin y conclusiones de la revisin. Estos factores pueden estar o no dentro del control de los revisores, e incluyen aspectos como: la posibilidad de identificar todos los estudios de inters, de obtener todos los datos relevantes, de usar mtodos adecuados para la bsqueda, seleccin de los estudios, recoleccin y extraccin de los datos, anlisis, etc. La evaluacin del riesgo de sesgo (o calidad metodolgica) de los estudios incluidos en la revisin, implica la evaluacin tanto al nivel de los estudios (aspectos metodolgicos y de diseo, como la ocultacin de la secuencia aleatorizada, el cegamiento o enmascaramiento de los participantes, la recoleccin de los datos, la descripcin de los datos incompletos, la exposicin selectiva de los datos...) como, en algunas ocasiones, tambin al nivel de los resultados (fiabilidad y validez de los datos para cada resultado especfico a partir de los mtodos utilizados para su medicin en cada estudio individual) (Higgins et al., 2011; Liberati et al., 2009). Existen distintas estrategias para evaluar el riesgo de sesgo, como la evaluacin de componentes individuales, el uso de listas de comprobacin (checklists) o escalas de valoracin de la calidad, pero ninguna de ellas libre de limitaciones (Garca y Yanes, 2010). En este sentido, las nuevas directrices de la Colaboracin Cochrane y de la Declaracin PRISMA recomiendan que en las RSEC se consideren una serie de aspectos o componentes para la evaluacin del riesgo de sesgo que se resumen en cinco

Quinto paso: Extraccin de datos


La siguiente etapa del proceso de una RSEC implica la recogida de la informacin ms relevante de cada artculo incluido. Para esta fase se recomienda hacer uso de una plantilla previamente diseada por los revisores, en la que se recoja de forma homognea toda la informacin detallada y pertinente para el anlisis, sntesis e interpretacin de los datos. Aunque las plantillas de extraccin de datos no son iguales para todas las revisiones, habitualmente recogen al menos las siguientes cuestiones para los estudios incluidos: revisor, autor y ao de publicacin, cita, detalles del contacto, tipo y caractersticas del diseo de estudio (secuencia de la asignacin, ocultacin de la secuencia, cegamiento), duracin total del estudio, nmero y caractersticas de los participantes, mbito de estudio, descripcin de la intervencin, alternativas de comparacin, nmero total de grupos, medidas de resultado, seguimiento, prdidas en el seguimiento, principales resultados, conclusiones, fuentes de financiacin, conflictos de inters, comentarios,

Standards on how to develop and report systematic reviews in Psychology and Health referencias de otros estudios relevantes, etc. (en el manual de la Cochrane 5.1.0 se pueden encontrar algunos ejemplos). Para los estudios excluidos, en esta fase, se mencionar el motivo de exclusin (por ejemplo, aleatorizacin incorrecta, nmero elevado de prdidas, etc.). Se recomienda que la extraccin de datos de cada artculo se lleve a cabo por al menos dos revisores independientes, que resolvern sus desacuerdos a travs de la participacin de un tercer revisor.

55

Sexto paso: Anlisis y sntesis de la evidencia cientfica


Una vez se han extrado los datos de todos los estudios se proceder al anlisis y sntesis. Este proceso implica combinar, integrar y resumir los principales resultados de los estudios incluidos en la revisin. El objetivo es estimar y determinar, en los casos que sea relevante, cul es el efecto global de una intervencin (frente a otra alternativa, si procede); si el efecto es o no similar entre los estudios; y en el caso de que existan diferencias entre ellos, determinar los posibles factores que explican la heterogeneidad de los resultados. Cuando los datos de dos o ms estudios son lo suficientemente homogneos entre s y se combinan cuantitativamente haciendo uso de un estimador estadstico, la sntesis se denomina metanlisis, cuando los datos no se pueden combinar mediante una sntesis cuantitativa, los resultados son sintetizados cualitativamente mediante una sntesis narrativa. Si los estudios son muy heterogneos entre s, porque los participantes de los estudios son muy diferentes de un estudio a otro, las caractersticas de las intervenciones (mbito de aplicacin, duracin, etc.) difieren significativamente, las medidas de resultado no son similares entre los estudios, o existen diferencias en la calidad metodolgica de los mismos, probablemente la sntesis cualitativa sea ms apropiada en estos casos para explorar cmo las diferencias entre los estudios influyen en la efectividad de la intervencin. No obstante, hay que tener en cuenta que la sntesis narrativa utiliza mtodos subjetivos (en lugar de mtodos estadsticos) y que es posible que introduzca sesgo si se hace algn nfasis inapropiado en alguno de los resultados de un estudio en detrimento de otro. En cualquier caso, se ha de justificar la idoneidad de utilizar una u otra estrategia de sntesis para resumir los resultados de los estudios incluidos en la RSEC (Higgins et al., 2011). Si las caractersticas de los estudios permiten hacer un meta-anlisis para aumentar el poder estadstico y la precisin en la estimacin de los efectos de una intervencin y los riesgos a su exposicin, en el estudio terico de Botella y Gambara (2006), de esta misma revista cientfica, se puede encontrar una descripcin detallada de las consideraciones previas para su ejecucin, as como las etapas del proceso para su desarrollo y la descripcin de los aspectos a considerar para informar sus resultados en una revista como International Journal of Clinical and Health Psychology.

que realmente una revisin facilite este proceso, es necesario hacer una exposicin clara de los hallazgos, una discusin reflexiva de la evidencia cientfica y una presentacin adecuada de las conclusiones. En esta seccin de la RSEC se expondr la informacin de todos los resultados que sean importantes para la revisin, en base a los objetivos previamente definidos, incluyendo informacin sobre la calidad, validez y fiabilidad de las pruebas cientficas para cada uno de los resultados obtenidos, considerando las posibles limitaciones de los estudios y de los mtodos seguidos en la revisin, con el fin de exponer los posibles riesgos de sesgo. Asimismo, se considerar la aplicabilidad de los resultados y la relacin entre los riesgos y beneficios esperados, los posibles costes e impacto en general de la intervencin evaluada.

Consideraciones finales para la redaccin de una revisin sistemtica


La presentacin y publicacin de una RSEC en una revista cientfica suele seguir un formato estndar que est estrechamente relacionado con los mtodos aplicados para su elaboracin. Su redaccin sigue un formato de presentacin similar al protocolo que ha guiado todo el proceso de la revisin. La extensin y exposicin detallada de cada subapartado estar limitada por las normas editoriales, pero en todos los casos se requerir un mnimo de informacin que describa la sistemtica del proceso, permitiendo su reproduccin y actualizacin. En base a los ltimos avances conceptuales y metodolgicos relacionados con las revisiones sistemticas (Higgins et al., 2011; Urrtia y Bonfill, 2010), en la Tabla 2 se mencionan las principales secciones a incorporar en la publicacin de una RSEC (con o sin meta-anlisis), basado en la declaracin PRISMA (Moher et al., 2009) y la versin 5.1.0 del Manual del Revisor Cochrane (Higgins et al., 2011). No obstante, hay que tener en cuenta que el objetivo de estas directrices es servir de base para contribuir a la claridad y transparencia en la publicacin de revisiones sistemticas, pero que en ningn momento se debe convertir en una coraza para el revisor. Esta informacin se puede complementar con el artculo previo de Botella y Gambara (2006) en el que nos encontramos con una detallada descripcin sobre la preparacin y redaccin de un meta-anlisis (sntesis cuantitativa de resultados) y el artculo de Hartley (2012) en el que se describen las tcnicas ms recientes sobre cmo escribir artculos cientficos. A modo de resumen, despus de mencionar el ttulo, informacin bsica de la revisin (autores, persona de contacto, agradecimientos, fuentes de financiacin, declaracin de conflictos de inters), el resumen y un conjunto de palabras clave; una RSEC debe estar basada y sustentada en el conocimiento cientfico que justifique su ejecucin (introduccin). La exposicin de los antecedentes de una RSEC debe ser clara, concisa y estructurada, incluyendo la informacin relevante sobre la afeccin o condicin de salud que se pretenda explorar, una breve descripcin de la intervencin, programa, o accin que se evale, as como sus posibles efectos e impacto en los potenciales destinatarios. Los antecedentes han de establecer claramente cules son los motivos que justifican la revisin y por qu la pregunta de investigacin que se plantea es relevante, mencionando finalmente los objetivos que guiarn todo el proceso de la revisin.

Sptimo paso: Interpretacin de los resultados


El objetivo de una RSEC es facilitar el proceso de toma de decisiones basado en pruebas cientficas. Para

56

L. Perestelo-Prez

Tabla 2 Sections for the publication of a systematic review. - Ttulo - Informacin de la revisin (autores, datos de contacto, agradecimientos, fuentes de financiacin, declaracin de conflictos de inters) - Resumen (antecedentes, objetivos, estrategia de bsqueda, extraccin y anlisis de datos, resultados, conclusiones de los autores) - Introduccin (antecedentes, justificacin, objetivos) - Mtodo (protocolo y registro, criterios de seleccin de los estudios tipos de estudios, tipos de participantes, tipos de intervenciones, tipos de comparadores, tipos de medidas de resultado, tipos de diseo, mtodos de bsqueda para la identificacin de los estudios - fuentes de informacin y estrategia de bsqueda, proceso de seleccin de los estudios, evaluacin del riesgo de sesgo (o calidad metodolgica), anlisis y sntesis de los datos) - Resultados (estudios seleccionados, descripcin de las caractersticas de los estudios, riesgo de sesgo de los estudios incluidos, principales efectos de las intervenciones) - Discusin (resumen de la evidencia, calidad de las pruebas, sesgos potenciales en el proceso de la revisin, acuerdos y desacuerdos con otros estudios y revisiones, aplicabilidad) - Conclusiones de los revisores (implicaciones para la prctica y la investigacin) - Contribucin de los autores - Referencias (estudios incluidos) - Otras referencias opcionales (estudios excluidos, en curso, referencias adicionales) - Tablas y figuras (diagrama de flujo de los estudios, caractersticas de los estudios incluidos, tablas y figuras con el resumen de los resultados) - Otras tablas y figuras opcionales (caractersticas de los estudios excluidos, pendientes de evaluacin, en curso) - Anexos (informacin complementaria, notas para los profesionales, etc.)

La seccin del mtodo describe lo que se ha hecho para obtener los resultados y las conclusiones. Se recomienda mencionar en este apartado si la revisin ha sido precedida por un protocolo previamente publicado, mencionando las posibles variaciones entre el protocolo y la revisin final. En la seccin del mtodo se han de exponer explcitamente los criterios de seleccin de los estudios a incluir en la revisin, en funcin del tipo de estudios, participantes, intervencin, comparador (si procede), tipo de medidas de resultado y tipo de diseo, siguiendo el mismo formato PICOS de la pregunta de investigacin. Posteriormente, se sugiere documentar el proceso de bsqueda, incluyendo las principales fuentes de informacin consultadas, la fecha y estrategia de bsqueda para al menos una de las bases de datos utilizada (o en su defecto las palabras claves que se han combinado, si los lmites en extensin de las normas editoriales no permiten una mayor descripcin). Asimismo, se deben mencionar los posibles lmites establecidos (en relacin con el perodo de bsqueda, idioma, tipo de publicacin, etc.). A continuacin se comentar cul ha sido el proceso que se ha seguido para la seleccin de los estudios (nmero de revisores, participacin de otros expertos en el proceso, mtodo para resolver las discrepancias entre ellos), estrategias para evaluar el riesgo de sesgo (o calidad metodolgica), proceso y mtodo de extraccin de los datos (si se utiliz un formulario, si los datos fueron extrados independientemente por ms de un autor, cmo se resolvieron los desacuerdos entre ellos), as como el mtodo para el anlisis y sntesis (cualitativa o cuantitativa). En la seccin de resultados se recomienda comenzar por el resumen de los estudios encontrados en la bsqueda, haciendo uso de un diagrama de flujo, como el propuesto en la declaracin PRISMA (Liberati et al., 2009), con el fin de ilustrar los resultados de la bsqueda y el proceso de seleccin para su inclusin en la revisin.

Posteriormente se ha de presentar un breve resumen de las caractersticas de los estudios incluidos y las tablas resumen que contengan esta informacin (diseo, tamao de la muestra, mbito, participantes, intervenciones, principales medidas de resultados). Adems, se han de mencionar los principales motivos de exclusin de los estudios excluidos en la revisin. En la presentacin de los resultados tambin se ha de mencionar si se ha realizado o no la evaluacin del riesgo de sesgo de los estudios incluidos en la revisin. Este aspecto es especialmente relevante dado que el grado en que una revisin puede proporcionar conclusiones vlidas y fiables sobre los efectos de una intervencin, depender de la validez de los estudios que finalmente son incluidos en la revisin. Finalmente se comentarn los principales efectos de las intervenciones, que ser un resumen de los principales hallazgos en base a los objetivos inicialmente establecidos en la revisin. El apartado de discusin empieza precisamente con un resumen de los resultados ms relevantes de la revisin, pero sin repetir el apartado anterior de resultados. Se recomienda interpretar la validez de los resultados en base a la calidad de la evidencia cientfica, comentando las posibles fortalezas y debilidades de la revisin en general, as como los acuerdos y desacuerdos con otros estudios y revisiones previas, adems de la relevancia y aplicabilidad de los mismos. Finalmente se describirn las conclusiones de los autores en trminos de implicaciones para la prctica y la investigacin.

Agradecimientos
La autora agradece a Jason Willis-Lee por su ayuda en la edicin y traduccin del artculo.

Standards on how to develop and report systematic reviews in Psychology and Health

57

Referencias
Bai, A., Shukla, V. K., Bak, G. y Wells, G. (2012). Quality assessment tools project report. Ottawa: Canadian Agency for Drugs and Technologies in Health. Botella, J. y Gambara, H. (2006). Doing and reporting a metaanalysis. International Journal of Clinical and Health Psychology, 6, 425-440. Centre for Reviews and Dissemination, CRD. (2010). Finding studies for systematic reviews: A resource list for researchers. New York: University of York. Available from: http://www.york.ac. uk/inst/crd/revs.htm [accessed 13 Sep 2012]. Chan, L., Dennett, L., Collins, S. y Topfer, L. A. (2006). Health technology assessment on the net: A guide to Internet sources of information (8a ed.). Edmonton: Alberta Heritage Foundation for Medical Research AHFMR. Cook, D. A. y West, C. P. (2012). Conducting systematic reviews in medical education: A stepwise approach. Medical Education, 46, 943-952. Cordn-Garca, J. A., Martn-Rodero, H. y Alonso-Arvalo, J. (2009). Gestores de referencias de ltima generacin: anlisis comparativo de RefWorks, EndNote Web y Zotero. El Profesional de la Informacin, 18, 445-454. Duarte-Garca, E. (2007). Gestores personales de bases de datos de referencias bibliogrficas: caractersticas y estudio compara- tivo. El profesional de la Informacin, 16, 647-656. Duque, B. (2010). Bsqueda eficiente de la evidencia cientfica.En B. Duque-Gonzlez, L. Garca-Prez, F. Hernndez-Daz, J. LpezBastida, V. Mahtani-Chugani, L. Perestelo-Prez, Y. Ramalllo-Faria, M. Trujillo-Martn y V. Yanes-Lpez (Eds.), Introduccin a la metodologa de investigacin en evaluacin de tecnologas sanitarias (pp. 33-57). Tenerife: Servicio Canario de la Salud. Fernndez-Ros, L. y Buela-Casal, G. (2009). Standards for the preparation and writing of psychology review articles. International Journal of Clinical and Health Psychology, 9, 329-344. Garca, L. y Yanes, V. (2010).Lectura crtica de artculos cientficos. En B. Duque-Gonzlez, L. Garca-Prez, F. Hernndez-Daz, J. LpezBastida, V. Mahtani-Chugani, L. Perestelo-Prez, Y. Ramalllo-Faria, M. Trujillo-Martn y V. Yanes-Lpez (Eds.), Introduccin a la metodologa de investigacin en evaluacin de tecnologas sanitarias (pp. 59-75). Tenerife: Servicio Canario de la Salud. Hartley, J. (2012). New ways of making academic articles easier to read.International Journal of Clinical and Health Psychology, 12, 143-160.

Higgins, J. P. T. y Green, S. (Eds.) (2011). Cochrane handbook for systematic reviews of interventions version 5.1.0. Available from: www.cochrane-handbook.or [accessed 13 Sep 2012]. Jarde, A., Losilla, J. M. y Vives, J. (2012). Suitability of three different tools for the assessment of methodological quality in ex post facto studies. International Journal of Clinical and Health Psychology, 12, 97-108. Liberati, A., Altman, D. G., Tetzlaff, J., Mulrow, C., Gtzsche, P. C., Ioannidis, J. P., Clarke, M., Devereaux, P. J., Kleijnen, J. y Moher, D. (2009). The PRISMA statement for reporting systematic reviews and meta-analyses of studies that evaluate healthcare interventions: explanation and elaboration. British Medical Journal, 339, b2700. Lokker, C., McKibbon, K. A., Wilczynski, N. L., Haynes, R. B., Ciliska, D., Dobbins, M., Davis, D. A. y Straus, S. E. (2010). Finding knowledge translation articles in CINAHL. Studies in Health Technology and Informatics, 160, 1179-1183. Moher, D., Liberati, A., Tetzlaff, J., Altman, D.G. y the PRISMA Group (2009). Preferred Reporting Items for Systematic Reviews and Meta-Analyses: The PRISMA Statement. British Medical Journal, 339, b2535. Montero, I. y Len, O. G. (2007). A guide for naming research studies in Psychology. International Journal of Clinical and Health Psychology, 7, 847-862. Moreno, C., Bordallo, A., Blanco, M. y Romero, J. (2012). Manual bsico para una atencin en salud mental basada en la evidencia. Granada: Escuela Andaluza de Salud Pblica. Nezu, A. M. y Nezu, C. M. (2008). Evidence-based outcome research: A practical guide to conducting randomized controlled trials. London: Oxford University Press. Snchez-Meca, J., Boruch, R. F., Petrosino, A. y Rosa-Alczar, A. I. (2002). La Colaboracin Campbell y la prctica basada en la evidencia. Papeles del Psiclogo, 83, 44-48. Snchez-Meca, J. y Botella, J. (2010). Revisiones sistemticas y meta-anlisis: Herramientas para la prctica profesional. Papeles del Psiclogo, 31, 7-17. Urrtia, G. y Bonfill, X. (2010). PRISMA declaration: A proposal to improve the publication of systematic reviews and meta-analyses. Medicina Clnica (Barcelona), 135, 507-511. Wilczynski, N. L., McKibbon, K. A. y Haynes, R. B. (2011). Sensitive Clinical Queries retrieved relevant systematic reviews as well as primary studies: An analytic survey. Journal of Clinical Epidemiology, 64, 1341-1349.