Está en la página 1de 11

Aula Abierta 2010, Vol. 38, nm. 2, pp.

53-64 ISSN: 0210-2773


ICE. Universidad de Oviedo

Cmo realizar una revisin sistemtica


y un meta-anlisis*
Julio Snchez-Meca
Universidad de Murcia

Las revisiones sistemticas y, en especial, los meta-anlisis son un tipo de investigacin cient-
fica que tiene como propsito integrar de forma objetiva y sistemtica los resultados de los es-
tudios empricos sobre un determinado problema de investigacin, con objeto de determinar el
estado del arte en ese campo de estudio. Para alcanzar este objetivo, la realizacin de un me-
ta-anlisis requiere desarrollar una serie de etapas similares a las de cualquier investigacin em-
prica: (1) formulacin del problema, (2) definicin de los criterios de inclusin y bsqueda de
los estudios, (3) codificacin de las caractersticas de los estudios que puedan moderarlos resul-
tados; (4) clculo del tamao del efecto; (5) tcnicas de anlisis estadstico e interpretacin y (6)
publicacin del meta-anlisis. Dada la relevancia que est adquiriendo esta metodologa, el pro-
psito de este artculo es acercar las revisiones sistemticas y los meta-anlisis a los profesiona-
les de cualquier disciplina emprica. Con este propsito, en este artculo se describen las fases
en que se lleva a cabo un meta-anlisis y se ilustran con un ejemplo real del mbito de las cien-
cias de la educacin.
Palabras clave: revisin sistemtica, meta-anlisis, sntesis de la investigacin, tamao del efec-
to, calidad de la investigacin.

How to carry out a systematic review and a meta-analysis. Systematic reviews and, in particu-
lar, meta-analyses are a kind of scientific research aimed to objectively and systematically inte-
grate the results of a set of empirical studies about a given research problem, with the purpose
of determining the state of the art in that research field. To accomplish that objective, carrying
out a meta-analysis requires to develop a series of phases very similar to those of any empirical
research: (1) formulating the problem, (2) defining the inclusion criteria and searching for the
studies; (3) coding the study characteristics that can moderate the results, (4) calculating an ef-
fect size index, (5) defining the statistical analysis techniques and interpreting their results, and
(6) publishing the meta-analysis. Due to the relevance that this methodology is reaching, the pur-
pose of this article was to approximate systematic reviews and meta-analyses to professionals in
every empirical discipline. With this vein, in this article the phases of a meta-analysis are des-
cribed and they are also illustrated with a real example from the education sciences.
Keywords: systematic review, meta-analysis, research synthesis, effect size, research quality.

Introduccin tpico en el mbito de las ciencias sociales y


de la salud era un proceso que descansaba
Hasta hace relativamente poco tiempo, en la subjetividad del revisor y en el que no
la revisin de la literatura cientfica sobre un existan unas normas que garantizaran su
objetividad. Esta prctica llev a la conclu-
Fecha de recepcin: 3-3-2010 Fecha de aceptacin: 14-4-2010 sin de que en las ciencias sociales y de la
Correspondencia: Julio Snchez-Meca
Departamento de Psicologa Bsica y Metodologa
Facultad de Psicologa * Este trabajo ha sido financiado por un Proyecto de Investiga-
Universidad de Murcia cin del Ministerio de Ciencia e Innovacin y los Fondos FE-
Campus de Espinardo. 30100 Murcia DER (Proyecto n: PSI2009/12172).
E-mail: jsmeca@um.es
54 JULIO SNCHEZ-MECA

salud el conocimiento cientfico se acumula- cionar y valorar crticamente las investiga-


ba muy pobremente, resultando difcil al- ciones relevantes a dicha pregunta y aplican-
canzar conclusiones slidas sobre las evi- do protocolos sistemticos para la recogida
dencias cientficas obtenidas en las investi- de datos e informacin de dichas investiga-
gaciones (Rosenthal, 1991). Las dificultades ciones, con el objetivo de alcanzar conclu-
de las revisiones subjetivas se acrecentaron siones vlidas y objetivas sobre qu es lo que
conforme se produjo un incremento expo- dicen las evidencias sobre dicho tpico. En
nencial del volumen de estudios empricos palabras de Last (2001, pp. 176-177), una re-
que se publican sobre cualquier mbito. Es- visin sistemtica es la aplicacin de estra-
ta explosin de la literatura cientfica que se tegias que limitan la comisin de sesgos al
produjo a partir de la dcada de 1970 hizo integrar, analizar crticamente y sintetizar to-
prcticamente imposible la tarea de revisar dos los estudios relevantes sobre un tpico.
la literatura cientfica sobre un tpico si no El meta-anlisis puede, aunque no necesaria-
es con la ayuda de estrategias objetivas y mente, formar parte de este proceso.
sistemticas. Si en una revisin sistemtica se obtiene
Como una alternativa a las revisiones un ndice cuantitativo de la magnitud del
subjetivas, tambin denominadas narrativas, efecto que cada estudio est investigando y
surgi el meta-anlisis, y las revisiones sis- se aplican tcnicas de anlisis estadstico pa-
temticas, como una metodologa objetiva y ra integrar dichos efectos, entonces la revi-
rigurosa para llevar a cabo el proceso de re- sin sistemtica se denomina meta-anlisis.
visin de la investigacin en un campo con- As pues, podemos definir el meta-anlisis
creto de conocimiento y lograr de esta forma como el anlisis estadstico de una gran co-
una eficiente acumulacin de las evidencias leccin de resultados de trabajos individua-
(Hunt, 1997). Esta revolucin en el proceso les con el propsito de integrar los hallazgos
de revisin de la literatura tuvo lugar a prin- obtenidos (Glass, 1976, p. 3), o tambin co-
cipios de la dcada de 1980, con los traba- mo la sntesis estadstica de los datos de es-
jos, entre otros, de Gene V. Glass sobre la tudios diferentes pero similares, es decir, es-
eficacia de la psicoterapia (Smith y Glass, tudios comparables, que proporciona un re-
1977) y sobre el efecto del tamao de los sumen numrico de los resultados globales
grupos sobre el rendimiento de los alumnos (Chalmers, Hedges y Cooper, 2002, p. 17).
(Smith y Glass, 1983), as como los de John En lo que sigue, se presenta una descrip-
E. Hunter y Frank L. Schmidt sobre la vali- cin de cules son las fases en que se lleva a
dez de los tests de seleccin de personal cabo un meta-anlisis o una revisin siste-
(Schmidt y Hunter, 1977), los de Janet S. mtica. Para profundizar en esta metodolo-
Hyde sobre las diferencias sexuales en di- ga existen actualmente numerosos textos a
versas habilidades cognitivas (Hyde y Linn, los que remitimos al lector interesado en
1986), los de Robert Rosenthal sobre los profundizar ms all de los contenidos de
efectos de las expectativas del experimenta- este artculo (Borenstein, Hedges, Higgins y
dor sobre los resultados de las investigacio- Rothstein, 2009; Botella y Gambara, 2002;
nes (Rosenthal y Rubin, 1978), o los de Ste- Cooper, 2010; Cooper, Hedges y Valentine,
phen W. Raudenbush sobre los efectos de las 2009; Hedges y Olkin, 1985; Higgins y Gre-
expectativas del maestro sobre el rendimien- en, 2008; Lipsey y Wilson, 2001; Martn,
to escolar esperado de sus alumnos (Rau- Tobas y Seoane, 2006; Torgerson, 2003).
denbush, 1984).
Una revisin sistemtica es un tipo de in- Fases de un meta-anlisis
vestigacin cientfica mediante la cual se re-
visa la literatura cientfica sobre un tpico La realizacin de un meta-anlisis o de
partiendo de una pregunta formulada de for- una revisin sistemtica pasa necesariamen-
ma clara y objetiva, utilizando mtodos sis- te por las mismas fases que las que se re-
temticos y explcitos para localizar, selec- quieren para llevar a cabo un estudio emp-
CMO REALIZAR UNA REVISIN SISTEMTICA Y UN META-ANLISIS 55

rico. No obstante, dado que la unidad de con la duracin de los mismos, as como con
anlisis en un meta-anlisis es el estudio caractersticas tales como la disponibilidad
emprico, mientras que en los estudios em- de instrucciones escritas, de prctica super-
pricos la unidad de anlisis suelen ser los visada o de realizar consultas al profesor? y
participantes seleccionados a partir de una o (c) estn los resultados de los programas
varias poblaciones, las fases de un meta- relacionados con otras caractersticas de los
anlisis presentan ciertas peculiaridades que estudios, tales como el curso, el rea de co-
es preciso clarificar. En trminos generales, nocimiento estudiada, el modo de evalua-
podemos plantear la realizacin de un meta- cin de la eficacia o la fuente de publicacin
anlisis siguiendo estas seis etapas: del estudio?.

1. Formulacin del problema Bsqueda de los estudios


2. Bsqueda de los estudios Una vez planteados los objetivos del
3. Codificacin de los estudios meta-anlisis, el siguiente paso consiste en
4. Clculo del tamao del efecto localizar los estudios empricos que hayan
5. Anlisis estadstico e interpretacin abordado la pregunta objeto de investiga-
6. Publicacin del meta-anlisis cin. Esta fase pasa necesariamente por la
definicin de los criterios de inclusin y ex-
Formulacin del problema clusin de los estudios. Estos criterios de-
Como en cualquier investigacin emp- penden del objetivo del meta-anlisis, pero
rica la primera fase consiste en plantear el nunca pueden faltar los siguientes: (a) iden-
problema que se pretende investigar. Un tificar los diseos de los estudios admisibles
meta-anlisis no es distinto de los dems ti- para el meta-anlisis (e.g., slo se acepta-
pos de investigacin a este respecto. En pri- rn estudios experimentales con asignacin
mer lugar, debe formularse de forma clara la aleatoria o tambin se admitirn estudios
pregunta que se pretende responder, as co- cuasi-experimentales?); (b) definir los tipos
mo definir los constructos y conceptos im- de programas, tratamientos o intervenciones
plicados en la misma. De la formulacin de que se pretenden investigar; (c) definir las
la pregunta surgen a continuacin los objeti- caractersticas de los participantes en los es-
vos que se pretenden alcanzar con el meta- tudios (e.g., slo se admitirn estudios que
anlisis y, en su caso, las hiptesis que se han trabajado con muestras de nios y ado-
quieren contrastar (Cooper, 2010). lescentes, o con adultos, o con pacientes que
En el mbito de las ciencias sociales y tienen un determinado trastorno mdico o
de la salud, incluidas las ciencias de la edu- educativo?); (d) determinar los datos esta-
cacin, el meta-anlisis se est aplicando pa- dsticos que deben aportar los estudios para
ra responder a preguntas de muy diversa n- poder calcular los tamaos del efecto (e.g.,
dole, pero la ms comn es evaluar la efica- medias, desviaciones tpicas, proporciones,
cia de programas, tratamientos e interven- pruebas t, pruebas F de ANOVA, etc.) y (e)
ciones en general para prevenir, resolver o identificar cmo han de venir medidas las
paliar problemas educativos, psicolgicos, variables de resultado (e.g., escalas psicol-
de salud o sociales. Como ejemplo ilustrati- gicas, pruebas de rendimiento debidamente
vo vamos a describir el meta-anlisis reali- baremadas, medidas de autoinforme, etc.).
zado por Erion (2006) para evaluar la efica- Finalmente, otros dos criterios de inclusin
cia de los programas de tutorizacin paren- que no pueden faltar son el idioma en el que
tal en casa como un medio de mejorar el ren- tiene que estar escrito el estudio y el rango
dimiento escolar de los hijos. Los objetivos temporal que se pretende examinar.
concretos que perseguan con el meta-anli- Partiendo de los criterios de inclusin y
sis eran: (a) cul es la efectividad general exclusin de los estudios, se procede a reali-
de la tutorizacin parental?; (b) estn los zar una bsqueda bibliogrfica lo ms am-
resultados de los programas relacionados plia posible para identificar los estudios que
56 JULIO SNCHEZ-MECA

pueden cumplir con los criterios de selec- se revisaron las referencias de los estudios
cin. Se recomienda en esta fase combinar empricos que se fueron seleccionando.
procedimientos formales e informales de
bsqueda de estudios. De entre las fuentes Codificacin de los estudios
formales, no puede faltar la consulta de ba- Una vez seleccionados los estudios que
ses bibliogrficas electrnicas, como ERIC, cumplen con los criterios establecidos en el
PsycInfo, MedLine, CINAHL, etc., depen- meta-anlisis, el paso siguiente es elaborar
diendo del mbito de estudio del meta-an- un Manual de Codificacin en el que se ha-
lisis. Otras fuentes formales se basan en la gan explcitos los criterios mediante los cua-
consulta directa de revistas especialmente les se van a codificar las caractersticas de
sensibles al problema investigado, as como los estudios. La razn de examinar dichas
la revisin de las referencias de los estudios caractersticas no es otra que comprobar qu
que se vayan localizando. Con objeto de pa- caractersticas de los estudios pueden estar
liar los posibles efectos nocivos del fenme- moderando o afectando a los resultados. La
no del sesgo de publicacin, se recomienda codificacin de las caractersticas de los es-
complementar el uso de fuentes formales tudios es, pues, una tarea imprescindible si
con fuentes informales de bsqueda, tales queremos explicar por qu los estudios so-
como contactar con expertos de reconocido bre un mismo tema alcanzan resultados dife-
prestigio en el campo para solicitarles estu- rentes, e incluso en ocasiones contradicto-
dios no publicados, acceder a los colegios rios (Lipsey y Wilson, 2001).
invisibles o consultar libros de actas de Con este propsito se elabora un Proto-
congresos, tesis doctorales y otras estrate- colo de Registro de las variables moderadoras
gias que permitan acceder, en la medida de de los estudios y se aplica a todos ellos. Aten-
lo posible, a la literatura fugitiva (Roths- diendo a su procedencia conceptual, es habi-
tein y Hopewell, 2009). Con objeto de ana- tual distinguir entre caractersticas metodol-
lizar la fiabilidad del proceso de seleccin gicas, sustantivas y extrnsecas. Las caracte-
de los estudios, al menos dos codificadores rsticas metodolgicas son aqullas que tie-
deben realizar dicho proceso de forma inde- nen que ver con la metodologa y el diseo
pendiente y comprobar el grado de acuerdo. del estudio como, por ejemplo, el tipo de di-
En el meta-anlisis de Erion (2006) se seo (experimental vs. cuasi-experimental) el
definieron los siguientes criterios de inclu- tipo de grupo de control (placebo vs. control
sin de los estudios: (a) el estudio tena que puro), la inclusin o no de medidas pretest, la
incluir dos grupos de estudiantes, uno de mortalidad experimental, el tamao muestral
ellos actuando como grupo de control; (b) el o el uso de evaluadores enmascarados, o cie-
programa de intervencin tena que implicar gos, al tratamiento recibido por el sujeto que
tareas de tutorizacin realizadas por los pa- est siendo evaluado. En el meta-anlisis de
dres, u otros miembros de la familia, en el Erion (2006) una caracterstica metodolgica
hogar; (c) los participantes tenan que en- registrada fue si el instrumento de evaluacin
contrarse en edad escolar; (d) las variables del resultado del alumno estaba o no debida-
dependientes tenan que referirse a habilida- mente baremado o referenciado.
des escolares bsicas (e.g., lectura, pronun- De especial inters en esta fase es la va-
ciacin, matemticas y expresin escrita); loracin de la calidad metodolgica de los
(e) deba aportar los datos estadsticos perti- estudios empricos, ya que sta puede estar
nentes para poder calcular el tamao del estadsticamente relacionada con los resulta-
efecto, y (f) tena que estar escrito en ingls. dos de los estudios. Bsicamente, existen dos
Respecto de los procedimiento de bsqueda enfoques para la medicin de la calidad, el
de estudios, el meta-anlisis de Erion (2006) que se centra en el anlisis de componentes
realiz bsquedas electrnicas en las bases individuales de calidad y el que aplica esca-
ERIC, PsycInfo y Dissertation Abstracts las de calidad (Littell, Corcoran y Pillai,
Online entre los aos 1970 y 2004. Adems, 2008). La medicin de la calidad a partir de
CMO REALIZAR UNA REVISIN SISTEMTICA Y UN META-ANLISIS 57

componentes individuales consiste en identi- ractersticas sustantivas en caractersticas de


ficar dimensiones especficas que hagan re- tratamiento, de los participantes y del con-
ferencia a algn aspecto de la calidad meto- texto. Por caractersticas de tratamiento se
dolgica de un estudio evaluativo, operacio- entienden aqullas que tienen que ver con el
nalizados en tems individuales, tales como modo en que se ha definido e implementado
el tipo de asignacin de los sujetos a los tra- el programa. En el meta-anlisis de Erion
tamientos o el porcentaje de mortalidad o (2006) son ejemplos de esta categora la du-
prdida de sujetos. En esta lnea, en el ma- racin del programa de tutorizacin, la dis-
nual de revisiones sistemticas de la Colabo- ponibilidad de instrucciones escritas, la dis-
racin Cochrane, Higgins y Green (2008) ponibilidad de prctica supervisada o la po-
identifican los siguientes aspectos que nunca sibilidad de realizar consultas al profesor.
deberan faltar en la valoracin de la calidad Las caractersticas de los participantes, co-
metodolgica de los estudios evaluativos: mo su nombre indica, tienen que ver con s-
tos, tales como la edad media de la muestra,
(a) Sesgos de seleccin: diferencias sis- el porcentaje de varones en la muestra, el ti-
temticas en la composicin inicial po de trastorno padecido, la gravedad del
de los grupos pueden comprometer trastorno, la extraccin social de la muestra,
la validez interna del diseo. etc. As, en el meta-anlisis de Erion (2006)
(b) Sesgos de ejecucin: diferencias sis- se registr el curso en el que se encontraban
temticas en los cuidados proporcio- estudiando los alumnos. Y las caractersticas
nados a los grupos aparte de las in- de contexto tienen que ver con el lugar, o
tervenciones objeto de estudio (e.g., con el contexto temporal, en el que se apli-
contaminacin del tratamiento). c el programa, tal como el pas, si el pro-
(c) Sesgos por mortalidad diferencial: grama se aplic en un centro (escolar, sani-
diferencias sistemticas en las ca- tario, social) o en la casa del participante.
ractersticas de los participantes Por ltimo, las caractersticas extrnse-
que abandonan los grupos de trata- cas son aqullas que, en principio, no tendr-
miento. an por qu afectar a los resultados de los es-
(d) Sesgos de deteccin: diferencias sis- tudios, al no tener nada que ver con la apli-
temticas en la evaluacin de las va- cacin del mtodo cientfico, y sin embargo
riables de resultado (e.g., efectos de en ocasiones se observan asociaciones entre
las expectativas debidos al no en- ellas. Son ejemplos de tales variables el ao
mascaramiento de los evaluadores). de realizacin del estudio, la fuente de pu-
blicacin del estudio (publicado vs. no pu-
Por su parte, las escalas de calidad re- blicado), la formacin del investigador prin-
nen mltiples tems, definen un sistema de cipal del estudio (e.g., educador, psiclogo,
puntuacin para cada tem y posibilitan atri- trabajador social, etc.) o incluso el sexo del
buir a cada estudio una puntuacin global de investigador principal. El meta-anlisis de
calidad que considere conjuntamente todos Erion (2006) codific, por ejemplo, el ao
los aspectos que inciden en ella. Un buen del estudio y la fuente de publicacin.
meta-anlisis debe, pues, incorporar algn Una tarea muy importante que no puede
sistema de valoracin de la calidad para la faltar en un meta-anlisis es examinar la fia-
posterior comprobacin de su relacin con bilidad del proceso de codificacin de las
los resultados. caractersticas de los estudios, ya que algu-
Las caractersticas sustantivas son las nas de stas sern complejas de registrar.
que tienen que ver con el objeto propio de Con este propsito, dos codificadores, al
estudio del meta-anlisis. Como tales, de- menos, deberan codificar de forma inde-
penden de dicho objeto, pero los meta-anli- pendiente los estudios (o una muestra alea-
sis sobre la eficacia de programas e inter- toria de stos) y comprobar el grado de
venciones suelen clasificar, a su vez, las ca- acuerdo (Orwin y Vevea, 2010).
58 JULIO SNCHEZ-MECA

Clculo del tamao del efecto ca (e.g., aprueba vs. suspende, mejora vs. no
Al mismo tiempo que se codifican las mejora).
caractersticas de los estudios, se hace preci- Al igual que el proceso de codificacin
so calcular un ndice estadstico que sea ca- de las caractersticas de los estudios, el cl-
paz de reflejar la magnitud del efecto obte- culo de los tamaos del efecto en los estu-
nido en cada estudio. Ese ndice estadstico dios debe someterse a un anlisis de su fia-
tiene que ser tal que pueda calcularse de for- bilidad, mediante la realizacin de dichos
ma homognea en todos los estudios, de for- clculos por, al menos, dos codificadores de
ma que sea capaz de poner en la misma m- forma independiente, con objeto de compro-
trica los resultados de los estudios. Esta ho- bar el acuerdo alcanzado entre ellos.
mogeneizacin de la unidad de medida de En el meta-anlisis de Erion (2006), al
los resultados es necesaria porque los estu- incluir estudios con dos grupos de estudian-
dios analizan sus resultados de formas muy tes, uno que reciba el programa de tutoriza-
diversas, tales como a travs de medias y cin parental y el otro que actuaba como
desviaciones tpicas, proporciones de xito grupo de control, y medir los resultados de
(o de fracaso), mediante la aplicacin de forma continua mediante pruebas de rendi-
pruebas estadsticas diferentes, tales como miento escolar, se utiliz como ndice del ta-
pruebas t de diferencias entre medias, prue- mao del efecto la diferencia media tipifica-
bas F de ANOVA, pruebas Chi-cuadrado de da, un ndice de la familia d, que se obtiene
Pearson, etc. mediante:
La mejor forma de unificar la unidad
mtrica del resultado de los estudios es me-
diante el clculo de un ndice del tamao del
efecto. El tamao del efecto es un ndice es-
tadstico que mide el grado en que existe el siendo nT y las medias de los grupos tratados
fenmeno que se est investigando en cada y de control una vez finalizado el programa,
estudio y no se deja afectar por el tamao S es la desviacin tpica conjunta de los dos
muestral, como ocurre con las pruebas de grupos, que se obtiene mediante:
significacin estadstica (Cohen, 1988). Se
han propuesto en la literatura diferentes fa-
milias de ndices del tamao del efecto cuya
adecuada aplicacin depende del objetivo
del estudio, del diseo empleado y de la na- Siendo nT y nC los tamaos muestrales
turaleza de las variables medidas (Borens- de los dos grupos, y c(m) es un factor de co-
tein et al., 2009; Hedges y Olkin, 1985; Sn- rreccin para muestras pequeas, que se cal-
chez-Meca, 2008). Los ndices del tamao cula mediante:
del efecto ms frecuentemente utilizados en
los meta-anlisis son: (a) la familia d, espe-
cialmente indicada para estudios que aplican
diseos con dos grupos y el resultado se mi- Siendo N = nT + nC. En el meta-anlisis
de de forma continua, y que consiste en cal- de Erion (2006), valores d positivos refleja-
cular la diferencia entre las medias de los ron un mejor rendimiento en el grupo que
dos grupos y, opcionalmente, dividirla por la recibi el programa de tutorizacin parental,
desviacin tpica conjunta de ambos grupos; mientras que los valores negativos indicaron
(b) la familia r, especialmente indicada para lo contrario.
estudios correlacionales, que se basa en la
obtencin de un coeficiente de correlacin, Anlisis estadstico e interpretacin
y (c) la familia de ndices de riesgo, que es- Una vez codificadas las caractersticas
t indicada para estudios con dos grupos en de los estudios y calculados los tamaos del
los que la variable de respuesta es dicotmi- efecto, toda esta informacin se informatiza
CMO REALIZAR UNA REVISIN SISTEMTICA Y UN META-ANLISIS 59

creando una base de datos en la que las filas comn a todos los estudios. La decisin de
son los estudios y las comunas son las varia- qu modelo estadstico asumir debera
bles potencialmente moderadoras de los re- guiarse en funcin de qu grado de hetero-
sultados de los estudios, as como el tamao geneidad espera encontrar el meta-analista
del efecto obtenido en cada estudio. Un pa- entre los tamaos del efecto o, si no es capaz
so previo en el anlisis estadstico consiste de hacer una prediccin a este respecto, pue-
en describir las caractersticas de los estu- de tomar la decisin en funcin del resulta-
dios que se han codificado, con objeto de do de alguna prueba de heterogeneidad. Una
obtener una imagen prototpica de los estu- descripcin ms detallada de estos dos mo-
dios. Una vez hecho esto, el anlisis estads- delos puede consultarse en Konstantopoulos
tico tpico de un meta-anlisis pasa por tres y Hedges (2009), Raudenbush (2009), en
fases (Lipsey y Wilson, 2001; Marn-Mart- Snchez-Meca et al. (2006) o en Snchez-
nez, Snchez-Meca y Lpez-Lpez, 2009): Meca y Marn-Martnez (2010).
(1) clculo del tamao del efecto medio con Para ilustrar los resultados de un meta-
su intervalo de confianza y valoracin de su anlisis, siguiendo con el de Erion (2006), el
significacin estadstica; (2) anlisis de la tamao del efecto medio obtenido para el
heterogeneidad de los tamaos del efecto, y conjunto total de 32 estudios fue una dife-
(c) si los tamaos del efecto son heterogne- rencia media tipificada d+ = 0,54 (lmites
os, bsqueda de variables moderadoras de confidenciales: 0,43 y 0,65) asumiendo un
tal variabilidad. modelo de efectos fijos y d+ = 0,71 (lmites
En este punto es importante hacer notar confidenciales: 0,48 y 0,92), asumiendo un
que los estudios individuales de un meta- modelo de efectos aleatorios. Ambos efectos
anlisis habrn utilizado tamaos muestrales medios fueron estadsticamente significati-
diferentes, lo cual afecta a la precisin de las vos, al no contener sus respectivos interva-
estimaciones del tamao del efecto obteni- los de confianza el efecto nulo (d = 0). Ade-
das. Cuanto mayor es el tamao muestral de ms, siguiendo la gua orientativa de Cohen
un estudio, tanto mayor es su precisin. Los (1988), segn la cual ndices d en torno a
anlisis estadsticos que se realizan en un 0,2, 0,5 y 0,8 se pueden interpretar como re-
meta-anlisis ponderan el tamao del efecto flejando una magnitud del efecto baja, me-
obtenido en cada estudio en funcin de su dia y alta, respectivamente, podemos consi-
precisin, de forma que el factor de ponde- derar que el efecto medio de los programas
racin de cada estudio es la inversa de su va- de tutorizacin parental sobre el rendimien-
rianza. Pero para llevar a cabo estos anlisis to escolar es de magnitud media-alta y, por
el meta-analista tiene primero que plantear tanto, representa una significacin educativa
el modelo estadstico desde el cual va a pon- relevante.
derar los tamaos del efecto. Son dos los Un tipo de representacin grfica muy
modelos estadsticos tpicos en meta-anli- til en meta-anlisis es el forest plot, que
sis: los modelos de efectos fijos y de efectos presenta para cada estudio individual su ta-
aleatorios (Snchez-Meca, Marn-Martnez mao del efecto junto con los lmites confi-
y Huedo, 2006). denciales, tanto de forma numrica como
Bajo el modelo de efectos fijos se asume grfica, y en la parte inferior del mismo fi-
que todos los estudios estn estimando a un gura el tamao del efecto medio. Como
mismo tamao del efecto poblacional, de ejemplo, en la Figura 1 se presenta el forest
forma que la nica variabilidad entre los ta- plot con los resultados del meta-anlisis de
maos del efecto se deber al error de mues- Erion (2006). Su inspeccin permite obtener
treo. Desde el modelo de efectos aleatorios una visin global de los resultados y el gra-
se asume que cada estudio estima a su pro- do de heterogeneidad existente entre los ta-
pio tamao del efecto poblacional, enten- maos del efecto individuales.
diendo que existe una distribucin de tama- Pero el modo ms apropiado de alcanzar
os del efecto poblacionales y no uno slo el segundo objetivo analtico de un meta-
60 JULIO SNCHEZ-MECA

Figura 1. Forest plot del meta-anlisis de Erion (2006) sobre la eficacia de la tutorizacin parental. d: di-
ferencia media tipificada de cada estudio. ET: error tpico de cada ndice d. di y ds: lmites confidencia-
les inferior y superior al 95% en torno al ndice d.

anlisis, el de comprobar si los tamaos del resultados una alta heterogeneidad entre los
efecto son heterogneos, consiste en aplicar tamaos del efecto de los estudios.
la prueba de heterogeneidad, Q, que si al- Si existe heterogeneidad entre los tama-
canza la significacin estadstica significa os del efecto, entonces se hace preciso exa-
que los tamaos del efecto son heterogneos minar el influjo de caractersticas de los es-
entre si y, en consecuencia, el tamao del tudios previamente codificadas, que actan
efecto medio no los representa bien. El re- como variables predictoras, sobre los tama-
sultado del estadstico Q se suele comple- os del efecto, que actan en el anlisis co-
mentar con el ndice I2, un estadstico que mo la variable dependiente. As, mediante
cuantifica, en porcentaje, la cantidad de he- tcnicas de ANOVA y de anlisis de regre-
terogeneidad existente entre los estudios, de sin, ambas ponderadas, es posible analizar
forma que ndices I2 en torno al 25%, 50% y el influjo de variables moderadoras. Como
75% se pueden interpretar como reflejando ejemplo, la Tabla 1 presenta los resultados
heterogeneidad baja, media y alta, respecti- del ANOVA calculado con los datos del me-
vamente (Borenstein et al., 2009). En el me- ta-anlisis de Erion (2006) para comprobar
ta-anlisis de Erion (2006), la prueba Q de si la duracin del programa de tutorizacin
heterogeneidad fue Q(31) = 117,17, p < (clasificado como corta, 1-9 semanas, me-
0,001, estadsticamente significativa, y el dia, 10-29 semanas, y larga, 30 ms sema-
ndice I2 = 73,5%, reflejando pues, ambos nas) afect a los tamaos del efecto. Como
CMO REALIZAR UNA REVISIN SISTEMTICA Y UN META-ANLISIS 61

Tabla 1. Resultados del ANOVA ponderado aplicado sobre los tamaos del efecto tomando la duracin
del programa como variable independiente.

Duracin I. C. al 95%
del programa k d+ di ds

Corta 12 0,41 0,05 0,77


Media 10 0,70 0,27 1,14
Larga 10 1,09 0,69 1,45

Resultados del QB(2) = 6,15, p = 0,046


ANOVA: QW(29) = 111,02, p < 0,001

k: nmero de estudios. d+: tamao del efecto medio de cada categora de la variable independiente. di y ds: lmites con-
fidenciales inferior y superior del I.C. al 95% en torno al tamao del efecto medio de cada categora. QB: prueba esta-
dstica de contraste de diferencias entre los tamaos del efecto medios de las categoras. QW: prueba de homogeneidad
intra-categora. p: nivel crtico de probabilidad.

se puede observar en dicha tabla, conforme estudio, una definicin de los constructos
aument la duracin del programa de tutori- implicados en el planteamiento del proble-
zacin el tamao del efecto medio se incre- ma, as como los objetivos concretos perse-
ment de 0,41 para los programas cortos guidos y, en su caso, las hiptesis. La sec-
hasta 1,09 para los programas largos. Ade- cin Mtodo debe contener todos los datos y
ms, la diferencia entre los tres tamaos del decisiones tomadas en el proceso de revi-
efecto medios fue estadsticamente signifi- sin para que el meta-anlisis pueda ser re-
cativa, segn el resultado de la prueba QB de plicado por otros investigadores. As, no
comparacin inter-categoras: QB(2) = 6,15, puede faltar una descripcin de los criterios
p = 0,046. Adems, el ANOVA aporta el es- de inclusin y exclusin de los estudios, las
tadstico QW, que permite comprobar si estrategias de bsqueda de los estudios utili-
existe homogeneidad dentro de cada catego- zadas, el proceso de codificacin de las ca-
ra. En este caso, dicha prueba tambin al- ractersticas de los estudios y una descrip-
canz la significacin estadstica: QW(29) = cin del ndice del tamao del efecto junto
111,02, p < 0,001, por lo que debemos con- con las tcnicas de anlisis estadstico apli-
cluir que deben existir otras variables mode- cadas. De la precisin y meticulosidad con
radoras relevantes, aparte de la duracin del que se reporte esta seccin del informe de-
programa, capaces de explicar parte de la pender el grado en que el lector podr ha-
heterogeneidad de los tamaos del efecto. cer una lectura crtica del meta-anlisis y va-
lorar sus posibles deficiencias. En la seccin
Publicacin de Resultados se presentan los tamaos del
La ltima etapa en la realizacin de un efecto, el efecto medio y los datos estadsti-
meta-anlisis, como la de cualquier otra in- cos pertinentes para valorar su significacin
vestigacin, es su publicacin. Al tratarse de y, en su caso, los anlisis realizados para
una investigacin emprica, las secciones comprobar el influjo de variables moderado-
que debe incluir el informe escrito del meta- ras de los resultados. Por ltimo, en la sec-
anlisis son las tpicas de un estudio empri- cin de Discusin y Conclusiones los resul-
co: introduccin, mtodo, resultados y dis- tados del meta-anlisis se ponen en relacin
cusin y conclusiones (Botella y Gambara, con los objetivos e hiptesis, as como con
2006; Clarke, 2009; Snchez-Meca y Bote- las evidencias previas. Tambin se debe in-
lla, 2010). cluir una descripcin de las implicaciones
La Introduccin del informe debe in- clnicas, educativas o sociales de los resulta-
cluir una panormica del problema objeto de dos, cules pueden ser las limitaciones del
62 JULIO SNCHEZ-MECA

estudio meta-analtico y apuntar lneas futu- tienen que tomar continuamente para opti-
ras de investigacin en ese campo. Puede mizar su prctica profesional. Es por ello
consultarse en Snchez-Meca y Botella que las revisiones sistemticas y los meta-
(2010) una gua orientativa sobre cmo de- anlisis se han imbricado profundamente en
be escribirse un meta-anlisis. el enfoque de la Prctica Basada en la Evi-
dencia como una herramienta metodolgica
Reflexiones finales imprescindible para desvelar cules son las
mejores evidencias, o pruebas cientficas,
No cabe duda que las revisiones siste- acerca de cualquier problema o pregunta
mticas y los meta-anlisis estn ejerciendo social, educativa, clnica, etc. Al mismo
un importante papel en la acumulacin del tiempo, la evaluacin de la calidad metodo-
conocimiento cientfico y, en consecuencia, lgica de los estudios primarios, y de la in-
se han convertido en un potente instrumen- vestigacin en general, es una cuestin fun-
to para ayudar en la toma de decisiones que damental que trasciende al meta-anlisis y
los profesionales de cualquier mbito profe- se imbrica en las propias races del mtodo
sional de las ciencias sociales y de la salud cientfico.

Referencias
Borenstein, M., Hedges, L.V., Higgins, J.P.T. y Hunt, M. (1997). How science takes stock: The
Rothstein, H.R. (2009). Introduction to meta- story of meta-analysis. Nueva York: Russell
analysis. Chichester, UK: Wiley. Sage Foundation.
Botella, J. y Gambara, H. (2002). Qu es el meta- Hyde, J.S. y Linn, M.C. (1986). The psychology
anlisis. Madrid: Biblioteca Nueva. of gender: Advances through meta-analysis.
Botella, J. y Gambara, H. (2006). Doing and repor- Baltimore, MD: Johns Hopkins University
ting a meta-analysis. International Journal of Press.
Clinical and Health Psychology, 6, 425-440. Konstantopoulos, S. y Hedges, L.V. (2009).
Chalmers, I., Hedges, L.V. y Cooper, H. (2002). A Analyzing effect sizes: Fixed-effects models.
brief history of research synthesis. Evalua- En H. Cooper, L.V. Hedges y J.C. Valentine
tion and the Health Professions, 25, 12-37. (Eds.), The handbook of research synthesis
Clarke, M. (2009). Reporting format. En H. Coo- and meta-analysis 2 ed. (pp. 279-293). Nue-
per, L.V. Hedges y J.C. Valentine (Eds.), The va York: Russell Sage Foundation.
handbook of research synthesis and meta- Last, J.M. (2001). A dictionary of epidemiology.
analysis 2 ed. (pp. 279-293). Nueva York: Oxford, UK: Oxford University Press.
Russell Sage Foundation. Lipsey, M.W. y Wilson, D.B. (2001). Practical
Cooper, H. (2010). Research synthesis and meta- meta-analysis. Thousand Oaks, CA: Sage.
analysis: A step-by-step approach (3 ed.). Littell, J. H., Corcoran, J. y Pillai, V. (2008).
Thousand Oaks, CA: Sage. Systematic reviews and meta-analysis. Ox-
Cooper, H., Hedges, L.V. y Valentine, J.C. ford, UK: Oxford University Press.
(Eds.)(2009). The handbook of research Marn-Martnez, F., Snchez-Meca, J. y Lpez-
synthesis and meta-analysis (2 ed.). Nueva Lpez, J.A. (2009). El meta-anlisis en el
York: Russell Sage Foundation. mbito de las Ciencias de la Salud: Una me-
Erion, J. (2006). Parent tutoring: A meta-analysis. todologa imprescindible para la eficiente
Education and Treatment of Children, 29, 79- acumulacin del conocimiento. Fisioterapia,
106. 31, 107-114.
Glass, G.V. (1976). Primary, secondary, and meta- Martn, J.L.R., Tobas, A. y Seoane, T. (Coords.)
analysis of research. Educational Researcher, (2006). Revisiones sistemticas en las cien-
10, 3-8. cias de la vida. Toledo: FISCAM.
Hedges, L.V. y Olkin, I. (1985). Statistical me- Orwin, R.G. y Vevea, J.L. (2009). Evaluating co-
thods for meta-analysis. Orlando, FL: Acade- ding decisions. En H. Cooper, L.V. Hedges y
mic Press. J.C. Valentine (Eds.), The handbook of rese-
Higgins, J.P.T. y Green, S. (Eds.)(2008). Cochra- arch synthesis and meta-analysis 2 ed. (pp.
ne handbook for systematic reviews of inter- 177-203). Nueva York: Russell Sage Foun-
ventions. Chichester, UK: Wiley-Blackwell. dation.
CMO REALIZAR UNA REVISIN SISTEMTICA Y UN META-ANLISIS 63

Raudenbush, S.W. (1984). Magnitude of teacher sistemticas y meta-anlisis: Herramientas


expectancy effects on pupil IQ as a function para la prctica profesional. Papeles del Psi-
of the credibility of expectancy induction: A clogo, 31, 7-17.
synthesis of findings. Journal of Educational Snchez-Meca, J. y Marn-Martnez, F. (2010).
Psychology, 76, 85-97. Meta-analysis. En P.P. Peterson, E. Baker y
Raundebush, S.W. (2009). Analyzing effect sizes: B. McGraw (Eds.), International encyclope-
Random-effects models. En H. Cooper, L.V. dia of education, vol. 7 (3 ed.) (pp. 274-282).
Hedges y J.C. Valentine (Eds.), The handbo- Oxford: Elsevier.
ok of research synthesis and meta-analysis 2 Snchez-Meca, J., Marn-Martnez, F. y Huedo, T.
ed. (pp. 295-315). Nueva York: Russell Sage (2006). Modelo de efectos fijos y modelo de
Foundation. efectos aleatorios. En J.L.R. Martn, A. Tob-
Rosenthal, R. (1991). Meta-analytic procedures as y T. Seoane (Coords.), Revisiones sistem-
for social research (ed. rev.). Newbury Park, ticas en ciencias de la vida (pp. 189-204). To-
CA: Sage. ledo: FISCAM.
Rosenthal, R. y Rubin, D.B. (1978). Interpersonal Schmidt, F.L. y Hunter, J.E. (1977). Development
expectancy effects: The first 345 studies. Be- of a general solution to the problem of vali-
havioral and Brain Sciences, 3, 377-415. dity generalization. Journal of Applied
Rothstein, H.R. y Hopewell, S. (2009). Grey lite- Psychology, 62, 529-540.
rature. En H. Cooper, L.V. Hedges y J.C. Va- Smith, M.L. y Glass, G.V. (1977). Meta-analysis
lentine (Eds.), The handbook of research of psychotherapy outcome studies. American
synthesis and meta-analysis 2 ed. (pp. 103- Psychologist, 32, 752-760.
125). Nueva York: Russell Sage Foundation. Smith, M.L. y Glass, G.V. (1983). Meta-analysis
Snchez-Meca, J. (2008). Meta-anlisis de la in- of research on class size and its relationship
vestigacin. En M.A. Verdugo, M. Crespo, to attitude and instruction. En R.J. Light
M. Bada y B. Arias (Coords.), Metodologa (Ed.), Evaluation studies annual review, Vol.
en la investigacin sobre discapacidad. Sala- 8 (pp. 433-447). Beverly Hills, CA: Sage.
manca: Publicaciones del INICO. Torgerson, C. (2003). Systematic reviews. Lon-
Snchez-Meca, J. y Botella, J. (2010). Revisiones dres: Continuum International Pub. Group.