Está en la página 1de 14

Psicothema 2007. Vol. 19, n 2, pp.

308-321 ISSN 0214 - 9915 CODEN PSOTEG


www.psicothema.com Copyright 2007 Psicothema

METODOLOGA

Cmo ajustar e interpretar modelos multinivel con SPSS

Antonio Pardo, Miguel ngel Ruiz y Rafael San Martn


Universidad Autnoma de Madrid

Los modelos jerrquicos o multinivel permiten analizar datos cuando los casos estn agrupados en uni-
dades de informacin ms amplias y se toman medidas tanto en el nivel ms bajo (los casos) como en
los niveles ms altos (los grupos). En este trabajo se describen los modelos multinivel comnmente tra-
tados en la literatura estadstica y se explica cmo ajustarlos utilizando el SPSS (cualquier versin a
partir de la 11) y cmo interpretar los resultados. En concreto se describen, ajustan e interpretan los si-
guientes modelos: (1) anlisis de varianza de un factor de efectos aleatorios, (2) anlisis de regresin
con medias como resultados, (3) anlisis de covarianza de un factor de efectos aleatorios, (4) anlisis
de regresin con coeficientes aleatorios y (5) anlisis de regresin con medias y pendientes como re-
sultados. Todos los modelos se describen intentando hacerlos comprensibles para los investigadores en
ciencias del comportamiento y la salud.

How to fit and interpret multilevel models using SPSS. Hierarchic or multilevel models are used to
analyse data when cases belong to known groups and sample units are selected both from the individ-
ual level and from the group level. In this work, the multilevel models most commonly discussed in the
statistic literature are described, explaining how to fit these models using the SPSS program (any ver-
sion as of the 11th) and how to interpret the outcomes of the analysis. Five particular models are de-
scribed, fitted, and interpreted: (1) one-way analysis of variance with random effects, (2) regression
analysis with means-as-outcomes, (3) one-way analysis of covariance with random effects, (4) regres-
sion analysis with random coefficients, and (5) regression analysis with means- and slopes-as-out-
comes. All models are explained, trying to make them understandable to researchers in health and be-
haviour sciences.

Los modelos jerrquicos o multinivel han ido cobrado un inte- dos desventajas: justamente por ser especficos poseen limitaciones
rs creciente en los ltimos aos gracias a la aparicin de progra- importantes en lo relativo a la gestin de datos (tambin en las presta-
mas informticos especficamente diseados para ajustar este tipo ciones grficas) y obligan al usuario a familiarizarse con un nuevo pro-
de modelos. Entre estos programas destacan el MLwiN (Rasbash grama.
et al., 2000) y el HLM (Raudenbush, Bryk, Cheong, y Congdon, Los programas generales, por el contrario, tienen la importante
2000). Tambin los programas de anlisis ms generales (SPSS, ventaja de que los usuarios ya los conocen. Pero tambin tienen
SAS, R/S-Plus) incluyen procedimientos que pueden adaptarse pa- desventajas: el ajuste de modelos multinivel puede resultar una ta-
ra ajustar modelos multinivel (vase De Leew y Kreft, 2001, para rea bastante compleja y la documentacin relativa al ajuste de mo-
una comparativa del software disponible). delos multinivel con estos programas es muy escasa. Pinheiro y
Los programas especficos (MlwiN y HLM) permiten ajustar prc- Bates (2000) explican cmo ajustar modelos multinivel con el
ticamente todo tipo de modelos multinivel, por complejos que sean, y R/S-Plus. Littell, Milliken, Stroup y Wolfinger (1996) y Singer
no suelen dar problemas de estimacin. Pero tienen, a nuestro juicio, (1998) muestran cmo utilizar el SAS para ajustar modelos multi-
nivel.
En relacin con el ajuste de modelos multinivel con el SPSS,
Fecha recepcin: 24-5-06 Fecha aceptacin: 8-2-07 Norusis (2005) ofrece una interpretacin correcta y asequible de
Correspondencia: Antonio Pardo algunos modelos multinivel, pero sin prestar atencin a los aspec-
Facultad de Psicologa tos formales de los mismos ni a la descripcin de sus elementos.
Universidad Autnoma de Madrid
28049 Madrid (Spain) Y Leyland (2004), en un trabajo publicado en formato electrnico
E-mail: antonio.pardo@uam.es en Internet por el Centre for Multilevel Modelling, ofrece la sinta-
CMO AJUSTAR E INTERPRETAR MODELOS MULTINIVEL CON SPSS 309

xis necesaria para ajustar varios modelos multinivel, pero sin pres- canzado al cabo de seis semanas de tratamiento (variable depen-
tar atencin a la interpretacin de los resultados. diente Y) en un centro hospitalario cualquiera. Ambas variables se
En este contexto, este trabajo pretende ofrecer a los usuarios encuentran medidas en el nivel 1 (son variables de los pacientes).
del SPSS una gua completa para ayudarles a: (1) elegir el mode- La ecuacin de regresin lineal que expresa la relacin entre estas
lo multinivel apropiado; (2) ajustarlo utilizando el SPSS; y (3) in- dos variables adopta la forma:
terpretar correctamente los resultados que ofrece.
Yi = 0 + 1 Xi + ei
Estructuras jerrquicas
El coeficiente 0 (que se conoce como constante o intersec-
El procedimiento MIXED del SPSS (disponible a partir de la cin) es la recuperacin que el modelo pronostica para un pacien-
versin 11) permite ajustar un tipo particular de modelos lineales te con puntuacin basal cero. El coeficiente 1 (pendiente de la
llamados jerrquicos (Raudenbush y Bryk, 2002), o multinivel recta de regresin) es el cambio que el modelo pronostica en la re-
(Goldstein, 2003), o de coeficientes aleatorios (Longford, 1993). cuperacin (Y) por cada unidad que aumenta la puntuacin basal
Estos modelos se han propuesto para analizar datos cuando los ca- (X). El trmino residual ei representa el error asociado a cada pro-
sos estn agrupados en unidades de informacin ms amplias y se nstico individual, es decir, la diferencia existente entre la recupe-
toman medidas tanto en el nivel ms bajo (los casos) como en los racin real de cada paciente y la pronosticada por el modelo. Se
niveles ms altos (los grupos). asume que estos residuos se distribuyen normalmente con varian-
2
Las estructuras jerrquicas o multinivel se dan en muchos con- za finita e .
textos: los pacientes se encuentran agrupados en centros hospita- La figura 1 (grfico superior) muestra la nube de puntos y la
larios; los alumnos se encuentran agrupados en aulas y stas en co- ecuacin de regresin de Y sobre X en un centro hospitalario hipo-
legios; los individuos se encuentran agrupados en familias, stas ttico. La pendiente positiva de la recta indica que cuanto mayor
en barrios y stos en ciudades; etc. es la puntuacin basal de los pacientes, mayor es la recuperacin
El hecho relevante de estas estructuras jerrquicas desde el que experimentan.
punto de vista del anlisis estadstico es que los pacientes del mis- Para que el coeficiente 0 tenga un significado claro es habitual
mo centro hospitalario, o los alumnos del mismo colegio, o los in- reescalar los valores de la variable independiente. As, por ejem-
dividuos de la misma familia cabe esperar que sean ms parecidos plo, restando a cada puntuacin basal su media (es decir, utilizan-
entre s que los pacientes de distintos centros hospitalarios, o los do las puntuaciones diferenciales centradas en lugar de las di-
alumnos de diferentes colegios, o los individuos de diferentes fa- rectas), el coeficiente 0 se convierte en la media de la variable de-
milias. Esto significa que los sujetos que pertenecen al mismo sub- pendiente, que es justamente el valor pronosticado para la puntua-
grupo no son, muy probablemente, independientes entre s, lo que cin basal media:
constituye un serio incumplimiento de un supuesto bsico del mo-

delo lineal general: la independencia entre observaciones. Los mo- Yi = 0 + 1 xi + ei (con xi = Xi - X )
delos lineales mixtos (entre ellos, los multinivel) permiten abordar
este tipo de estructuras jerrquicas prestando atencin a la cova- La figura 1 (grfico inferior) muestra la nube de puntos y la
rianza existente en los datos. ecuacin de regresin con las puntuaciones basales centradas: al
En los apartados que siguen se explica cmo ajustar con el centrar X cambia el valor de 0, pero no la nube de puntos, ni la
SPSS los modelos jerrquicos o multinivel ms comnmente re- pendiente 1, ni los residuos).
cogidos en la literatura estadstica (vase Goldstein, 2003; Heck y Consideremos ahora dos centros distintos. La figura 2 ilustra
Thomas, 2000; Hox, 2002; Kreft y de Leeuw, 1998; Luke, 2004; y cmo se comporta la relacin entre la recuperacin en la sexta se-
Raudenbush y Bryk, 2002). mana, Y, y las puntuaciones basales centradas, x, en dos centros hi-
En todos los ejemplos propuestos se utiliza un archivo llamado potticos (crculos y tringulos). Los dos centros (las dos rectas de
Depresin (puede descargarse de la pgina web http://www.inno- regresin) representados en el grfico superior nicamente difie-
va.decp.uam.es/main.php?id=212 seleccionando la asignatura mo- ren en la recuperacin media (0): la media del centro representa-
delos multinivel y la opcin materiales). El archivo contiene una do con crculos es mayor que la del centro representado con trin-
muestra de 379 pacientes con trastorno depresivo que han recibi- gulos; sin embargo, sus pendientes (1) son prcticamente idnti-
do tratamiento en 11 centros hospitalarios distintos. Incluye varia- cas. Por el contrario, los dos centros representados en el grfico in-
bles propias de los pacientes (nivel 1) y de los centros (nivel 2). ferior difieren tanto en sus medias como en sus pendientes: el cen-
Por ejemplo, las puntuaciones en la escala de depresin de Hamil- tro representado con crculos tiene mayor media y mayor pen-
ton o el sexo son variables medidas en el nivel 1; y el tipo de cen- diente que el representado con tringulos.
tro (pblico, privado) o la edad media de los pacientes de cada Obviamente, para reflejar estas diferencias entre los centros es
centro son variables medidas en el nivel 2 (la edad de cada pa- necesario recurrir a dos ecuaciones de regresin, una para cada
ciente es una variable del nivel 1, pero la edad media de los pa- centro:
cientes en cada centro es una variable del nivel 2).
Yi 1 = 01 + 11 xi1 + ei 1

Qu es un modelo jerrquico o multinivel (con xij = Xij - X )
Yi 2 = 02 + 12 xi2 + ei 2
Para entender fcilmente en qu consiste un modelo jerrquico
o multinivel conviene comenzar estudiando la relacin entre dos (el subndice j se refiere a los centros: j = 1, 2). La primera ecua-
variables, por ejemplo: las puntuaciones basales en la escala de cin recoge la relacin entre la recuperacin y las puntuaciones
Hamilton (variable independiente X) y el grado de recuperacin al- basales en el centro 1; la segunda, esa misma relacin en el centro
310 ANTONIO PARDO, MIGUEL NGEL RUIZ Y RAFAEL SAN MARTN

2. El coeficiente 01 representa la recuperacin media de los pa- multinivel: el modelo refleja cmo se relacionan las unidades del
cientes del centro 1; el coeficiente 02, la de los pacientes del cen- primer nivel en cada uno de los subgrupos definidos por el segun-
tro 2. El coeficiente 11 es la pendiente del centro 1; el coeficiente do nivel.
12, la del centro 2; ambos reflejan el cambio pronosticado en la Lo que interesa destacar en este momento es que los parme-
recuperacin de los respectivos centros por cada unidad que au- tros 0j y 1j ya no se interpretan como constantes fijas, como en
menta la puntuacin basal. el modelo de regresin clsico, sino como variables cuyos valores
Si en lugar de dos centros se tienen J centros, no es necesario pueden cambiar de un centro a otro:
recurrir a J ecuaciones de regresin; es ms prctico utilizar una
sola ecuacin para todos los centros: 0j = 0 + u0j
1j = 1 + u1j
Yij = 0j + 1j xij + eij [1]
Es decir, el parmetro 0j est formado por una parte fija o sis-
(por simplicidad se asume que los residuos se distribuyen normal- temtica 0 que representa la recuperacin media de la poblacin
mente y con igual varianza en todos los centros). Ahora, tanto la de centros y una parte aleatoria u0j que refleja la variabilidad de ca-
interseccin como la pendiente aparecen acompaadas del subn- da centro respecto de esa media poblacional. Del mismo modo, el
dice j. Esto significa que el modelo permite a cada centro tener su trmino 1j est formado por una parte fija o sistemtica 1 que es
propia interseccin y su propia pendiente. Y justamente esta va- la pendiente media que relaciona el grado de recuperacin con las
riabilidad en el segundo nivel es lo que caracteriza a un modelo puntuaciones basales en la poblacin de centros y una parte alea-

25 25
Y = -0,14 + 0,43 X

20 20

15
Recuperacin en la semana 6

15
Recuperacin en la semana 6

10

10
5

5 0

-5
0
0 10 20 30 40 50 -20 -10 0 10 20
Hamilton momento basal Hamilton momento basal (puntuac. centradas)

25
25
Y = 10,86 + 0,43 X

20 20

15
15
Recuperacin en la semana 6
Recuperacin en la semana 6

10
10
5

5
0

0 -5
-20 -10 0 10 20 -20 -10 0 10 20

Hamilton momento basal (puntuac. centradas) Hamilton momento basal (puntuac. centradas)

Figura 1. Relacin entre la recuperacin en la semana 6 y las puntuacio- Figura 2. Relacin entre la recuperacin en la semana 6 y las puntuacio-
nes basales (arriba) y las puntuaciones basales centradas (abajo) en un hi- nes basales centradas. Cada recta de regresin se refiere a un centro hos-
pottico centro hospitalario pitalario distinto
CMO AJUSTAR E INTERPRETAR MODELOS MULTINIVEL CON SPSS 311

toria u1j que refleja la variabilidad de las pendientes de los distin- el modelo una o ms variables del nivel 2 que puedan dar cuenta
tos centros respecto de esa pendiente poblacional media. Se asume de esa variacin. Por ejemplo, los centros hospitalarios del archi-
que los trminos u0j y u1j son variables aleatorias con valor espe- vo Depresin estn clasificados como pblicos (sector = 0) y pri-
2 2
rado cero y varianzas u 0 y u 1, respectivamente. vados (sector = 1). Podra darse el caso de que esta distincin del
Dentro de 0j , los trminos 0 y u0j se asume que son indepen- nivel 2 fuera la responsable (al menos en parte) de la variabilidad
dientes. Y lo mismo vale decir de los trminos 1 y u1j dentro de existente no ya slo entre las medias de los centros, sino entre las
1j . Sin embargo, entre los trminos 0j y 1j no se asume inde- pendientes que relacionan la recuperacin con las puntuaciones
pendencia. La relacin entre ambos viene dada por: basales. Para incluir en el modelo esta variable del nivel 2:

(0j , 1j ) = cov (0j , 1j) / (u 0 u 1) 0j = 00 + 01 Zj + u0j


1j = 10 + 11 Zj + u1j [2]
Si el tamao de las medias es independiente del tamao de las
pendientes, entonces (0j , 1j ) = 0. Esto es lo que ocurre en los (Z = sector). Llevando a [1] los valores de 0j y 1j en [2] se ob-
grficos a, b, c y f de la figura 3; en los grficos a y b todos los tiene la formulacin convencional de un modelo multinivel:
2
centros comparten la misma ecuacin de regresin, es decir, u 0 =
2
u 1 = 0 en ambos casos (pero con 1 = 0 en a, y 1 > 0 en b); en el Yij = 00 + 01 Zj + u0j + 10 xij + 11 xij Zj + u1j xij + eij
2
grfico c los centros tienen distinta media (u 0> 0) pero la misma
2
pendiente (u 1 = 0); y en el grfico f existen diferencias tanto en Los trminos del modelo pueden reordenarse colocando los
2 2
las medias (u 0> 0) como en las pendientes (u 1> 0). efectos fijos al principio y los aleatorios al final (entre parntesis):
Si las pendientes de los centros son tanto mayores cuanto ma-
yores son las medias (como ocurre en el grfico d), (0j, 1j) to- Yij = 00 + 01 Zj + 10 xij + 11 xij Zj + (u0j + u1j xij + eij ) [3]
ma un valor positivo.
Por ltimo, si las pendientes de los centros son tanto menores Ahora, 00 es la recuperacin media de los centros pblicos (de-
cuanto mayores son las medias (como ocurre en el grfico e), be tenerse en cuenta que la variable sector es dicotmica); 01 es la
(0j , 1j ) toma un valor negativo. diferencia entre la recuperacin media de los centros pblicos y la
Puesto que tanto las medias como la relacin entre X e Y pue- de los privados; 10 es la pendiente media en los centros pblicos; 11
den variar de centro a centro, puede resultar interesante incluir en es la diferencia entre la pendiente media de los centros pblicos y la

(a) (b) (c)


Y Y Y

X X X

(d) (e) (f)


Y Y Y

X X X
Figura 3. Posibles pautas de relacin entre X e Y en seis hipotticos centros hospitalarios
312 ANTONIO PARDO, MIGUEL NGEL RUIZ Y RAFAEL SAN MARTN

2
de los privados; u0j es el efecto del j-simo centro sobre la recupe- buyen normalmente con media cero y con igual varianza e en to-
racin media cuando Z se mantiene constante; y u1j es el efecto del dos los centros.
j-simo centro sobre la pendiente cuando Z se mantiene constante. En el nivel 2 (el nivel de los centros) la recuperacin media de
Es claro que el modelo multinivel propuesto en [3] no es un cada centro (0j ) se interpreta como la combinacin de la recupe-
modelo de regresin lineal clsico, pues no es posible asumir in- racin media en la poblacin de centros (00) y la variacin aleato-
dependencia entre los residuos e igualdad de varianzas entre los ria de cada centro (u0j ) en torno a esa media:
centros. Por un lado, la parte aleatoria del modelo (la parte inclui-
da entre parntesis) es ms compleja que en el modelo de regre- 0j = 00 + u0j
sin lineal convencional (el cual nicamente incluye eij ); es evi-
dente que los residuos de un modelo multinivel no son indepen- Se asume que el componente aleatorio de este nivel, u0j , tiene
2
dientes dentro de cada centro porque los componentes u0j y u1j son valor esperado cero y varianza u 0. Sustituyendo se obtiene el mo-
comunes a todos los sujetos del mismo centro. Por otro lado, la va- delo mixto multinivel, o modelo combinado:
rianza de los residuos no es la misma en todos los centros porque
tanto u0j como u1j varan (pueden variar) de centro a centro. Yij = 00 + u0j + eij ,
La ecuacin [1] es el modelo del nivel 1, la ecuacin [2] es el
modelo del nivel 2 y la ecuacin [3] es el modelo combinado. Es- que no es otra cosa que el modelo de ANOVA de un factor de efec-
te ltimo incluye tanto efectos fijos (los que estn fuera del parn- tos aleatorios si se utiliza la notacin convencional de los modelos
tesis) como aleatorios (los que estn dentro del parntesis); por de ANOVA: Yij= + j + eij .
tanto, es un modelo mixto. Los parmetros son los coeficientes Para tratar el factor centro como un factor de efectos aleatorios
del nivel 1 (los pacientes); los residuos eij son el componente alea- y obtener las estimaciones que ofrece el procedimiento MIXED del
torio del nivel 1. Los parmetros son los coeficientes del nivel 2; SPSS:
los residuos u0j y u1j son los componentes aleatorios del nivel 2. La
varianza de los residuos eij es la varianza del nivel 1; las varianzas Seleccionar la opcin Modelos mixtos > Lineales del men Ana-
de u0j y u1j y su covarianza son los componentes de varianza-co- lizar y, en el cuadro de dilogo previo al principal, pulsar el botn Con-
varianza del nivel 2. tinuar (sin seleccionar ninguna variable) para acceder al cuadro de di-
Con una variable independiente de cada nivel (X del 1 y Z del logo principal; seleccionar la variable recupera (recuperacin en la se-
2), el modelo [3] es un modelo multinivel completo: incluye todos mana 6) y trasladarla al cuadro Variable dependiente; seleccionar la
los trminos posibles. Eliminando trminos de l se obtienen el variable centro (centro hospitalario) y trasladarla a la lista Factores;
resto de modelos multinivel. En los apartados que siguen se des- pulsar el botn Aleatorios para acceder al subcuadro de dilogo Mo-
criben los siguientes modelos (vase Raudenbush y Bryk, 2002, delos lineales mixtos: Efectos aleatorios, seleccionar la variable centro
captulos 2 y 4), ordenados del ms simple al ms complejo: an- y pulsar el botn Aadir para trasladarla a la lista Modelo; pulsar el
lisis de varianza de un factor de efectos aleatorios, anlisis de re- botn Continuar para volver al cuadro de dilogo principal; pulsar el
gresin con medias como resultados, anlisis de covarianza de un botn Estadsticos para acceder al subcuadro de dilogo Modelos li-
factor de efectos aleatorios, anlisis de regresin con coeficientes neales mixtos: Estadsticos y marcar las opciones Estadsticos des-
aleatorios, y anlisis de regresin con medias y pendientes como criptivos, Estimaciones de los parmetros y Contrastes sobre los
resultados (los modelos multinivel tambin pueden utilizarse para parmetros de covarianza.
analizar datos longitudinales Arnau y Balluerka, 2004; Rauden-
bush y Bryk, 2002, cap. 6, pero esta variante no ser tratada aqu). Aceptando estas selecciones, el Visor de resultados ofrece, en-
Todos estos modelos se explican utilizando el archivo Depresin. tre otras cosas, la informacin que muestran las tablas 1 y 2 y el
En concreto, como variables del nivel 1 (los pacientes) se utilizan modelo AEA de las tablas 3 y 4. La tabla 1 ofrece informacin
dos: recupera (recuperacin en la semana 6) y basal (puntuacio- descriptiva: el nmero de pacientes por centro oscila entre 15 y 82;
nes en la escala de Hamilton en el momento basal). Como varia- la recuperacin media observada no es la misma en todos los cen-
bles del nivel 2 se utilizan otras dos: edad (edad media de los pa- tros (en el centro n 5 se obtiene la media ms baja (4,50); en el
cientes en cada centro) y sector (tipo de centro: pblico o privado). centro n 11 se obtiene la ms alta (13,40); a la espera de lo que
puedan decir los contrastes pertinentes, el grado de recuperacin
Anlisis de varianza: un factor de efectos aleatorios (AEA) lograda tras el tratamiento parece estar relacionada con el centro);
las ltimas dos columnas ofrecen la desviacin tpica y el coefi-
El modelo jerrquico o multinivel ms simple posible se obtie- ciente de variacin (cociente entre la desviacin tpica y la media,
ne eliminando del modelo [3] todo lo relacionado con las variables expresado en porcentaje).
independientes X y Z. Se obtiene as un modelo sin variables in- La tabla 2 ofrece varios estadsticos de ajuste global que indi-
dependientes o pronosticadoras que recibe el nombre de modelo can en qu medida el modelo propuesto es capaz de representar la
incondicional o nulo y que en el nivel 1 (en el nivel de los pacien- variabilidad observada en los datos (el ajuste del modelo a los da-
tes) adopta la forma: tos es tanto mejor cuanto menor es el valor de estos estadsticos).
El primero de estos estadsticos es la desvianza (-2LL; vase Mc-
Yij = 0j + eij Cullag y Nelder, 1989, pp. 24, 33-36). El resto son modificaciones
de -2LL que penalizan (incrementando) su valor mediante, bsica-
En este nivel, la recuperacin de un paciente (Y) se interpreta mente, alguna funcin del nmero de parmetros. El segundo es-
como el resultado de combinar la recuperacin media del centro al tadstico (AIC) es el criterio de informacin de Akaike (Akaike,
que pertenece (0j ) y los residuos o la variacin aleatoria (eij) en 1974); el tercero (AICC) es el criterio de informacin de Akaike
torno a esa media. Se asume que los errores o residuos se distri- corregido (Hurvich y Tsai, 1989); el cuarto (CAIC) es el criterio
CMO AJUSTAR E INTERPRETAR MODELOS MULTINIVEL CON SPSS 313

de informacin de Akaike consistente (Bozdogan, 1987); y el quin- En el ejemplo, el efecto del factor centro puede evaluarse com-
to (BIC) es el criterio de informacin bayesiano (Schwarz, 1978): parando el modelo que incluye ese efecto y el modelo que no lo in-
cluye. La tabla 2 contiene el valor del estadstico -2LL asociado al
modelo que incluye tanto la constante como el factor de efectos
AIC = -2LL + 2 d aleatorios centro (2.199,27). El valor del estadstico -2LL asociado
2 dn al modelo que nicamente incluye el trmino constante vale
AICC = -2LL +
n -d -1 2.342,94 (para obtener este valor basta con ajustar el modelo que
CAIC = -2LL + d [ log(n) +1] nicamente incluye la variable dependiente recupera y el trmino
constante). La diferencia entre ambos valores, -2LLcambio = 2.342,94
BIC = -2LL + d log(n) - 2.199,27 = 143,67, se distribuye segn chi-cuadrado con 1 grado
de libertad (el que corresponde al parmetro asociado al factor cen-
LL se refiere al logaritmo de la verosimilitud si se utiliza el m- tro, que es el nico parmetro en el que difieren ambos modelos).
todo de estimacin MV y al logaritmo de la verosimilitud restrin- La probabilidad de encontrar valores chi-cuadrado iguales o mayo-
gida si se utiliza el mtodo MVR. Si se utiliza MV, d es el nme- res que 143,67 es menor que 0,0005; por tanto, se puede rechazar
ro de parmetros asociados a los efectos fijos ms el nmero de la hiptesis de que el efecto del factor centro es nulo.
parmetros asociados a los efectos aleatorios, y n es el nmero to- Aunque la valoracin de un efecto concreto forma parte de los
tal de casos. Si se utiliza MVR, d es el nmero de parmetros aso- resultados que ofrece el procedimiento MIXED, la estrategia basa-
ciados a los efectos aleatorios y n es el nmero total de casos me- da en el cambio observado en el estadstico -2LL es ms fiable que
nos el nmero de parmetros asociados a los efectos fijos. el estadstico de Wald (vase tabla 4) cuando se tienen tamaos
Estos estadsticos de ajuste global no tienen una interpretacin muestrales pequeos. No obstante, la verdadera utilidad de la es-
directa, pero son muy tiles para comparar modelos alternativos trategia basada en el estadstico -2LL radica en la posibilidad de
siempre que uno de ellos incluya todos los trminos del otro. La comparar el efecto simultneo de varios trminos o, lo que es lo
diferencia entre los estadsticos -2LL correspondientes a dos mo- mismo, en la posibilidad de comparar el grado de ajuste de mode-
delos distintos se distribuye segn chi-cuadrado con grados de li- los alternativos.
bertad igual al nmero de parmetros en que difieren los dos mo- La tabla 3 (modelo AEA) recoge el valor estimado de la cons-
delos comparados; por tanto, la diferencia entre los estadsticos tante o interseccin, que es el nico parmetro de efectos fijos pre-
-2LL correspondientes a dos modelos distintos puede utilizarse sente en este modelo. Se trata de una estimacin de la media po-
para valorar la ganancia que se obtiene en el ajuste cuando se aa- blacional de los 11 centros en la variable dependiente recupera. La
den los efectos en que difieren ambos modelos. estimacin ( = 9,15) aparece acompaada de su error tpico, sus
grados de libertad, su valor tipificado (t, que se obtiene dividiendo
la estimacin entre su error tpico) y el nivel crtico obtenido al
Tabla 1
Descriptivos de la variable recuperacin en cada centro hospitalario contrastar la hiptesis de que el parmetro vale cero. Los resulta-
(DT= desviacin tpica; CV= coeficiente de variacin) dos de la tabla permiten afirmar que el valor poblacional de la
constante o interseccin del modelo es distinto de cero (Sig. <
Centro n Media DT CV 0,0005). Aunque el contraste de la hiptesis nula referida al tr-
mino constante suele carecer de inters, el rechazo de la hiptesis
01 023 11,91 4,32 36,2%
en este ejemplo est indicando que la recuperacin media de la po-
02 015 07,80 4,33 55,5%
blacin de pacientes es mayor que cero.
03 027 08,81 4,33 49,2%
La tabla 4 (modelo AEA) ofrece las estimaciones de los par-
04 035 06,31 3,89 61,5% metros de covarianza, es decir, las estimaciones de los parmetros
05 034 04,50 3,52 78,2% asociados a los efectos aleatorios del modelo. La varianza del fac-
06 017 11,24 4,68 41,7% tor (centro = 9,09) indica cunto vara la variable dependiente en-
07 024 10,58 4,77 45,1% tre los centros de toda la poblacin, y la varianza de los residuos
08 032 07,09 4,50 63,4% (residuos = 18,00) indica cunto vara la variable dependiente den-
09 042 13,10 5,03 38,4% tro de cada centro (esta varianza residual es la que en los procedi-
10 048 05,85 3,63 62,0% mientos ANOVA de un factor y MLG recibe el nombre de media
11 082 13,40 4,14 30,9%
cuadrtica error). Segn estas estimaciones, la variabilidad entre
los centros representa el (9,09) / (9,09 + 18,00) = 0,34, o 34% de la
Total 379 09,51 5,33 56,0% variabilidad total. Es decir, de la variabilidad total de la variable
dependiente (recuperacin), aproximadamente un tercio corres-
ponde a la diferencia entre las medias de los centros hospitalarios.
Tabla 2 El cociente 0,34 recibe el nombre de coeficiente de correlacin
Estadsticos de ajuste global (se muestran en formatos de mejor cuanto ms intraclase (CCI) y representa el grado de variabilidad existente en-
pequeos)
tre los distintos centros en comparacin con la variabilidad exis-
-2 log de la verosimilitud restringida 2.199,27 tente entre los pacientes del mismo centro. Un valor de uno indica
Criterio de inform. de Akaike (AIC) 2.203,27
que toda la variabilidad se debe al factor, es decir, a la diferencia
entre los centros (lo que slo ocurrir cuando en todos los pacien-
Criterio de Hurvich-Tsai (AICC) 2.203,30
tes de un mismo centro se d la misma recuperacin y los centros
Criterio de Bozdogan (CAIC) 2.213,14
tengan diferentes promedios). Un valor de cero indica que el fac-
Criterio bayesiano de Schwarz (BIC) 2.211,14
tor no contribuye en absoluto a explicar la variabilidad de la recu-
314 ANTONIO PARDO, MIGUEL NGEL RUIZ Y RAFAEL SAN MARTN

peracin; es decir, que toda la varianza est explicada por las dife- tadstico, que se obtiene dividiendo la varianza estimada entre su
rencias existentes dentro de cada centro (lo que slo ocurrir cuan- error tpico, tiene asociado un nivel crtico (Sig.) menor que 0,05.
do en todos los centros se d la misma recuperacin media). Por Por tanto, se puede rechazar la hiptesis nula y afirmar que la va-
tanto, el valor del CCI tambin representa el grado de relacin o rianza del factor es distinta de cero. Se puede concluir que el nivel
parecido existente entre los pacientes del mismo centro. de recuperacin no es el mismo en todos los centros hospitalarios
La tabla de estimaciones de los parmetros de covarianza contie- (esta conclusin se refiere a la poblacin de centros hospitalarios
ne informacin adicional que permite contrastar la significacin de de los que los 11 utilizados constituyen una muestra aleatoria).
cada estimacin. La hiptesis que interesa contrastar en el modelo Los parmetros de covarianza se han estimado asumiendo que el
de un factor es que el efecto del factor es nulo. Puesto que el factor factor centro es independiente de los residuos (componentes de la
2
es de efectos aleatorios, esta hiptesis adopta la forma: H0: = 0. varianza), de ah que el modelo de un factor de efectos aleatorios re-
Para contrastar la hiptesis de que la varianza poblacional del ciba el nombre de modelo incondicional: la varianza entre centros
factor centro vale cero se ofrece el estadstico Z de Wald. Este es- es distinta de cero independientemente de cualquier otra considera-

Tabla 3
Estimaciones de los parmetros de efectos fijos

Modelo* Parmetro Estimacin Error tpico gl t Sig.

AEA interseccin -9,15 0,94 010,3 0-9,73 0,000

RMR interseccin -9,54 0,56 009,55 -17,17 0,000


cedad -0,39 0,09 009,59 0-4,59 0,001

ACEA interseccin -9,51 0,52 009,46 -18,46 0,000


cedad -0,34 0,08 009,69 0-4,25 0,002
cbasal -0,22 0,03 372,11 -06,55 0,000

RCA interseccin -9,15 0,77 010,60 -11,85 0,000


cbasal -0,37 0,11 010,02 -03,43 0,006

RMPR interseccin -9,92 0,83 008,95 -11,91 0,000


sector -1,21 1,20 008,27 0-1,01 0,343
cedad -0,25 0,09 008,54 0-2,67 0,027
cbasal -0,59 0,09 005,19 -06,83 0,001
sector*cbasal -0,52 0,12 004,41 0-4,30 0,010
cedad*cbasal -0,00 0,01 004,78 0-0,40 0,709

* AEA: ANOVA de un factor de efectos aleatorios; RMR: Regresin con medias como resultados; ACEA: ANCOVA de un factor efectos aleatorios; RCA: Regresin con coeficientes aleato-
rios; RMPR: Regresin con medias y pendientes como resultados

Tabla 4
Estimaciones de los parmetros de covarianza

Modelo* Parmetro Estimacin Error tp. Wald Z Sig.

AEA residuos -18,00 1,33 -13,57 0,000


centro Varianza -09,09 4,28 -02,12 0,034

RMR residuos -17,99 1,32 -13,59 0,000


centro Varianza -02,69 1,50 -01,80 0,073

ACEA residuos -16,21 1,20 -13,56 0,000


interseccin [sujeto = centro] Varianza -02,29 1,30 -01,77 0,077

RCA residuos -12,64 0,94 -13,38 0,000


interseccin + cbasal [sujeto = centro] NE (1,1) -06,03 2,84 -02,12 0,034
NE (2,1) -00,22 0,29 -00,76 0,448
NE (2,2) -00,11 0,06 -01,99 0,046

RMPR residuos -12,73 0,96 -13,25 0,000


interseccin + cbasal [sujeto = centro] NE (1,1) -03,45 1,93 -01,78 0,074
NE (2,1) 0-0,01 0,14 0-0,10 0,917
NE (2,2) -00,03 0,03 -01,04 0,297

* AEA: ANOVA de un factor de efectos aleatorios; RMR: Regresin con medias como resultados; ACEA: ANCOVA de un factor efectos aleatorios; RCA: Regresin con coeficientes aleato-
rios; RMPR: Regresin con medias y pendientes como resultados
CMO AJUSTAR E INTERPRETAR MODELOS MULTINIVEL CON SPSS 315

cin. Segn se ver ms adelante, este modelo tambin recibe el Veamos con un ejemplo cmo ajustar e interpretar un modelo
nombre de modelo nulo, pues se utiliza como referente para con- multinivel con una covariable del nivel 2. Para pronosticar el gra-
trastar, por comparacin con l, la significacin de otros trminos. do de recuperacin (recupera) a partir de la edad media de los pa-
cientes de cada centro (cedad; los valores de esta variable estn
Anlisis de regresin: medias como resultados (RMR) centrados en la media):

El modelo nulo o de un factor aleatorio estudiado en el aparta- Seleccionar la opcin Modelos mixtos > Lineales del men Ana-
do anterior informa, bsicamente, de dos aspectos: (1) de la varia- lizar y, en el cuadro de dilogo previo al principal, trasladar la variable
bilidad dentro de cada centro; y (2) de la variabilidad entre las me- centro (centro hospitalario) a la lista Sujetos y pulsar el botn Conti-
dias de los distintos centros. Las diferencias entre los pacientes del nuar para acceder al cuadro de dilogo principal; seleccionar la varia-
mismo centro constituyen la variabilidad del nivel 1. Las diferen- ble recupera (recuperacin en la semana 6) y trasladarla al cuadro Va-
cias entre las medias de los centros constituyen la variabilidad del riable dependiente; seleccionar la variable cedad (edad media centra-
nivel 2. Ambos tipos de variabilidad pueden reducirse utilizando da) y trasladarla a la lista Covariables; pulsar el botn Fijos para ac-
variables independientes del nivel apropiado. ceder al subcuadro de dilogo Modelos lineales mixtos: Efectos fijos,
Comencemos con la variabilidad del nivel 2. Constatada la seleccionar la variable cedad y pulsar el botn Aadir para trasladarla
existencia de diferencias entre las medias de los centros, el si- a la lista Modelo; pulsar el botn Continuar para volver al cuadro de
guiente paso del anlisis debe dirigirse a averiguar si hay alguna dilogo principal; pulsar el botn Aleatorios para acceder al sub-
variable capaz de dar cuenta de esas diferencias. El archivo De- cuadro de dilogo Modelos lineales mixtos: Efectos aleatorios, marcar
presin incluye una variable (edad) que recoge la edad media de la opcin Incluir interseccin y trasladar la variable centro a la lista
los pacientes de cada centro (se trata, por tanto, de una variable del Combinaciones; pulsar el botn Continuar para volver al cuadro de
nivel 2). Se sabe que la edad est relacionada con el alivio de los dilogo principal; pulsar el botn Estadsticos para acceder al sub-
sntomas depresivos: stos tienden a remitir con mayor rapidez en cuadro de dilogo Modelos lineales mixtos: Estadsticos y marcar las
personas jvenes. En consecuencia, puesto que la edad media de opciones Estimaciones de los parmetros y Contrastes sobre los pa-
los pacientes no es la misma en todos los centros, las diferencias rmetros de covarianza; pulsar el botn Continuar para volver al
observadas en la recuperacin de los pacientes de distintos centros cuadro de dilogo principal.
podran estar explicadas, al menos en parte, por las diferencias en
la edad media de los pacientes. Aceptando estas selecciones, el Visor ofrece, entre otros, los re-
Respecto del modelo nulo presentado en el apartado anterior, el sultados que muestran las tablas 3 y 4 (modelo RMR). La tabla 3
modelo actual nicamente aade una covariable medida en el ni- recoge las estimaciones de los dos parmetros de efectos fijos, es
vel 2. El modelo del nivel 1 no cambia: decir, de la interseccin ( = 9,54) y del coeficiente asociado a la
covariable cedad ( 01 = -0,39). Puesto que la covariable cedad es-
Yij = 0j + eij t centrada (puntuaciones diferenciales), el valor de la interseccin
es una estimacin de la recuperacin media en la poblacin de
Y la covariable del nivel 2 interviene, lgicamente, en el mo- centros. Y el valor del coeficiente asociado a la covariable indica
delo del nivel 2: que por cada ao que aumenta la edad media en un centro, la re-
cuperacin de los pacientes disminuye 0,39 puntos. Como este co-

0j = 00 + 01 zj + u0j (con zj = Zj - Z ) eficiente tiene asociado un estadstico t cuyo nivel crtico (Sig.=
0,001) es menor que 0,05, se puede afirmar que la edad de los pa-
(en lugar de utilizar las puntuaciones directas Z se utilizan las di- cientes est relacionada con el grado de recuperacin.
ferenciales z para que la constante 00 tenga un significado claro). La tabla 4 muestra las estimaciones de los parmetros de cova-
2
Sustituyendo se obtiene el modelo combinado: rianza. La estimacin de la varianza de los residuos ( e = 17,99)
2
es similar a la obtenida con el modelo nulo ( e = 18,00; vase mo-
Yij = 00 + 01 zj + (u0j + eij) delo AEA); por tanto, no parece que la variabilidad del nivel 1 se
vea afectada por la presencia de una covariable del nivel 2. Sin em-
2
(el parntesis separa la parte aleatoria del modelo de la parte fija). bargo, la estimacin de la variabilidad entre los centros ( u 0) ha
Lo que realmente se est haciendo con este modelo es pronosticar disminuido sensiblemente: ha pasado de 9,09 en el modelo AEA a
la recuperacin media de cada centro a partir de la edad media de 2,69 en el modelo RMR. Por tanto, la variabilidad del nivel 2 s se
sus pacientes. Puesto que la constante o interseccin del nivel 1, ha visto afectada por la presencia de una covariable del nivel 2. El
0j (que no olvidemos que es la media de la variable dependiente nivel crtico asociado al estadstico de Wald (Sig.= 0,073) indica
cuando se utilizan variables independientes centradas), es funcin que, despus de controlar la edad de los pacientes, no parece que
de los coeficientes y variables del nivel 2, a este modelo se le lla- los centros difieran en el grado de recuperacin. No obstante, da-
ma modelo de medias (o constantes, o intersecciones) como resul- do que el estadstico de Wald es muy conservador con muestras
tados. pequeas, quiz sea prudente pensar que todava queda por expli-
A diferencia de lo que ocurre en el modelo nulo, aqu el trmi- car parte de las diferencias entre los centros. De hecho, comparan-
no u0j no se refiere exactamente al efecto del factor centro, sino al do los el estadsticos -2LL asociados a ambos modelos se llega a
efecto del factor centro tras eliminar el efecto atribuible a la cova- la conclusin de que la varianza entre los centros es distinta de ce-
riable z. Del mismo modo, la varianza que recoge la variabilidad ro. En concreto, con el modelo nulo se obtuvo -2LL= 2.199,27
2
entre los centros, u 0, ahora es una varianza condicional: indica (vase tabla 2). Al incluir la covariable cedad se obtiene -2LL=
cmo varan los centros tras eliminar las diferencias atribuibles a 2.190,40 (aunque no se incluye aqu la tabla, el procedimiento
la covariable z. ofrece este resultado por defecto). La diferencia entre ambos valo-
316 ANTONIO PARDO, MIGUEL NGEL RUIZ Y RAFAEL SAN MARTN

res (8,87) se distribuye segn chi-cuadrado con 1 grado de libertad Yij = 00 + 01 zj + 10 xij + (u0j + eij )
(los dos modelos comparados nicamente difieren en el parmetro
01). La probabilidad de encontrar valores mayores o iguales que Para ajustar un modelo de estas caractersticas basta con repe-
8,87 en la distribucin chi-cuadrado con 1 grado de libertad vale tir los pasos del ejemplo anterior (donde nicamente se inclua la
0,003. Por tanto, puede concluirse que, despus de controlar el variable cedad) aadiendo la variable cbasal (puntuaciones en el
efecto de la edad, la recuperacin media no es la misma en todos momento basal centradas) a la lista Covariables del cuadro de di-
los centros (o si se prefiere, la varianza de las medias de los cen- logo principal y a la lista Modelo del subcuadro de dilogo Mo-
tros es mayor que cero). delos lineales mixtos: Efectos fijos.
El coeficiente de correlacin intraclase permite precisar qu pro- Al aadir esta nueva covariable se obtienen, entre otros, los re-
porcin de la varianza total se debe a diferencias entre los centros: sultados que muestran las tablas 3 y 4 (modelo ACEA). La tabla
3 ofrece las estimaciones de los tres parmetros de efectos fijos
2 2 2
CCI = u 0 / ( u 0 + e ) = 2,69 / (2,69 + 17,99) = 0,13 del modelo: (1) la constante o interseccin (00= 9,51), que sigue
siendo una estimacin de la recuperacin media en la poblacin
Este valor indica que, despus de controlar el efecto atribuible de centros; (2) el coeficiente asociado a la variable cedad (01=
a la edad media, el 13% de la varianza total (la varianza de la va- -0,34), que es muy similar al obtenido antes de incluir la covaria-
riable dependiente) todava es atribuible o corresponde a diferen- ble cbasal (vase modelo RMR); y (3) el coeficiente asociado a la
cias entre las medias de los centros. Este coeficiente es ahora con- variable cbasal (10= 0,22), que indica que por cada unidad que
dicional: informa de lo que ocurre con los centros y la recupera- aumentan las puntuaciones basales, la recuperacin aumenta 0,22
cin tras controlar el efecto de la edad. unidades.
Recurdese que en el modelo nulo el CCI vala 0,34. Al incluir La tabla 4 muestra las estimaciones de los dos parmetros de
la covariable cedad, el valor del CCI ha bajado a 0,13. Esto es de- covarianza. La estimacin de la variabilidad entre los centros
2
bido a que buena parte de las diferencias observadas entre los cen- ( u 0) ha disminuido ligeramente; ha pasado de 2,69 (vase mode-
2
tros est explicada por las diferencias en la edad media de los pa- lo RMR) a 2,29. Y la varianza de los residuos ( e) ha pasado de
cientes. Comparando las estimaciones de los parmetros de cova- 18,00 en el modelo nulo (vase modelo AEA) a 16,21. Por tanto,
rianza del modelo nulo (AEA) y del modelo que incluye cedad al corregir el grado de recuperacin mediante las puntuaciones ba-
(RMR) puede conocerse la proporcin de varianza explicada en el sales, la variabilidad intracentro se ha visto reducida en un 9,9%.
nivel 2: (9,092,69)/9,09= 0,70. Es decir, el 70% de las diferencias
observadas entre los centros (diferencias en la recuperacin me- Anlisis de regresin: coeficientes aleatorios (RCA)
dia) son diferencias atribuibles a la edad de los pacientes.
A los modelos multinivel estudiados hasta ahora se les suele
Anlisis de covarianza: un factor de efectos aleatorios (ACEA) llamar modelos de constantes o intersecciones aleatorias porque,
en todos ellos, el nico coeficiente que vara aleatoriamente de un
Una covariable del nivel 2 permite encontrar explicacin a las centro a otro es la constante o interseccin del nivel 1, es decir,
diferencias existentes entre las medias de los centros, es decir, a la 0j . En estos modelos, la pendiente, 1j , o no existe (como en el
variabilidad del nivel 2. Pero, dado que todos los pacientes del caso del ANOVA de un factor de efectos aleatorios y en el de la
mismo centro tienen el mismo valor en la covariable del nivel 2 y regresin con medias como resultados) o se le hace tomar un va-
2
que la varianza del nivel 1, e , se asume que es igual en todos los lor fijo (como en el caso del ANCOVA de un factor de efectos
centros, una covariable del nivel 2 no sirve para explicar las dife- aleatorios).
rencias entre los pacientes del mismo centro (variabilidad del ni- El modelo de ANCOVA expuesto en el apartado anterior asu-
vel 1). Para esto es necesario una covariable del nivel 1. me que la relacin entre la covariable (cbasal) y la variable de-
El archivo Depresin incluye una variable (basal) que recoge pendiente (recupera) es homognea en todos los centros (es decir,
las puntuaciones basales de los pacientes. Se sabe que las puntua- 1j = 10 para todo j). Sin embargo, para responder correctamente
ciones basales estn relacionadas con el grado de recuperacin: s- a la cuestin de qu parte de la variabilidad intracentro (variabili-
te tiende a ser mayor cuando las puntuaciones basales son ms al- dad del nivel 1) puede ser explicada por las puntuaciones basales,
tas. Consecuentemente, las puntuaciones basales de los pacientes es decir, para evaluar correctamente la relacin existente entre el
podran ayudar a explicar, al menos en parte, las diferencias ob- grado de recuperacin y las puntuaciones basales, es necesario ob-
servadas entre los pacientes de un mismo centro. Al incluir una tener una ecuacin de regresin para cada centro y analizar cmo
covariable del nivel 1, el modelo en ese nivel adopta la forma: varan las intersecciones y las pendientes de esas ecuaciones. Al
proceder de esta manera se est asumiendo no slo que los centros

Yij = 0j + 1j xij + eij (con xij = Xij - X ) pueden diferir en el grado de recuperacin (distintas medias), sino
que la relacin entre el grado de recuperacin y las puntuaciones
En el nivel 2, el trmino 0j no cambia (0j = 00 + 01 zj + u0j ), basales puede no ser la misma en todos los centros (distintas pen-
y el trmino 1j es el mismo para todos los centros (pues, de mo- dientes).
mento, slo se estn relacionando dos variables del nivel 1): Al modelo que recoge este tipo de variacin se le llama de mo-
delo de coeficientes aleatorios justamente porque deja que ambos
1j = 10 coeficientes (la interseccin y la pendiente) puedan variar aleato-
riamente de centro a centro. En el nivel 1, el modelo es idntico al
El coeficiente 10 representa la pendiente media que relaciona ANCOVA de un factor aleatorio estudiado en el apartado anterior:
la recuperacin de los pacientes con sus puntuaciones basales.
Sustituyendo se obtiene el modelo combinado: Yij = 0j + 1j xij + eij
CMO AJUSTAR E INTERPRETAR MODELOS MULTINIVEL CON SPSS 317

En el nivel 2, el trmino 0j tambin se define de idntica ma- do las puntuaciones basales con el grado de recuperacin; 0,37 es
nera en ambos modelos: 0j = 00 + u0j (por supuesto, aqu es posi- una estimacin de la media de todas esas pendientes). El valor de
ble introducir, si se desea, una o ms covariables del nivel 2). La este coeficiente indica que por cada punto que aumentan las pun-
diferencia entre ambos modelos est en la forma de definir la pen- tuaciones basales, la recuperacin aumenta 0,37 puntos. El esta-
diente 1j : mientras en el ANCOVA de un factor aleatorio se in- dstico t y su nivel crtico (Sig.= 0,006) permiten afirmar que el co-
terpreta como una constante (se estima una sola pendiente para to- eficiente es significativamente distinto de cero y, consecuentemen-
dos los centros: 1j = 10), en el modelo de regresin con coefi- te, que las puntuaciones basales estn positivamente relacionadas
cientes aleatorios se interpreta como una variable: con el grado de recuperacin.
La tabla 4 recoge las estimaciones de los cuatro parmetros de
1j = 10 + u1j covarianza que incluye el modelo RCA: la varianza de los errores
2
o residuos (residuos = e ), la varianza de las medias o intersec-
2
Por tanto, cada centro tiene su propia pendiente (se estiman ciones (NE(1,1) = u 0), la varianza de las pendientes (NE(2,2) =
2
tantas pendientes como centros). Sustituyendo, el modelo combi- u 1) y la covarianza entre las medias y las pendientes (NE(2,1)).
nado queda de la siguiente manera: Veamos el significado de cada estimacin:

Yij = 00 + 10 xij + (u0j + u1j xij + eij), (1) La varianza de los residuos refleja en qu medida varan
los pacientes alrededor de la recta de regresin de su cen-
donde 00 representa la recuperacin media en la poblacin de cen- tro. El valor estimado, 12,64, es menor que el valor estima-
tros, 10 es la pendiente media que relaciona la variable depen- do con el modelo nulo (18,00; vase modelo AEA); com-
diente (recuperacin) con la covariable (puntuaciones basales), u0j parando estas dos estimaciones (la del modelo nulo y la
es el efecto del j-simo centro sobre las medias, u1j es el efecto del del modelo de coeficientes aleatorios) es posible conocer
j-simo centro sobre las pendientes, y eij es el error (residuos) del la proporcin de varianza explicada en el nivel 1: (18,00
nivel 1. Se sigue asumiendo que los residuos eij se distribuyen nor- - 12,64)/18,00 = 0,298. Es decir, al incluir las puntuacio-
2
malmente con media cero y con igual varianza e en todos los cen- nes basales en el modelo de regresin utilizando una ecua-
tros, y que u0j y u1j se distribuyen normalmente con valor espera- cin separada para cada centro, la variabilidad intracentro
2 2
do cero y varianzas u 0 y u 1, respectivamente. se reduce aproximadamente un 30%. Recurdese que uti-
Para ajustar e interpretar un modelo de regresin con coefi- lizando una sola ecuacin de regresin para todos los cen-
cientes aleatorios con la variable cbasal (puntuaciones basales tros (vase modelo ACEA), las puntuaciones basales con-
centradas) como covariable del nivel 1: seguan reducir la variabilidad intracentro nicamente un
9,9%.
2
Seleccionar la opcin Modelos mixtos > Lineales del men Ana- (2) La varianza de las medias o intersecciones ( u 0 = 6,03) es
lizar y, en el cuadro de dilogo previo al principal, trasladar la variable mayor que cero (Sig.= 0,034). Por tanto, puede concluirse
centro (centro hospitalario) a la lista Sujetos y pulsar el botn Conti- que la recuperacin media de los centros, es decir, las in-
nuar para acceder al cuadro de dilogo principal; seleccionar la varia- tersecciones de las ecuaciones de regresin de los distintos
ble recupera (recuperacin en la semana 6) y trasladarla al cuadro Va- centros, no son iguales.
2
riable dependiente; seleccionar la variable cbasal (puntuaciones basa- (3) La varianza de las pendientes ( u 1 = 0,11) es mayor que
les centradas) y trasladarla a la lista Covariables; pulsar el botn Fi- cero (Sig.= 0,046). Por tanto, puede concluirse que las
jos para acceder al subcuadro de dilogo Modelos lineales mixtos: pendientes de las ecuaciones de regresin no son iguales
Efectos fijos, seleccionar la variable cbasal y pulsar el botn Aadir en todos los centros; es decir, que la relacin entre las pun-
para trasladarla a la lista Modelo; pulsar el botn Continuar para vol- tuaciones basales y el grado de recuperacin va cambian-
ver al cuadro de dilogo principal; pulsar el botn Aleatorios para do a lo largo de la poblacin de centros.
acceder al subcuadro de dilogo Modelos lineales mixtos: Efectos alea- (4) Las pendientes no parecen estar relacionadas con las me-
torios; seleccionar Sin estructura1 en el men desplegable Tipo de co- dias (Sig.= 0,448). Es decir, la relacin intracentro entre
varianza, marcar la opcin Incluir interseccin y trasladar la variable las puntuaciones basales y el grado de recuperacin no pa-
cbasal a la lista Modelo y la variable centro a la lista Combinaciones; rece ir aumentando o disminuyendo conforme lo hace el
pulsar el botn Continuar para volver al cuadro de dilogo principal; tamao de las medias.
pulsar el botn Estadsticos para acceder al subcuadro de dilogo
Modelos lineales mixtos: Estadsticos y marcar las opciones Estima-
ciones de los parmetros y Contrastes sobre los parmetros de Anlisis de regresin: medias y pendientes como resultados
covarianza; pulsar el botn Continuar para volver al cuadro de dilo- (RMPR)
go principal.
Habiendo encontrado que tanto las medias (es decir, las cons-
Aceptando estas selecciones, el Visor ofrece, entre otros, los re- tantes o intersecciones) como las pendientes varan de centro a
sultados que muestran las tablas 3 y 4 (modelo RCA). Las estima- centro, el siguiente paso lgico consiste en intentar averiguar qu
ciones de los parmetros de efectos fijos, que en este modelo son variables podran dar cuenta de esta variabilidad. Se trata de com-
dos, estn recogidas en la tabla 3: el valor de la constante o inter- prender por qu la recuperacin media de unos centros es mayor
seccin (00 = 9,15) sigue reflejando la recuperacin media en la que la de otros, y por qu la relacin (la pendiente) entre las pun-
poblacin de centros y el valor del coeficiente asociado a la varia- tuaciones basales y el grado de recuperacin es mayor en unos
ble cbasal (10 = 0,37) es una estimacin de la pendiente media (en centros que en otros. ste es justamente el hecho diferencial o ca-
cada centro se ha estimado una ecuacin de regresin relacionan- racterstico de un modelo multinivel: los coeficientes (medias y
318 ANTONIO PARDO, MIGUEL NGEL RUIZ Y RAFAEL SAN MARTN

pendientes) del nivel 1 se interpretan o conciben como resultados cuperacin es o no la misma cuando cambia la edad me-
de los coeficientes y variables del nivel 2. dia de los centros.
Al estudiar el modelo de medias como resultados ha quedado 12 = efecto conjunto de las variables cbasal y sector; indica si
establecido que la edad de los pacientes explica el 70% de las di- la relacin entre las puntuaciones basales y el grado de re-
ferencias observadas en la recuperacin media de los centros, es cuperacin es o no la misma en los centros pblicos y en
decir, del 70% de la variabilidad entre las medias. Falta por averi- los privados.
guar qu variable(s) podra(n) dar cuenta de la variabilidad obser-
vada entre las pendientes. Se sigue asumiendo que los residuos eij se distribuyen normal-
2
El archivo Depresin incluye una variable llamada sector (tipo mente con media cero y con igual varianza e en todos los centros,
de centro hospitalario) con cdigo 0 para los centros pblicos y c- y que u0j y u1j se distribuyen normalmente con valor esperado ce-
2 2
digo 1 para los privados. Curiosamente, la relacin entre las pun- ro y varianzas u 0 y u 1, respectivamente.
tuaciones basales y el grado de recuperacin es sensiblemente ma- Para ajustar e interpretar un modelo de regresin que trate las
yor en los centros pblicos (rxy = 0,79) que en los privados (rxy = medias y las pendientes como resultados:
0,05). Se trata, pues, de una variable que podra ayudar a explicar,
al menos en parte, las diferencias encontradas entre las pendientes. Seleccionar la opcin Modelos mixtos > Lineales del men Ana-
El modelo de regresin que interpreta las medias (interseccio- lizar y, en el cuadro de dilogo previo al principal, trasladar la variable
nes) y las pendientes como resultados es, en el nivel 1, idntico al centro (centro hospitalario) a la lista Sujetos y pulsar el botn Conti-
modelo de coeficientes aleatorios: nuar para acceder al cuadro de dilogo principal; seleccionar la varia-
ble recupera (recuperacin en la semana 6) y trasladarla al cuadro Va-
Yij = 0j + 1j xij + eij riable dependiente; seleccionar las variables sector (tipo de centro
hospitalario), cedad (edad media centrada) y cbasal (puntuaciones ba-
Pero en el nivel 2 incluye las variables que se desea utilizar pa- sales centradas) y trasladarlas a la lista Covariables (sector puede in-
ra explicar la variabilidad de las medias y de las pendientes: cluirse como covariable por ser dicotmica); pulsar el botn Fijos
para acceder al subcuadro de dilogo Modelos lineales mixtos: Efectos
0j = 00 + 01 zj + 02 wj + u0j fijos y trasladar a la lista Modelo los efectos principales sector, cedad
1j = 10 + 11 zj + 12 wj + u1j, y cbasal y las interacciones cbasal* cedad y cbasal*sector; pulsar el
botn Continuar para volver al cuadro de dilogo principal; pulsar el
Tanto z como w son variables del nivel 2. Sustituyendo, el mo- botn Aleatorios para acceder al subcuadro de dilogo Modelos li-
delo multinivel mixto o combinado queda de la siguiente manera: neales mixtos: Efectos aleatorios, seleccionar Sin estructura en el me-
n desplegable Tipo de covarianza, marcar la opcin Incluir inter-
Yij = 00 + 01 zj + 02 wj + 10 xij + 11 xij zj + 12 xij wj + seccin, y trasladar la variable cbasal a la lista Modelo y la variable
(u0j + u1j xij + eij) centro a la lista Combinaciones; pulsar el botn Continuar para vol-
ver al cuadro de dilogo principal; pulsar el botn Estadsticos para
Y haciendo x = cbasal; z = cedad y w = sector, el modelo de acceder al subcuadro de dilogo Modelos lineales mixtos: Estadsticos
medias y pendientes como resultados queda reformulado como: y marcar las opciones Estimaciones de los parmetros y Contrastes
sobre los parmetros de covarianza; pulsar el botn Continuar para
Yij = 00 + 01 (cedad)j + 02 (sector)j + 10 (cbasal)ij + 11 (cbasal)ij volver al cuadro de dilogo principal.
(cedad)j + 12 (cbasal)ij (sector)j + (u0j + u1j (cbasal)ij + eij ),
Aceptando estas selecciones, el Visor ofrece, entre otros, los re-
donde: sultados que muestran las tablas 3 y 4 (modelo RMPR). La tabla 3
ofrece las estimaciones de los parmetros de efectos fijos, que en
00 = recuperacin media de todos los centros. este modelo son seis: la interseccin, los tres efectos principales y
01 = efecto principal de la edad; indica si la recuperacin de las dos interacciones (es decir, todos los coeficientes gamma del
los centros con edad media alta difiere de la de los centros modelo). Veamos cul es el significado de cada estimacin ayu-
con edad media baja (controlado el efecto del sector). dndonos de los grficos de la figura 4:
02 = efecto principal del sector; indica si la recuperacin de los
centros pblicos difiere de la de los centros privados (con- (1) Al igual que en el resto de modelos estudiados, la cons-
trolado el efecto de la edad). tante o interseccin (00 = 9,92) es una estimacin de la re-
10 = pendiente media que relaciona el grado de recuperacin cuperacin media en la poblacin de centros. El nivel cr-
con las puntuaciones basales. tico asociado al estadstico t (Sig. < 0,0005) permite afir-
u0j = efecto del j-simo centro sobre las medias. mar que esa media poblacional es distinta de cero.
u1j = efecto del j-simo centro sobre las pendientes. (2) Controlado el efecto del tipo de centro (sector), la edad
eij = errores o residuos aleatorios del nivel 1. (cedad) est relacionada negativa (01 = -0,25) y significa-
tivamente (Sig.= 0,027) con el grado de recuperacin. Por
Lo caracterstico de este modelo es que incluye dos interaccio- tanto, una vez eliminadas las diferencias debidas al tipo de
nes entre variables de distinto nivel (cbasal es una variable del ni- centro (pblico, privado), por cada ao que se incrementa
vel 1, y cedad y sector son variables del nivel 2): la edad media de un centro la recuperacin media de los
pacientes disminuye 0,25 puntos. En los grficos de la fi-
11 = efecto conjunto de las variables cbasal y cedad; indica si gura 4 se aprecia con claridad el efecto de la edad: confor-
la relacin entre las puntuaciones basales y el grado de re- me aumenta la edad (1 = menos edad, 3 = ms edad),
CMO AJUSTAR E INTERPRETAR MODELOS MULTINIVEL CON SPSS 319

las medias o intersecciones (puntos en los que las rectas los pacientes aumenta 0,59 puntos. Por tanto, la pendiente
cortan la lnea de referencia trazada sobre la puntuacin media del conjunto de centros es positiva.
basal cero) son ms bajas; y esto es as tanto en los centros (5) El efecto de la interaccin entre la edad (cedad) y las pun-
pblicos como en los privados. tuaciones basales (cbasal) es nulo: el coeficiente 11 vale 0.
(3) Controlado el efecto de la edad (cedad), el tipo de centro El nivel crtico asociado (Sig.= 0,709) indica que no es po-
(sector) no parece afectar al grado de recuperacin. El sible afirmar que la edad est contribuyendo a explicar la
valor del coeficiente (02 = -1,21) indica que, una vez variabilidad existente entre las pendientes que relacionan
eliminado el efecto de la edad, la recuperacin media de las puntuaciones basales y el grado de recuperacin (si,
los centros privados (sector = 1) es 1,21 puntos menor por ejemplo, esta interaccin tuviera asociado un coefi-
que la de los centros pblicos (sector = 0). Pero esta di- ciente positivo y significativo, estara indicando que la re-
ferencia no es estadsticamente significativa (Sig.= lacin entre las puntuaciones basales y el grado de recupe-
0,343). En los centros representados en la figura 4, los racin es mayor cuanto mayor es la edad media de los cen-
puntos de corte de las dos lneas continuas y ms gruesas tros). Ya se ha sealado que conforme aumenta la edad
estn aproximadamente a la misma altura en los centros media de los centros disminuye la recuperacin media (la
pblicos y en los privados (el valor 00 = 9,92 es una edad afecta a las medias o intersecciones). Lo que se est
estimacin de esa altura). afirmando ahora es que los cambios en la edad no alteran
(4) Las puntuaciones basales (cbasal) estn relacionadas posi- las pendientes: en los grficos de la figura 4 se puede apre-
tiva (10 = 0,59) y significativamente (Sig. = 0,001) con el ciar que la relacin es muy similar tanto en los tres centros
grado de recuperacin. Por cada punto de incremento que pblicos (las tres pendientes son muy parecidas) como en
se produce en las puntuaciones basales, la recuperacin de los tres privados (las tres pendientes son prcticamente
idnticas).
Tipo de centro: pblico (6) En relacin con la interaccin entre el tipo de centro (sec-
25 tor) y las puntuaciones basales (cbasal), el coeficiente 12
toma un valor negativo (-0,52) y tiene asociado un nivel
20 crtico menor que 0,05 (Sig.= 0,010). Por tanto, el tipo de
centro se relaciona negativamente con las pendientes: la
Recuperacin en la semana 6

15 pendiente media en los centros pblicos (sector = 0) es


0,52 puntos mayor que en los privados (sector = 1). Es de-
10 cir, la relacin entre las puntuaciones basales y el grado de
1 recuperacin es significativamente mayor en los centros
5
2 pblicos que en los privados. Precisamente el hecho ms
0 llamativo de los grficos de la figura 4 es que, mientras la
pendiente media de los centros pblicos es alta y positiva,
3
-5 la pendiente media de los centros privados es baja y lige-
ramente negativa. El coeficiente 12 = -0,52 indica justa-
-15,00 -10,00 -5,00 0,00 5,00 10,00 15,00 mente esta diferencia entre las pendientes medias.
Hamilton momento basal (puntuac. centradas)
La tabla 4 recoge las estimaciones de los cuatro parmetros de
covarianza que incluye el modelo RMPR: la varianza de los erro-
2
res o residuos (residuos = e ), la varianza de las medias o inter-
2
Tipo de centro: privado secciones (NE(1,1) = u 0), la varianza de las pendientes (NE(2,2)
2
25 = u 1) y la covarianza entre las medias y las pendientes (NE(2,1)).
Veamos cul es el significado de cada estimacin:
20
2
(1) La varianza de los residuos, e , refleja en qu medida va-
Recuperacin en la semana 6

15 ran los pacientes alrededor de la recta de regresin de sus


1
respectivos centros. El valor estimado para esta variabili-
10 dad, 12,73, es muy parecido al estimado con el modelo de
2 coeficientes aleatorios del ejemplo anterior (tal como ca-
5
ba esperar, las covariables del nivel 2 no contribuyen a re-
3 ducirlo).
0 2
(2) La varianza de las medias o intersecciones ( u 0 = 3,45) es
-5 sensiblemente menor que la obtenida con el modelo de
2
coeficientes aleatorios ( u 0 = 6,03; vase modelo RCA).
-15,00 -10,00 -5,00 0,00 5,00 10,00 15,00 La incorporacin de las covariables cedad y sector ha he-
Hamilton momento basal (puntuac. centradas) cho que la varianza entre las medias de los centros se re-
duzca un 42,7%. Esto equivale a afirmar que, tras eliminar
Figura 4. Relacin entre las puntuaciones basales y el grado de recupera-
cin en tres centros pblicos (arriba) y tres privados (abajo). En ambos de la recuperacin el efecto atribuible a las puntuaciones
casos estn representados tres centros con edades bajas (1), medias (2) y basales, las covariables cedad y sector explican el 42,7%
altas (3). Las dos lneas continuas ms gruesas son las pendientes medias de las diferencias entre los centros (al interpretar este por-
320 ANTONIO PARDO, MIGUEL NGEL RUIZ Y RAFAEL SAN MARTN

centaje debe tenerse en cuenta que, si las diferencias entre Este ltimo resultado indica que la mayor parte de la variabi-
los centros fueran pequeas, la varianza explicable tam- lidad entre las pendientes (variabilidad detectada con el modelo
bin lo sera, y un alto porcentaje de reduccin de esa va- de coeficientes aleatorios) est explicada por las covariables in-
rianza seguira siendo una cantidad pequea). Por supues- cluidas en el anlisis. Pero tambin indica que el coeficiente 11,
to, como el efecto de la covariable cedad es estadstica- que es el que permite variar aleatoriamente a las pendientes, pue-
mente significativo (Sig.= 0,027) y el de la covariable sec- de ser excluido del modelo sin prdida de ajuste. De hecho, en el
tor no lo es (Sig.= 0,343), cabe suponer que la mayor par- modelo actual, el valor del estadstico -2LL es 2.085,54 (aunque
te de ese 42,7% de reduccin de la varianza entre centros no se incluye aqu la tabla estadsticos de ajuste, el procedimien-
corresponde a la covariable cedad. De hecho, cuando no se to la ofrece por defecto). Y eliminando el coeficiente 11 (para
tienen en cuenta otras variables (cuando no se controla el ello basta con quitar la variable cbasal de la lista Modelo en el
efecto de las puntuaciones basales), la covariable cedad, subcuadro de dilogo Modelos lineales mixtos: Efectos aleato-
ella sola, reduce un 70% la variabilidad entre las medias de rios) se obtiene un valor de 2.088,13. La diferencia entre ambos
los centros (el valor estimado para la varianza entre las modelos es de 2 parmetros (el coeficiente 11 y el referido la co-
medias de los centros pasa de 9,09 en el modelo AEA a varianza entre las medias y las pendientes, que desaparece del
2,69 en el modelo RMR). modelo al eliminar 11) y la diferencia entre los respectivos esta-
El nivel crtico asociado al estadstico de Wald (Sig.= dsticos -2LL es de 2,59 puntos. La probabilidad de encontrar va-
0,074) indica que la varianza de las medias de los centros lores mayores que 2,59 en la distribucin chi-cuadrado con 2 gra-
ha dejado de ser distinta de cero. Por tanto, los datos pare- dos de libertad es 0,274. Puesto que este valor es mayor que 0,05,
cen indicar que cuando se controla el efecto de la edad, el no parece que el modelo que incluye pendientes aleatorias consi-
del tipo de centro y el de las puntuaciones basales, las di- ga mejor ajuste que el modelo que no las incluye. Y a igual ajus-
ferencias en la recuperacin media de los centros tienden te, el principio de parsimonia debe llevar a elegir el modelo ms
a desaparecer (se reducen lo bastante como para dejar de simple.
ser estadsticamente significativas).
(3) Al igual que ocurra en el modelo de coeficientes aleato- Notas
rios del ejemplo anterior, tampoco aqu las medias parecen
estar relacionadas con las pendientes (Sig.= 0,917); por 1 Cuando se utilizan factores de efectos aleatorios se est impo-
tanto, no puede afirmarse que la relacin intracentro entre niendo una estructura de covarianza a los datos. En los mode-
las puntuaciones basales y el grado de recuperacin vaya los estudiados hasta ahora se ha utilizado la estructura de cova-
aumentando o disminuyendo conforme lo hace el tamao rianza que el SPSS utiliza por defecto: componentes de la va-
de las medias (el valor estimado para la covarianza entre rianza. Aunque sta es la estructura de covarianza habitual-
las medias y las pendientes es -0,01). mente utilizada en los modelos de constantes o intersecciones
2
(4) Por ltimo, la varianza de las pendientes ( u 1 = 0,03) ha aleatorias, en el modelo de coeficientes aleatorios (que no se
dejado de ser distinta de cero (Sig.= 0,297). Por tanto, una asume independencia entre los parmetros 0j y 1j ) es necesa-
vez controlado el efecto de las covariables cedad y sector, rio decidir qu tipo de relacin (estructura de covarianza) se de-
desaparecen las diferencias entre las pendientes de los dis- sea imponer. Ahora bien, como normalmente no se tiene infor-
tintos centros. Y por lo visto con las estimaciones de los macin sobre esta relacin, suele utilizarse un tipo de cova-
efectos fijos, cabe suponer que las diferencias entre las rianza no estructurada, que equivale a no imponer ningn tipo
pendientes han desaparecido al controlar el efecto de la de estructura predefinida y dejar que sea el procedimiento el
covariable sector. que la estime a partir de los datos.

Referencias

Akaike, H. (1974). A new look at the statistical model identification. IEEE Hurvich, C.M., y Tsai, C.L. (1989). Regression and time series model se-
Transaction on Automatic Control, 19, 716-723. lection in small samples. Biometrika, 76, 297-307.
Arnau, J., y Balluerka, N. (2004). Anlisis de datos longitudinales y de cur- Kreft, I., y de Leeuw, J. (1998). Introducing multilevel modelling. London:
vas de crecimiento. Enfoque clsico y propuestas actuales. Psicothema, Sage.
16, 156-162. Littell, R.C., Milliken, G.A., Stroup, W.W., y Wolfinger, R.S. (1996). SAS
Bozdogan, H. (1987). Model selection and Akaikes selection criterion system for mixed models. Cary, NC: SAS Institute Inc.
(AIC): The general theory and its analytical extensions. Psychometri- Leynland, A.H. (2004). A review of multilevel modelling in SPSS. Docu-
ka, 52, 345-370. mento elaborado por el Centre of Multilevel Modelling
(http://www.mlwin.com/softrev/revspss.html).
De Leeuw, J., y Kreft, I. (2001). Software for multilevel analysis. En A.H.
Longford, N.T. (1993). Random coefficient models. New York: Oxford
Leyland y H. Goldstein (eds.): Multilevel modelling of health statistics University Press.
(pp. 187-204). Chichester, UK: Wiley. Luke, D.A. (2004). Multilevel modelling. Thousand Oaks, CA: Sage.
Goldstein, H. (2003). Multilevel statistical models (3 ed.). New York: McCullagh, P., y Nelder, J.A. (1989). Generalized linear models (2 ed.).
Halstead Press. Boca Ratn, FL: Chapman and Hall.
Heck, R.H., y Thomas, S.L. (2000). An introduction to multilevel mode- Norusis, M.J. (2005). SPSS 13.0 Advanced statistical procedures compa-
lling techniques. Hillsdale, NJ: Lawrence Erlbaum Associates. nion. Upper Saddle River, NJ: Prentice Hall.
Hox, J. (2002). Multilevel analysis. Techniques and applications. Hillsda- Pinheiro, J.C., y Bates, D.M. (2000). Mixed-effects models in S ans S-Plus.
le: Lawrence Erlbaum Associates. New York: Springer.
CMO AJUSTAR E INTERPRETAR MODELOS MULTINIVEL CON SPSS 321

Rasbash, J., Browne, W., Goldstein, H., Yang, M., Plewis, I., Healy, M., Raudenbush, S.W., Bryk, A.S., Cheong, Y.F., y Congdon, R. (2000). HLM
Woodhouse, G., Draper, D., Langford, I., y Lewis, T. (2000). A users 5: Hierarchical linear and nonlinear modelling. Lincolnwood, IL:
guide to MlwiN (versin 2.1). London: University of London, Institute Scientific Software International.
Schwarz, G. (1978). Estimating the dimension of a model. Annals of Sta-
of Education
tistics, 6, 461-464.
Raudenbush, S.W., y Bryk, A.S. (2002). Hierarchical linear models: Singer, J.D. (1998). Using SAS PROC MIXED to fit multilevel models,
Applications and data analysis methods (2 ed.). Thousand Oaks, CA: hierarchical models and individual growth models. Journal of Educa-
Sage. tional and Behavioral Statistics, 24, 323-355.