Revista Mexicana de Psicología

ISSN: 0185-6073
sociedad@psicologia.org.mx
Sociedad Mexicana de Psicología A.C.
México

ALARCÓN, RAFAEL; BLANCA, MARÍA J.; ARNAU, JAUME; BONO, ROSER

MODELADO JERÁRQUICO POR PASOS: ANÁLISIS MULTINIVEL DEL ESTRÉS
COTIDIANO EN ADOLESCENTES
Revista Mexicana de Psicología, vol. 32, núm. 2, julio-diciembre, 2015, pp. 124-133
Sociedad Mexicana de Psicología A.C.
Distrito Federal, México

Disponible en: http://www.redalyc.org/articulo.oa?id=243045364003

Cómo citar el artículo

Número completo
Sistema de Información Científica
Más información del artículo Red de Revistas Científicas de América Latina, el Caribe, España y Portugal
Página de la revista en redalyc.org Proyecto académico sin fines de lucro, desarrollado bajo la iniciativa de acceso abierto
 Revista Mexicana de Psicología, Julio-diciembre 2015
Volumen 32, Número 2, 124-133

MODELADO JERÁRQUICO POR PASOS: ANÁLISIS MULTINIVEL

DEL ESTRÉS COTIDIANO EN ADOLESCENTES*

HIERARCHICAL MODELING STEP BY STEP: MULTILEVEL ANALYSIS

FOR DAILY STRESS IN ADOLESCENTS

RAFAEL ALARCÓN,** MARÍA J. BLANCA

Facultad de Psicología, Universidad de Málaga, España

JAUME ARNAU, ROSER BONO

Facultad de Psicología, Universidad de Barcelona, España

Citación: Alarcón, R., Blanca, M. J., Arnau, J., & Bono, R. (2015). Modelado jerárquico por pasos: Análisis multinivel
del estrés cotidiano en adolescentes. Revista Mexicana de Psicología, 32(2), 124-133.

Resumen: Los modelos multinivel se utilizan con frecuen-
cia para analizar los datos estructurados de manera jerár-
quica. Son especialmente apropiados en psicología de la
educación debido a la agrupación de los alumnos dentro de
las aulas, las aulas en las escuelas, escuelas en los distritos,
y así sucesivamente. El objetivo de este trabajo fue ilustrar
un modelado multinivel por pasos con datos del contexto
educacional. Participaron 954 adolescentes agrupados en
46 aulas. Se analizó la relación del estrés cotidiano con la
satisfacción vital, los problemas socioemocionales y el es-
trés de la interacción con el profesor. Los resultados mos-
traron que los estudiantes con alto estrés cotidiano tienden
a presentar menor satisfacción vital y más problemas so-
cioemocionales. Los resultados también indicaron que el
estrés de la interacción con el profesor que ocurre a nivel
del aula se relaciona con el estrés en el nivel de los estudian-
tes, existiendo una relación positiva entre ellos.
Palabras clave: micronivel, macronivel, intercepto, pen-
diente, mlwin
Abstract: Multilevel models are increasingly used to ana-
lyze hierarchically nested data, being especially appropri-
ate in educational psychology because of the clustering
of students within classrooms, classrooms within schools,
schools within districts, and so on. The aim of this paper
was to illustrate a step by step multilevel modeling of edu-
cational data. Data were based on 954 adolescents nested
within 46 classrooms. Relationships of daily stress to life
satisfaction, socio-emotional problems, and stress of inter-
action with teacher were analyzed. Results showed that stu-
dents with high daily stress tend to present lower life satis-
faction and more socio-emotional problems. As well, stress
of interaction with teacher occurring at the classroom level
is positively related to stress at the student level.
Keywords: micro-level, macro-level, intercept, slope,
mlwin

Los modelos multinivel, también conocidos como mo-
delos de coeficientes aleatorios (De Leeuw y Kreft, 1986;
Longford, 1993), modelos lineales jerárquicos (Bryk y
Raudenbush, 1992) y modelos de componentes de la va-
rianza (Longford, 1989), tienen su principal aplicación en
investigaciones en las que se recogen datos estructurados
jerárquicamente, como los correspondientes a la investiga-
ción en psicología de la educación, de la organización o clí-
nica. En los últimos años, el uso de estas técnicas de análi-
sis ha aumentado considerablemente, en parte, gracias a la

* El presente trabajo fue subvencionado por el proyecto psi2012-32662 del Ministerio de Economía y Competitividad de España.
** Dirigir correspondencia a: Dr. Rafael Alarcón Postigo. Facultad de Psicología, Universidad de Málaga, Campus de Teatinos s/n, 29071 Málaga
(España). Correo electrónico: ralarcon@uma.es

124 124

RevMexPsi-32-2.indd 124 02/07/2015 05:07:13 p.m.

 Modelado jerárquico por pasos: análisis multinivel del estrés cotidiano en adolescentes
aparición de programas informáticos específicos, entre los
que destaca mlwin (Rasbash, Steele, Browne y Goldstein,
2009) o hlm (Raudenbush, Bryk, Cheong y Congdon,
2000). A su vez, otros programas generalistas han incluido
módulos concretos para realizar este tipo de análisis, como
ibm spss, sas (Littell, Milliken, Stroup, Wolfinger y Scha-
benberger, 2006), lisrel (du Toit y du Toit, 2001) y Mplus
(Muthén y Muthén, 2006).
Los diseños con datos estructurados jerárquicamente,
o también denominados diseños anidados, se caracterizan
porque las observaciones del nivel inferior (micronivel)
están anidadas en niveles superiores (macronivel), y se
registra medidas de las unidades en los distintos niveles
(Heck y Thomas, 2009; Heck, Thomas y Tabata, 2012;
Snijders y Bosker, 2011). Se conoce a los predictores del
nivel inferior como de nivel individuo, mientras que a los
predictores de niveles superiores como grupos o contex-
tos. Tales estructuras de datos se encuentran, por ejemplo,
cuando se estudian alumnos agrupados en colegios, pa-
cientes agrupados en centros hospitalarios, o empleados
agrupados en departamentos. A su vez, se puede concep-
tualizar los diseños experimentales o cuasiexperimentales
con grupos experimental y control de medidas repetidas
como modelos de coeficientes aleatorios de dos niveles,
donde las medidas repetidas están anidadas dentro de los
individuos.
Una de las principales ventajas de la formulación
multinivel es su mayor flexibilidad en el tratamiento de
los distintos espaciamientos de las medidas repetidas, más
opciones en la incorporación de datos perdidos, y la posi-
bilidad de examinar la variación aleatoria de interceptos y
pendientes de regresión por medio de las variables de nivel
inferior y de las variables de nivel superior (Heck et al.,
2012; Martínez-Garrido y Murillo, 2014; Martínez-Garri-
do y Murillo Torrecilla, 2013).
Las estrategias de análisis utilizadas en el pasado para
el tratamiento de estructuras jerárquicas de datos eran muy
limitadas, ya que habitualmente no se tenían en considera-
ción las consecuencias de considerar variables de un nivel
en otro. En este sentido, una estrategia habitual era asignar
al nivel superior variables del nivel inferior (p.ej., predicto-
res de nivel alumnos asignados a nivel clase). Este fenóme-
no conocido como agregación elimina la variabilidad de los
individuos dentro de los grupos a los que pertenecen. A su
vez, otra estrategia utilizada era la opuesta, es decir, asignar
al nivel inferior valores de variables conceptualizadas a nivel
superior (p.ej., predictores de nivel clase asignados a ni-
vel alumno). Este fenómeno conocido como desagregación
RevMexPsi-32-2.indd 125
125
trata las propiedades de nivel contextual como si fuesen
características individuales. Tanto la agregación como la
desagregación pueden provocar confusión en el análisis y
la interpretación de los resultados (Heck y Thomas, 2009;
Hox y Roberts, 2011).
Otro fenómeno propio de estas estructuras hace refe-
rencia al hecho de que los individuos anidados dentro de
un grupo tienden a ser más similares entre sí, respecto
de los individuos de distintos grupos, lo que se traduce en
la aparición de relaciones intracontextuales. Este hecho
viola el supuesto de independencia entre observaciones
en el que se basan los modelos de regresión tradiciona-
les (Andréu Abela, 2011; Blanco-Blanco, López Martín y
Ruiz de Miguel, 2014). El fracaso en explicar los sucesi-
vos anidamientos de variables de nivel de individuo den-
tro de las variables de nivel de grupo provoca de manera
sistemática obtener errores estándar infraestimados de los
coeficientes de regresión del modelo, es decir, se obtienen
errores estándar más bajos que su verdadero valor, con lo
que se tiene mayor probabilidad de establecer relaciones
significativas entre variables de nivel contextual cuando
realmente no existen (De la Cruz, 2008; Heck y Thomas,
2009; Rasbash et al., 2009).
Los modelos multinivel proporcionan solución a esta
problemática, ya que reconocen la estructura anidada de
los datos y permiten obtener estimaciones insesgadas de las
variaciones existentes en los distintos niveles de la jerarquía
(Vallejo Seco, Arnau Grass y Bono Cabré, 2008; West,
Ryu, Kwok y Cham, 2011).
Especificación del modelo jerárquico
Los modelos multinivel hacen referencia a modelos de re-
gresión lineales jerárquicos, en los que la variable depen-
diente (vd) se registra en el nivel inferior de la jerarquía,
generalmente en el nivel de individuo, mientras que las
variables independientes o predictores se encuentran regis-
tradas en el resto de niveles existentes. En general, el nivel
inferior (nivel 1) se forma por individuos, el segundo nivel
(nivel 2) por grupos de individuos y los niveles superiores
por conjuntos de grupos (Hox, 1998). Sin embargo, esto
no siempre es así, ya que en los modelos multinivel longi-
tudinales o de medidas repetidas, el nivel más bajo hace re-
ferencia a las ocasiones de medida, mientras que el segundo
nivel hace referencia a los individuos.
Un modelo multinivel de dos niveles se define con la
siguiente expresión:
Revista Mexicana de Psicología
Vol. 32, Núm. 2, Julio-diciembre 2015
02/07/2015 05:07:13 p.m.
 126
yij = β0 j + β1 j Xi j + eij
donde: yij representa el valor de la vd del individuo i en
el grupo j del nivel 2.
El coeficiente β0j, conocido como intercepto o cons-
tante, representa la media de la vd de un individuo el cual
obtiene cero puntos en el predictor Xij.
El coeficiente β1j, conocido como pendiente o coeficien-
te de regresión, representa el cambio que pronostica el mo-
delo en la vd por cada unidad de cambio en el predictor.
El término error eij representa el error asociado a cada
predicción individual que realiza el modelo, error que se
supone que se distribuye normalmente y con varianza σ²e.
En la ecuación 1 tanto el intercepto (β0j) como la pen-
diente (β1j) aparecen con el subíndice j, lo que informa de
que cada unidad de nivel 2 tiene su propio intercepto y
su propia pendiente, es decir, no se los interpreta como
parámetros fijos, tal y como se realiza en los modelos de re-
gresión clásicos, sino que pueden variar entre las unidades
de este nivel, hecho característico de los modelos multini-
vel. Por esta razón, se incluye en el modelo un predictor
perteneciente al nivel 2, con el objetivo de poder dar una
explicación de esa variabilidad. Tanto el intercepto como la
pendiente se especifican de la siguiente forma:
β0 j = γ00 + u0 j
β1 j = γ10 + u1 j
Sustituyendo las ecuaciones 2 en la ecuación 1, se ob-
tiene un modelo multinivel de dos niveles:
yij = γ00 + γ10 Xi j + u0 j + u1 j
A continuación, se vuelve a especificar los parámetros
intercepto y pendiente, incluyendo el predictor de nivel 2:
β0 j = γ00 + γ01 Z j + u0 j
β1 j = γ10 + γ11 Z j + u1 j
Sustituyendo en la ecuación 1 los valores de la ecua-
ción 4, se obtiene la expresión prototipo de un modelo
multinivel de dos niveles, el cual es un caso especial del
modelo general mixto propuesto por Harville (1977):
yij = [γ00+γ01 Z j+γ10 X ij+γ11 Z j X ij ] + [u0 j+u1 j X ij+eij]
El presente modelo multinivel se ha reordenado agru-
pando los efectos fijos al principio (γ00, γ01, γ10 y γ11) y los
Revista Mexicana de Psicología
Vol. 32, Núm. 2, Julio-diciembre 2015
RevMexPsi-32-2.indd 126
Alarcón et al.
(1) efectos aleatorios al final (u0j y u1jXij). Se supone que los tér-
minos aleatorios u0j y u1j son variables aleatorias con media
0 y varianzas σ²u0 y σ²u1, respectivamente.
La interpretación de los diferentes parámetros se realiza
de la siguiente forma:
El parámetro γ00 indica el valor promedio de la vd
cuando el predictor de nivel 2 es cero.
El parámetro γ01 indica el efecto principal del predictor
de nivel 2 sobre el intercepto.
El parámetro γ10 indica la relación entre el predictor
de nivel de individuo y la vd en función del predictor de
nivel 2.
El parámetro γ11 indica el efecto del predictor de nivel
2 en la relación del predictor de nivel 1 y la vd.
El factor aleatorio u0j es el promedio de la vd, mante-
niendo constante el predictor del nivel 2.
El factor aleatorio u1j es la pendiente de la vd, mante-
niendo constante el predictor del nivel 2.
El término interacción ZjXij, denominado habitual-
mente como interacción entre niveles, es consecuencia de
modelar la variación del coeficiente de regresión (β1j) del
predictor de nivel 1 con el predictor de nivel 2. Expresa
el efecto moderador del predictor de nivel superior en la
relación entre la vd y el predictor de nivel inferior.
Como se expuso anteriormente, los modelos multini-
(2) vel reconocen la estructura anidada de los datos y permiten
obtener estimaciones insesgadas de las variaciones existen-
tes en los distintos niveles de la jerarquía. Por ello, en pri-
mer lugar, es necesario detectar la existencia o no de dicha
variabilidad, con el objetivo de determinar la utilidad de
estos modelos.
Para determinar si se justifica realizar un análisis mul-
(3)
tinivel, el primer paso es realizar la descomposición de la
varianza de la vd en sus dos componentes, la varianza del
nivel 1 y la del nivel 2. Así, si la variación en la vd en las
unidades de mayor nivel no fuese significativa, no se justi-
ficaría el análisis multinivel. Para responder a esta cuestión,
(4) se calcula el coeficiente de correlación intraclase (cci), que
expresa la proporción de varianza existente en el nivel supe-
rior respecto de la varianza total explicada, es decir, la parte
de la varianza total explicada que se debe al nivel superior.
El cci se define como:
σ²u
ρ= σ²u + σ²e (6)
(5)
Donde σ²u representa la varianza existente en el nivel
superior y σ²e simboliza la varianza del error asociado a
cada predicción individual que realiza el modelo.
02/07/2015 05:07:13 p.m.
 Modelado jerárquico por pasos: análisis multinivel del estrés cotidiano en adolescentes
Si el cci tiene un valor bajo, inferior a .05, no se justi-
ficaría realizar un análisis multinivel, ya que indicaría que
la variabilidad entre los grupos es muy pequeña, es de-
cir, que los diferentes grupos son muy homogéneos entre
sí. En esta situación, un análisis de regresión tradicional
considerando los predictores del nivel 1 sería adecuado.
Sin embargo, si el cci obtiene un valor por encima de .05
es pertinente realizar un análisis multinivel, ya que indi-
ca que los grupos son bastante diferentes entre sí, y ade-
más internamente homogéneos cada uno de ellos (Heck
y Thomas, 2009). Una reducción del cci al introducir un
nuevo predictor en el modelo indica que tal predictor ha
explicado una cantidad importante de variabilidad en el
nivel superior. Así, cuando se determina la existencia de
variación significativa explicada en el nivel superior y ésta
no se considera en el modelo, se puede llegar a conclusio-
nes erróneas, lo que aumenta la probabilidad de obtener
parámetros significativos cuando realmente no lo son, es
decir, existirá mayor probabilidad de cometer el error tipo
I (Goldstein, 1995).
Uno de los procedimientos más utilizados de estima-
ción de los coeficientes del modelo de regresión multini-
vel (coeficientes de regresión y componentes de varianzas)
es el método de máxima verosimilitud. La determinación
de la significación estadística de los coeficientes se realiza
mediante la prueba de Wald, que consiste en el cociente
entre el valor del estimador y su error típico de estimación.
El resultado de esta prueba debe estar fuera del intervalo
comprendido entre los valores ± 1.96 para resultar estadís-
ticamente significativo.
El proceso de modelado multinivel se desarrolla me-
diante una serie de pasos en los que se van introduciendo
predictores de los diversos niveles de la jerarquía hasta con-
seguir el modelo de mejor ajuste, que no es otro que aquél
que con el menor número posible de predictores reduce al
máximo la varianza no explicada. Un procedimiento lógico
de desarrollo comienza con el establecimiento de un mo-
delo sin predictores, en el que se analiza la variabilidad de
la vd dentro y entre los niveles superiores. Este modelo se
denomina modelo nulo o incondicional. A continuación,
se establece un modelo de intercepto aleatorio de nivel 1, en
el que se introducen predictores de este nivel y donde la
media de la vd puede variar entre las unidades de nivel
superior, pero no las pendientes, es decir, el efecto de cada
predictor de nivel 1 es homogéneo en el nivel 2. Posterior-
mente, se establece un modelo de intercepto y pendiente alea-
toria de nivel 1, donde además de la media, las pendientes
(predictores) pueden variar entre las unidades de nivel 2.
Finalmente, se establece un modelo con predictores de ni-
RevMexPsi-32-2.indd 127
127
veles superiores. Cada uno de estos modelos tiene asociada
una desvianza (-2LL), que representa el ajuste del modelo
en términos de discrepancias entre los valores observados
y estimados mediante el modelo. En cada paso, se com-
para el decremento en -2LL que produce el modelo más
complejo con respecto al más simple. Si este decremento
es estadísticamente significativo, se concluye que el mo-
delo más complejo produce un ajuste mejor a los datos.
Así, la prueba de la -2LL consiste en obtener el cambio
en -2LL entre dos modelos anidados, de manera que el
modelo de mejor ajuste será aquel que tenga un menor
valor. Esta prueba tiene una distribución χ² con grados de
libertad igual a la diferencia de parámetros de los modelos
anidados.
Ilustración del modelo multinivel:
Estrés cotidiano en adolescentes
Los modelos multinivel se utilizan frecuentemente en la
investigación psicológica para analizar los datos estructu-
rados jerárquicamente. Son especialmente apropiados en
psicología de la educación debido a la agrupación de los
alumnos dentro de las aulas, las aulas en las escuelas, las
escuelas en los distritos, y así sucesivamente. El objetivo de
este trabajo ha sido ilustrar un modelado multinivel por
pasos con datos estructurados jerárquicamente procedentes
del contexto educativo, utilizando el programa informá-
tico mlwin (Rasbash et al., 2009). Para ello, se analizó la
relación del estrés cotidiano en adolescentes con la satisfac-
ción vital, los problemas socioemocionales y el estrés de la
interacción con el profesor, en un modelo jerárquico de
dos niveles, considerando las dos primeras variables como
predictores del estrés perteneciente al nivel de individuo
(nivel 1) y la última al nivel de clase (nivel 2).
El estrés cotidiano puede definirse como las demandas
frustrantes e irritantes que produce la interacción diaria
con el entorno (Kanner, Coyne, Schaefer y Lazarus, 1981).
En la adolescencia, el estrés cotidiano adquiere especial re-
levancia como consecuencia de los importantes cambios
emocionales, sociales y fisiológicos que se producen en el
individuo (García-Linares, De la Torre, Carpio, Cerezo y
Casanova, 2014).
Desde la concepción del estrés como estímulo, los estre-
sores son sucesos, problemas, preocupaciones y contrarieda-
des de alta frecuencia, baja intensidad y alta predictibilidad
(Seiffge-Krenke, 2007; Trianes, Blanca, Fernández-Baena,
Escobar y Maldonado, 2011) que pueden provenir de los
principales ámbitos con los que los adolescentes interactúan,
Revista Mexicana de Psicología
Vol. 32, Núm. 2, Julio-diciembre 2015
02/07/2015 05:07:14 p.m.
 128
es decir, el hogar familiar, la escuela y los iguales (García-
Linares et al., 2014). La investigación ha mostrado el im-
pacto negativo que tiene el estrés cotidiano en el bienestar
emocional y físico de los adolescentes (Byrne, Davenport y
Mazanov, 2007; García-Linares et al., 2014; Pettit, Lewin-
sohn, Seeley, Roberts y Yaroslavsky, 2010), así como en
niños más jóvenes (Byrne, Thomas, Burchell, Olive y Mi-
rabito, 2011). A su vez, el estrés cotidiano se asocia con la
presencia de sintomatología internalizante y externalizante,
y con menor satisfacción vital (Escobar, Trianes y Fernán-
dez-Baena, 2008; Escobar et al., 2013; Suldo, Shaunessy,
Thalji, Michalowski y Shaffer, 2009).
En el presente trabajo se esperaba encontrar que el es-
trés cotidiano en los adolescentes mantuviera una relación
negativa con la satisfacción vital, y una relación positiva
con los problemas socioemocionales y con el estrés de la
interacción con el profesor.
MÉTODO
Participantes
Participaron 954 alumnos de Enseñanza Secundaria
Obligatoria, de 17 institutos de educación secundaria de
Málaga capital y provincia, de titularidad pública, agru-
pados en 46 clases. Los participantes tenían edades com-
prendidas entre los 12 y 14 años (M = 13.08 y DE =
0.97), de los cuales el 48.75% eran chicas y el 51.25%
eran chicos. Procedían de centros educativos ubicados en
zonas de nivel socioeconómico medio. En la Tabla 1 se
muestran las distribuciones de la muestra según edad y
sexo. Se ha realizado una prueba chi-cuadrado de homo-
geneidad de la distribución de frecuencias entre sexo y
edad. Los resultados revelaron que no existían diferen-
cias estadísticamente significativas en la distribución de
la edad en función del sexo (χ² [2, n = 954] = 0.09; p =
.96). La población de referencia era de 51,612 estudiantes
(Consejería de Educación, Cultura y Deporte de la Junta
de Andalucía, 2013), por lo que el error muestral obte-
nido fue de 3.14 puntos. Los investigadores del estudio
contactaron con los diferentes centros educativos y par-
ticiparon los que voluntariamente accedieron, llevándose
posteriormente a cabo una selección aleatoria de las clases
que formaron parte del estudio. Aproximadamente, un
10% de la muestra se eliminó del análisis por tener in-
completo alguno de los cuestionarios administrados, tras
lo cual se conformó la muestra inicialmente citada.
Revista Mexicana de Psicología
Vol. 32, Núm. 2, Julio-diciembre 2015
RevMexPsi-32-2.indd 128
Alarcón et al.
Tabla 1. Distribución de la muestra
en función de la edad y sexo
Edad Sexo n
12 Hombre 151
Mujer 146
13 Hombre 196
Mujer 182
14 Hombre 142
Mujer 137
Instrumentos
Inventario de estrés cotidiano infantil (ieci; Trianes et al.,
2011). El inventario original consta de 22 ítems dicotó-
micos que describen la ocurrencia de diversos sucesos, de-
mandas y contrariedades que se originan en la interacción
diaria con el entorno, y que pueden afectar de forma nega-
tiva el desarrollo emocional. La formulación y el formato
de respuesta de los ítems se han adaptado a población ado-
lescente por el equipo de investigación, incluyendo un for-
mato de respuesta tipo Likert de cinco puntos. La estruc-
tura factorial con la muestra del presente estudio replica,
mediante un análisis factorial confirmatorio con adecuados
índices de ajuste (χ²S-B = 2.5; índice de ajuste comparati-
vo, cfi = .98; índice de ajuste no normado, nnfi = 0.97;
error cuadrático medio de aproximación, rmsea = .04), la
hallada por los autores en la muestra infantil: tres factores
de primer orden que abordan problemas de salud y psico-
somáticos, estrés en el ámbito escolar y estrés en el ámbito
familiar, y un factor de segundo orden que aglutina a los
anteriores y que arroja una puntuación total de estrés. La
consistencia interna de los factores es de .68, .71, .69 y .89,
respectivamente. Puntuaciones altas son indicativas de al-
tos niveles de estrés cotidiano autopercibido. En el presente
estudio se ha utilizado la puntuación total de estrés. La evi-
dencia de validez externa del instrumento ha demostrado
relaciones positivas y estadísticamente significativas con di-
versas variables indicadoras de inadaptación socioemocio-
nal, y relaciones negativas y estadísticamente significativas
con variables indicadores de adaptación personal. A su vez,
se obtuvieron relaciones positivas y estadísticamente signi-
ficativas con ansiedad, ira y depresión.
Satisfaction with Life Scale (swls; Diener, Emmons,
Larsen y Griffin, 1985). Consta de cinco ítems con for-
mato de respuesta tipo Likert de cinco puntos que propor-
ciona una medida global de la satisfacción vital como un
componente del bienestar subjetivo. Los análisis sobre la
02/07/2015 05:07:14 p.m.
 Modelado jerárquico por pasos: análisis multinivel del estrés cotidiano en adolescentes
estructura factorial de la prueba apoyan la existencia de un
único factor, cuyas puntuaciones altas representan una alta
satisfacción con la vida. La consistencia interna obtenida
en la muestra del presente estudio ha sido de .84. A su
vez, en relación con la evidencia de validez externa, la sa-
tisfacción vital mantuvo relaciones estadísticamente signi-
ficativas con variables de satisfacción en el ámbito escolar,
sentimientos de felicidad y sentimientos de soledad.
Youth Self Report (ysr/11-18, Achenbach y Rescorla,
2001). Consta de 112 ítems, con un formato de respuesta
tipo Likert de tres puntos, que evalúan ansiedad/depresión,
retraimiento/depresión, quejas somáticas, conducta agresi-
va, ruptura de normas, problemas de atención, problemas
de pensamiento, problemas sociales y otros problemas.
Proporciona tres puntuaciones globales: a) Síntomas inter-
nalizados, que incluye las escalas Ansiedad/depresión, Re-
traimiento/depresión y Quejas somáticas; b) Síntomas ex-
ternalizados, que incluye las escalas de Ruptura de normas
y Conducta agresiva; y c) Puntuación total, siendo la suma
de las nueve escalas. Puntuaciones elevadas informan la
presencia de problemas socioemocionales. La consistencia
interna de los factores de la prueba en la presente muestra
oscila entre .50 y .86, siendo .94 para la escala total. En el
presente estudio se utilizó la puntuación total.
Adolescent Stress Questionnaire (asq; Byrne et al.,
2007). Consta de 56 ítems con un formato de respuesta
tipo Likert de cinco puntos referidos a estresores en el ho-
gar, rendimiento académico, relaciones de pareja, asistencia
al colegio, presión de iguales, interacción con los profeso-
res, incertidumbre del futuro, conciliación entre la escuela
y el ocio, pequeños problemas económicos y aparición de
responsabilidades de adultos. La consistencia interna oscila
entre .77 y .88, siendo .94 para la escala total. La evidencia
de validez externa revelan asociaciones significativas con
depresión, ansiedad y autoestima. En el presente estudio se
consideró la puntuación en el factor de estrés de la interac-
ción con los profesores.
Procedimiento
Una vez identificadas las clases seleccionadas de los centros
educativos, se solicitó el consentimiento para la partici-
pación en el estudio a los padres, a los profesores y a la direc-
ción de los centros educativos. No hubo ningún caso en el
que se rechazara participar en el estudio. Los cuestionarios
los administraron de forma colectiva un grupo de psicólo-
gos formados en la administración de tests, en el orden en
el que se han presentado en el anterior apartado.
RevMexPsi-32-2.indd 129
129
ANÁLISIS DE DATOS Y RESULTADOS
Se ha realizado un modelado multinivel con el estrés coti-
diano como vd, registrada a nivel de individuo o nivel 1.
Los predictores fueron los siguientes:
Predictores de nivel 1 (individuo): satisfacción vital y
problemas socioemocionales (predictores centrados sobre
la media global).
Predictor de nivel 2 (clase): estrés de la interacción con
los profesores (centrado sobre la media global).
Para la ilustración del modelado se ha utilizado el
programa informático mlwin (Rasbash et al., 2009), que
es un paquete de análisis estadístico específico para aná-
lisis multinivel. Su principal ventaja es que incluye pro-
cedimientos que permiten realizar estimaciones insesga-
das de los parámetros e índices adecuados para evaluar
el ajuste del modelo. A su vez, permite la construcción
de modelos de hasta cinco niveles jerárquicos de análisis
y la posibilidad de trabajar con hasta 10,000 variables.
Finalmente, el programa es muy versátil ya que da la posi-
bilidad de realizar modelados con variables tanto cuanti-
tativas, como con variables categóricas binarias (modelos
de regresión logística) y categóricas politómicas (modelos de
regresión logística multinomial; Martínez-Garrido y Mu-
rillo, 2014).
Previamente al modelado multinivel, se ha realizado
un análisis exploratorio de los datos con el objetivo de
comprobar el cumplimiento de los requisitos para reali-
zar este tipo de análisis. En primer lugar, se comprobó la
normalidad de la distribución de la vd con la prueba de
Kolmogorov-Smirnov, la cual no resultó estadísticamente
significativa (D [953] = 0.12; p = .14], lo que muestra la
distribución normal de la vd. A su vez, el análisis visual
mediante histograma y gráficos q-q apoya este resultado.
En segundo lugar, se comprobó la relación lineal entre la
vd y los predictores satisfacción vital, problemas socioemo-
cionales y estrés de la interacción con los profesores. Los
resultados mostraron relación lineal significativa (-0.29,
0.52 y 0.22, respectivamente). Finalmente, se comprobó
la presencia de multicolinealidad, es decir, relación entre
covariables de todos los niveles, por medio de los indicado-
res de tolerancia, factor de inflación de la varianza (fiv) e
índice de condición. Se considera que existe multicolinea-
lidad cuando los valores de tolerancia en cada predictor son
menores que .10, los valores de fiv son mayores que 10 y
los valores de índices de condición son mayores que 30. En
el presente estudio, el valor de tolerancia menor encontra-
do fue de .83, el valor de fiv mayor encontrado fue 1.10 y
el valor del índice de condición fue de 23 puntos. Estos
Revista Mexicana de Psicología
Vol. 32, Núm. 2, Julio-diciembre 2015
02/07/2015 05:07:15 p.m.
 130 Alarcón et al.

resultados ponen de manifiesto la ausencia de multicoli- Tabla 2. Comparación del modelo en el paso 1
nealidad entre las variables. respecto al modelo en el paso 0 (modelo nulo)
El modelado multinivel se ha estructurado en tres fa-
ses. En la primera fase, se detecta si existen diferencias en la Significación
Paso Parámetros -2LL Cambio -2LL CCI
(p)
vd en los dos niveles de la jerarquía, con lo cual se identifi-
ca el modelo nulo de partida. En la segunda fase, se intro- 0 3 7964.11 .15
ducen de manera secuencial todos los predictores de nivel 1 4 7882.32 81.78 < .001 .10
1, tanto como efectos fijos como aleatorios. En la tercera
fase, se introduce el predictor de nivel 2.
modelo respecto al modelo anterior fue de 227.70 puntos,
misma que resultó estadísticamente significativa (p < .001).
Fase 1. Detección de diferencias en los dos niveles: De nuevo, la reducción de la varianza no explicada en el
nivel 1 (individuo), nivel 2 (clase) nivel 1 tras la inclusión en el modelo del predictor proble-
mas socioemocionales fue de un 23.4%. En la Tabla 3 se
Paso 0. Modelo nulo de 2 niveles. Este modelo sólo incluye muestra la comparación entre los modelos multinivel del
la constante, se registra la vd en el nivel 1 y se modela los paso 1 y del paso 2.
coeficientes de nivel 1 como aleatorios en el nivel 2 de la
jerarquía. El nivel 2 fue estadísticamente significativo, lo
que indica que existen diferencias en el promedio de la vd
entre las clases (σ²u0 = 13.44 [5.27]). El cci tuvo un valor Tabla 3. Comparación del modelo en el paso 2
de .15, lo que indica que el 15% de la varianza total de la respecto al modelo en el paso 1
vd se atribuye a las diferencias entre las clases, es decir, al
nivel superior, mostrando que es apropiado realizar el aná- Significación
Paso Parámetros -2LL Cambio -2LL CCI
(p)
lisis multinivel. Este modelo representa el modelo nulo de
partida en el modelado multinivel. 1 4 7882.32 .10
2 5 7654.61 227.70 < .001 .07

Fase 2. Introducción de predictores de nivel 1

en el modelo de dos niveles
Paso 1. Modelo intercepto aleatorio con el predictor satis-
facción vital como efecto fijo. Este predictor resultó esta-
dísticamente significativo (γ10 = -1.32 [0.14]), por lo que se
incluyó en el modelo. El valor del intercepto fue de 49.64
puntos, lo que indica la media del nivel de estrés cotidiano
para los individuos que tenían un valor medio en satisfac-
ción vital. La reducción de -2LL entre este modelo respecto
al modelo nulo es de 81.78 puntos, siendo estadísticamen-
te significativa (p < .001). La inclusión de este predictor de
nivel 1 en el modelo redujo la varianza no explicada en este
nivel un 8.47%. En la Tabla 2 se muestran los resultados
de la comparación entre los modelos multinivel del paso 0
y el paso 1.
Paso 2. Modelo de intercepto aleatorio con los pre-
dictores satisfacción vital y problemas socioemocionales
como efectos fijos. La inclusión de los problemas socioe-
mocionales como nuevo predictor en el modelo resultó es-
tadísticamente significativa (γ20 = 0.38 [0.02]), por lo que
se incluyó en el modelo. La reducción de -2LL entre este
La comprobación de la significación de estos predicto-
res como efectos aleatorios, así como la interacción entre
ellos, no resultó significativa en ningún caso, por lo que se
los ha omitido en el texto. En este momento finaliza el pro-
ceso de modelado con predictores de nivel 1. En la siguien-
te fase del proceso se introduce el predictor de nivel 2.
Fase 3. Introducción de predictores
del nivel 2 (clases) en el modelo de dos niveles
Paso 3. Modelo de intercepto aleatorio con los predictores
satisfacción vital y problemas socioemocionales como efec-
tos fijos y el predictor de nivel 2 estrés de la interacción con
el profesor. La inclusión de estrés de la interacción con los
profesores como predictor resultó significativa (γ01 = 1.37
[0.30]), por lo que se mantuvo en el modelo. La reducción
de -2LL entre este modelo respecto al modelo anterior
fue de 16.34 puntos, y resultó estadísticamente significa-
tiva (p < .05). Asimismo, la incorporación del predictor
estrés de la interacción con los profesores ha producido una

Revista Mexicana de Psicología

Vol. 32, Núm. 2, Julio-diciembre 2015

RevMexPsi-32-2.indd 130 02/07/2015 05:07:16 p.m.

 Modelado jerárquico por pasos: análisis multinivel del estrés cotidiano en adolescentes
importante reducción del cci, pasando de .07 en el modelo
anterior a .03 en el presente modelo. Esto significa que el
predictor estrés de la interacción con los profesores explica
una importante cantidad de variabilidad en el nivel clase,
porque ha logrado reducir del 7% de variabilidad en el ni-
vel clase del modelo anterior a sólo el 3% en el presente
modelo, lo que implica que en términos relativos ha dis-
minuido un 39% de varianza en el nivel clase. En la Tabla
4 se muestra la comparación entre los modelos multinivel
del paso 3 y del paso 2.
Tabla 4. Comparación del modelo en el paso 3
respecto al modelo en el paso 2
Significación
Paso Parámetros -2LL Cambio -2LL CCI
(p)
2 5 7654.61 .07
3 6 7638.27 16.34 < .05 .03
El modelo multinivel ajustado es un modelo de dos
niveles con intercepto aleatorio, dos predictores de nivel 1
como efectos fijos, satisfacción vital (sv) y problemas so-
cioemocionales (pse), y un predictor de nivel 2, estrés de la
interacción con el profesor (ep).
Estrésij = β0j + -0.36 (0.13) SV + 0.37 (0.02) PSE + 1.37 (0.30) EP
β0j = 49.51 (0.50)
σ2u0j = 4.38 (2.44)
σ2e0ij =132.91 (8.11)
-2LL = 7638.27 (7)
Los predictores incluidos en el modelo redujeron la
varianza inexplicada en ambos niveles. En el nivel 1 la re-
ducción de la varianza fue del 27.68%, mientras que en
el nivel 2 fue del 75.60%. La importante reducción de la
varianza en el nivel 2 se debió fundamentalmente a la in-
clusión del predictor estrés de la interacción con el profesor
en el modelo, lo que mostró que es una variable relevante
para explicar la variabilidad en este nivel.
DISCUSIÓN Y CONCLUSIÓN
En la investigación psicológica, y en especial en el ámbito
educativo, organizacional y clínico, la recogida de datos
estructurados jerárquicamente es muy frecuente. Para el
RevMexPsi-32-2.indd 131
131
análisis de este tipo de estructura de datos es necesaria
la utilización de modelos multinivel, ya que permiten
modelar conjuntamente la variabilidad de la vd dentro y
entre los niveles de la estructura jerárquica. La utilización
de modelos de regresión tradicionales ignora este anida-
miento, con lo cual se puede llegar a establecer conclusio-
nes incorrectas.
El objetivo del presente trabajo era ilustrar un mode-
lado multinivel paso a paso en el contexto de la Psicología
de la educación. Para ello, se ha analizado la relación del
estrés cotidiano en adolescentes con la satisfacción vital,
los problemas socioemocionales y el estrés de la interacción
con el profesor, en un modelo jerárquico de dos niveles,
considerando las dos primeras variables como predictores
del estrés perteneciente al nivel de individuo o nivel 1 y la
última al nivel de clase o nivel 2. El modelo resultante ha
sido un modelo de dos niveles con intercepto aleatorio, dos
predictores del nivel 1 como efectos fijos, satisfacción vital
y problemas socioemocionales, y un predictor del nivel 2,
estrés de la interacción con el profesor.
Los resultados muestran que por cada incremento en
un punto sobre la media en satisfacción vital, el nivel medio
de estrés cotidiano disminuye 0.36 puntos. A su vez, por
cada incremento en un punto sobre la media en problemas
socioemocionales, el nivel medio de estrés cotidiano au-
menta 0.37 puntos. Finalmente, por cada incremento en
un punto en el nivel de estrés de la interacción con el pro-
fesor, el promedio de aumento del nivel de estrés cotidiano
de los alumnos es de 1.37 puntos. En resumen, se puede
concluir que el estrés cotidiano en adolescentes se asocia de
manera inversa con la satisfacción vital, de manera directa
con los problemas socioemocionales y con el estrés que se
ocasiona por la relación con el profesorado. A su vez, el
hecho de que el predictor de nivel 2 haya sido significativo
indica que el estrés cotidiano varía entre las distintas clases
en las que los alumnos se agrupan. Los resultados van en la
misma línea que los obtenidos por otros autores, quienes
han demostrado que el estrés cotidiano se asocia con la pre-
sencia de sintomatología internalizante y externalizante, y
con menor satisfacción vital (Escobar et al., 2013; Escobar,
Trianes y Fernández-Baena, 2008; Suldo et al., 2009).
El modelo multinivel obtenido predice significativa-
mente el nivel de estrés cotidiano en adolescentes y los re-
sultados pueden tener implicaciones en el diseño de inter-
venciones psicoeducativas que tengan en cuenta variables
propias del entorno de la clase. Una de las limitaciones del
presente estudio es la omisión de variables que pueden ser
relevantes para predecir el nivel de estrés cotidiano, no sólo
de nivel de individuo (p.ej., contexto familiar, rendimiento
Revista Mexicana de Psicología
Vol. 32, Núm. 2, Julio-diciembre 2015
02/07/2015 05:07:16 p.m.
 132
académico, relaciones interpersonales, imagen corporal,
etc.) y de clase (p.ej., tamaño de la clase, clima de la cla-
se, etc.), sino también de niveles de índole superior, como
puede ser el centro educativo (p.ej., titularidad, ubicación,
nivel socioeconómico de la zona de ubicación, tamaño,
etc.). Por ello, futuras investigaciones deberían explorar
otras variables no sólo del nivel de individuo y de clase,
sino también de niveles superiores que puedan asociarse al
centro escolar o a su entorno.
En conclusión, los modelos multinivel presentan gran-
des ventajas en el análisis de datos estructurados jerárqui-
camente, ya que permiten obtener estimaciones precisas de
los parámetros que reflejan asociaciones entre variables
de diferentes niveles de la estructura, a la vez que se puede
examinar la variación aleatoria de interceptos y pendientes
de regresión de las variables en los distintos niveles. El pro-
grama MLwiN es un programa específico para realizar este
tipo de análisis que permite construir modelos jerárquicos
complejos que contemplen diferentes niveles y diferentes
variables de distinta naturaleza.
REFERENCIAS
Achenbach, T. M., & Rescorla, L. A. (2001). Manual for the
ASEBA school-age forms & profiles. Burlington, VT, E.U.:
University of Vermont, Research Center for Children,
Youth, & Families.
Andréu Abela, J. (2011). El análisis multinivel: Una revisión ac-
tualizada en el ámbito sociológico. Metodología de Encuestas,
13, 161-176.
Blanco-Blanco, Á., López Martín, E., & Ruiz de Miguel, C.
(2014). Aportaciones de los modelos jerárquico-lineales mul-
tivariados a la investigación educativa sobre el rendimiento.
Un ejemplo con datos del alumnado español en PISA 2009.
Revista de Educación, 365, 122-149. doi:10.4438/1988-
592X-RE-2014-365-267
Bryk, A. S., & Raudenbush, S. W. (1992). Hierarchical linear
models: Applications and data analysis methods. Newbury
Park, CA, E.U.: SAGE.
Byrne, D. G., Davenport, S. C., & Mazanov, J. (2007). Pro-
files of adolescent stress: The development of the Adolescent
Stress Questionnaire (ASQ). Journal of Adolescence, 30, 393-
416. doi:10.1016/j.adolescence.2006.04.004
Byrne, D. G., Thomas, K. A., Burchell, J. L., Olive, L. S., & Mira-
bito, N. S. (2011). Stressor experience in primary school-aged
children: Development of a scale to assess profiles of exposure
and effects on psychological well-being. International Journal
of Stress Management, 18, 88-111. doi:10.1037/a0021577
Revista Mexicana de Psicología
Vol. 32, Núm. 2, Julio-diciembre 2015
RevMexPsi-32-2.indd 132
Alarcón et al.
Consejería de Educación, Cultura y Deporte de la Junta de
Andalucía (2013). Estadística de la educación en Andalucía.
Alumnado en secundaría. Datos Generales. Recuperado de
http://www.juntadeandalucia.es/educacion/webportal/
ishareservlet/content/8d3fe291-2cfe-41f4-ba5a-3bc8acffeccf
De la Cruz, F. (2008). Modelos multinivel. Revista Peruana de
Epidemiología, 12(3), 1-8.
De Leeuw, J., & Kreft, I. (1986). Random coefficient models for
multilevel analysis. Journal of Educational Statistics, 11, 57-
85. doi:10.2307/1164848
Diener, E., Emmons, R. A., Larsen, R. J., & Griffin, S. (1985).
The Satisfaction with Life Scale. Journal of Personality Assess-
ment, 49, 71-75. doi:10.1207/s15327752jpa4901_13
Du Toit, M., & du Toit, S. (2001). Interactive LISREL: User’s
guide. Lincolnwood, IL, E.U.: Scientific Software Interna-
tional.
Escobar, M., Alarcón, R., Blanca, M. J., Fernández-Baena, F.
J., Rosel, J. F., & Trianes, M. V. (2013). Daily stressors in
school-age children: A multilevel approach. School Psy-
chology Quarterly, 28, 227-238. doi:10.1037/spq0000020
Escobar, M., Trianes, M. V., & Fernández-Baena, F. J. (2008).
Daily stress, sociometric status and emotional adjustment
in primary school children. En P. Roussi, E. Vassilaki, &
K. Kaniasty (Eds.), Stress and psychosocial resources (pp. 91-
101). Berlín, Alemania: Logos Verlag Berlin.
García-Linares, M.-C., De la Torre, M.-J., Carpio, M. V., Cere-
zo, M.-T., & Casanova, P.-F. (2014). Consistencia/inconsis-
tencia en los estilos educativos de padres y madres, y estrés
cotidiano en la adolescencia. Revista de Psicodidáctica, 19,
307-325. doi:10.1387/RevPsicodidact.7219
Goldstein, H. (1995). Multilevel statistical models. Nueva York,
NY, E.U.: John Wiley and Sons.
Harville, D. A. (1977). Maximun likelihood approaches to
variance component estimation and related problems.
Journal of the American Statistical Association, 72, 320-338.
doi:10.2307/2286796
Heck, R. H., & Thomas, S. L. (2009). An introduction to multi-
level modeling techniques. Nueva York, NY, E.U.: Routledge.
Heck, R. H., Thomas, S. L. & Tabata, L. N. (2012). Multilevel
moldeling of categorical outcomes using IBM SPSS. Nueva
York, NY, E.U.: Routledge.
Hox, J. J. (1998). Multilevel modeling: When and why. En I.
Balderjahn, R. Mathar, & M. Schader (Eds.), Classification,
data analysis and data highways (pp. 147-154). Berlín, Ale-
mania: Springer.
Hox, J. J., & Roberts, J. K. (2011). Multilevel analysis: Where
we were and where we are. En J. J. Hox, & J. K. Roberts
(Eds.), Handbook of advanced multilevel analysis (pp. 3-11).
Nueva York, NY, E.U.: Taylor & Francis Group.
02/07/2015 05:07:16 p.m.
 Modelado jerárquico por pasos: análisis multinivel del estrés cotidiano en adolescentes
Kanner, A. D., Coyne, J. C., Schaefer, C., & Lazarus, R. S.
(1981). Comparison of two modes of stress measurement:
Daily hassles and uplifts versus major life events. Journal of
Behavioral Medicine, 4, 1-39. doi:10.1007/BF00844845
Littell, R. C., Milliken, G. A., Stroup, W. W., Wolfinger, R. D.,
& Schabenberger, O. (2006). SAS for mixed models. Cary,
NC, E.U.: SAS Institute.
Longford, N. T. (1989). Fisher scoring algorithm for variance
component analysis of data with multilevel structure. En
R. D. Bock (Ed.), Multilevel analysis of educational data
(pp. 297-310). San Diego, CA, E.U.: Academic Press.
doi:10.1016/B978-0-12-108840-8.50019-6
Longford, N. T. (1993). Random coefficients models. Oxford,
R.U.: Clarendon Press.
Martínez-Garrido, C., & Murillo, F. J. (2014). Programas para la
realización de modelos multinivel. Un análisis comparativo
en MLwiN, HLM, SPSS y Stata. Revista Electrónica de Me-
todología Aplicada, 19(2), 1-24.
Martínez-Garrido, C., & Murillo Torrecilla, F. J. (2013). El uso
de los modelos multinivel en la investigación educativa. Es-
tadísticas avanzadas para conocer y cambiar la educación en
América Latina. En A. Salcedo (Ed.), Estadística en la inves-
tigación: Competencia transversal en la formación universita-
ria (pp. 47-69). Caracas, Venezuela: Universidad Central de
Venezuela.
Muthén, L. K., & Muthén, B. O. (2006). Mplus user’s guide. Los
Angeles, CA, E.U.: Authors.
Pettit, J. W., Lewinsohn, P. M., Seeley, J. R., Roberts, R. E., &
Yaroslavsky, I. (2010). Developmental relations between de-
pressive symptoms, minor hassles, and major events from
RevMexPsi-32-2.indd 133
133
adolescence through age 30 years. Journal of Abnormal Psy-
chology, 119, 811-824. doi:10.1037/a0020980
Rasbash, J., Steele, F., Browne, W. J., & Goldstein, H. (2009).
A user’s guide to MLwiN (version 2.10). Reino Unido: Uni-
versity of Bristol.
Raudenbush, S. W., Bryk, A. S., Cheong, Y. F., & Congdon, R.
(2000). HLM 5: Hierarchical linear and nonlinear modeling.
Lincolnwood, IL, E.U.: Scientific Software International.
Seiffge-Krenke, I. (2007, febrero). Stress, coping, and depres-
sion. Ponencia presentada en el Postgrado de Investigación
en Procesos Básicos e Intervención en Psicología de la Salud,
bienio 2006-2008, Universidad de Málaga, España.
Snijders, T. A. B., & Bosker, R. J. (2011). Multilevel analysis.
An introduction to basic and advanced multilevel modeling.
Newbury Park, CA, E.U.: SAGE.
Suldo, S. M., Shaunessy, E., Thalji, A., Michalowski, J., & Shaf-
fer, E. (2009). Sources of stress for students in high school
college preparatory and general education programs: Group
differences and associations with adjustment. Adolescence,
44, 925-948.
Trianes, M. V., Blanca, M. J., Fernández-Baena, F. J., Escobar,
M., & Maldonado, E. F. (2011). IECI. Inventario de estrés
cotidiano infantil. Madrid, España: TEA.
Vallejo Seco, G., Arnau Grass, J., & Bono Cabré, R. (2008).
Construcción de modelos jerárquicos en contextos aplica-
dos. Psicothema, 20, 830-838.
West, S. G., Ryu, E., Kwok, O.-M., & Cham, H. (2011). Multi-
level modeling: Current and future applications in personal-
ity research. Journal of Personality, 79, 2-50. doi:10.1111/
j.1467-6494.2010.00681.x
Recibido: 8 de julio de 2014.
Aceptado: 12 de febrero de 2015.
Revista Mexicana de Psicología
Vol. 32, Núm. 2, Julio-diciembre 2015
02/07/2015 05:07:17 p.m.