Mensurao de efeitos de treinamento utilizando o experimento com grupos selecionados ao acaso: uma aplicao da anlise multinvel1

Eduardo H. S. Farias E-mail: eduardofarias@unb.br Universidade de Braslia / PPGA Braslia-DF

Resumo O artigo avalia o desempenho do mtodo de anlise multinvel em um experimento com grupos selecionados ao acaso. Discute-se, inicialmente, as vantagens e limitaes do uso da anlise multinvel, os pressupostos para a aplicao do mtodo, os possveis ajustes nos dados e a adequao do procedimento de estimao multinvel natureza dos dados disponveis, particularmente em experimentos com grupos selecionados ao acaso. Na sequncia, define-se uma estratgia de anlise do experimento utilizando a anlise multinvel baseada em modelos aninhados, e se demonstra como a anlise pode orientar e determinar, dinamicamente, o modelo de regresso multinvel mais apropriado para o problema analisado. Finalmente, traz-se discusso os resultados encontrados a partir da abordagem baseada em modelos aninhados para a anlise dos dados coletados.

Introduo O presente ensaio avalia o uso da anlise multinvel em um experimento com grupos selecionados ao acaso i para mensurar o efeito da mudana organizacional planejada. O que caracteriza um experimento com grupos selecionados ao acaso o fato de os grupos de sujeitos - e no os sujeitos individuais - serem escolhidos ao acaso. Esse tipo de experimento tem sido usado desde os anos 80 para a avaliao de intervenes e tratamentos alternativos por rgos reguladores na rea de sade, porque oferece evidncias de eficcia e segurana dos resultados (Machin e Fayers, 2010). Uma vantagem do tipo de experimento analisado que seu desenho considera a interao entre indivduos nas unidades amostradas. A
1

Artigo destinado avaliao de desempenho na disciplina Anlise Multinvel, 1 Semestre de 2012, Prof. Jacob Arie Laros, Instituto de Psicologia Social, do Trabalho e das Organizaes, Universidade de Braslia.

desvantagem que requer um nmero maior de participantes para a obteno do mesmo poder estatstico (Campbell, Elbourne et al., 2004). A opo pelo experimento com grupos selecionados ao acaso especialmente til se a inteno for avaliar o efeito de uma determinada interveno sob a perspectiva da influncia conjunta do indivduo, da equipe, e da organizao em que esse indivduo trabalha. Nesse desenho de pesquisa, grupos inteiros so designados para testar o efeito da interveno (condio de experimento) enquanto outros grupos so designados para servir como referncia (condio de controle). A estrutura do experimento se caracteriza por um sistema multinvel, porque seu desenho considera os diferentes nveis em que os processos ocorrem, e a interao dos mesmos em um sistema integrado.

Comparao entre mtodos de regresso tradicionais e a anlise multinvel Para que se considere a anlise multinvel como uma alternativa a outros mtodos tradicionais, o primeiro passo identificar a existncia de uma estrutura hierrquica na populao. Depois, preciso que o desenho da estrutura de dados revelar essa hierarquia por meio da amostragem sucessiva nos diversos nveis (Hox, 2010; Maas e Hox, 2005). Entretanto, ainda frequente encontrarmos publicaes que utilizam tcnicas de regresso mltipla ordinria, anlise de varincia e outros mtodos tradicionais para estudar estruturas de dados com caractersticas hierrquicas. Uma parte desses estudos parece ignorar a existncia de mltiplos nveis de agregao, e trata as variveis de diversos nveis de forma indiscriminada. Tal abordagem impossibilita uma estimativa dos efeitos da interveno em cada nvel de anlise. O mtodo usado pode at impossibilitar que os resultados encontrados possam ser estendidos para o contexto do qual as amostras foram extradas, por exemplo, se o mtodo usado for a anlise de varincia (Steele e Goldstein, 2007). Outros estudos, que reconhecem os mltiplos nveis de anlise, avaliam esses nveis por meio de procedimentos de agregao e desagregao de dados (Hox, 2010). Tal abordagem apresenta dois tipos de problemas na investigao de estruturas hierrquicas. O primeiro problema estatstico: se a adaptao do nvel de anlise se faz por meio de procedimentos de agregao de variveis, os dados que caracterizam um indivduo ou uma sub-unidade so combinados em poucos valores nas unidades de nvel superior, e resultam em perda de muita informao e de poder estatstico; se a adaptao se faz por desagregao de dados de uma super-unidade, os dados so 'explodidos' em um grande nmero de subunidades, causando um 'inchao' nos testes de significncia e no alfa nominal, procedimento que induz rejeio da hiptese nula de modo totalmente esprio. O segundo problema 2

conceitual. Se os dados de um nvel so usados para extrair concluses em outro nvel, o analista incorre em uma falcia. A 'falcia ecolgica' consiste em interpretar dados agregados no nvel individual, enquanto a 'falcia atomstica' consiste em formular inferncias em um nvel mais elevado com base nas anlises realizadas em um nvel inferior (Hox, 2010). O uso de mtodos tradicionais em modelos hierrquicos tambm tende a violar o pressuposto da independncia das observaes, porque no considera a correlao entre indivduos associados a um mesmo nvel de agregao. Quanto maior for a correlao entre indivduos maior ser a inadequao do modelo de regresso tradicional, com a subestimao dos erros-padro dos coeficientes da regresso (Laros e Marciano, 2008; Rasbash, Steele et al., 2009). Por outro lado, a regresso multinvel considera os nveis em que as variveis esto inseridas, porque permite que o modelo incorpore a estrutura hierrquica dos dados, tratando o intercepto e os coeficientes de inclinao como variveis aleatrias (De Leeuw e Meijer, 2008). Desse modo, cada unidade em um nvel superior pode manter seus prprios valores na equao de regresso. Ao considerar a existncia desses agrupamentos de dados, a anlise multinvel permite a estimao de erros padro de mensurao, de intervalos de confiana e de testes de significncia mais precisos (Rasbash, Steele et al., 2009). Outras vantagens de incorporao da estrutura hierrquica dos dados pesquisa nas cincias sociais so: a determinao de um modelo conceitual mais ajustado com as concluses extradas no nvel certo; a possibilidade de se formular e testar hipteses relativas a efeitos entre nveis; a anlise de situaes em que ocorrem casos mais severos de dados ausentes; e a partio da varincia em componentes, nos nveis de explicao da variabilidade dos dados (Goldstein, 2011). Em um experimento com grupos selecionados ao acaso, os mtodos de anlise multinvel oferecem vantagens significativas em relao s abordagens tradicionais, por conseguir quantificar os efeitos das interaes entre os indivduos dentro dos grupos hierarquizados nos quais esto inseridos. Em relao a esse tipo de experimento, (Moerbeek, Van Breukelen et al., 2003) compararam o mtodo de regresso multinvel com trs mtodos tradicionais de anlise multigrupos usando variveis de resultado contnuo. Os mtodos tradicionais avaliados foram: a regresso 'ingnua' (i.e., pessoas como unidades de anlise); a regresso de efeitos fixos (utilizando variveis dummy para representar grupos); e o uso de medies sumrias (nas quais as unidades de anlise so os grupos). Os autores utilizaram diversas tcnicas de estimao para a medir o efeito do tratamento e os resduos padro (variveis que so de maior interesse nesse tipo de estudo de interveno), e a comparao revelou que os mtodos tradicionais, no geral, produzem erros de estimao. 3

Mtodo Utilizar-se- a base de dados 'nurses', disponibilizada por Joop Hox (2010: 35-36), para avaliar o desempenho do mtodo de regresso multinvel em um experimento com grupos selecionados ao acaso. As caractersticas das variveis disponveis nessa base de dados esto descritas na Tabela 1.
Cn 1 2 3 4 5 6 7 8 9 10 11 Nome da Var hospital ward wardid nurse age gender experien stress wardtype hospsize expcon n 1000 1000 1000 1000 1000 1000 1000 1000 1000 1000 1000 Ausentes 0 0 0 0 0 0 0 0 0 0 0 Min 1 1 11 1 23 0 1 1 0 0 0 Max 25 4 254 1000 64 1 38 7 1 2 1 Nvel N3 N2 N2 N1 N1 N1 N1 N1 N2 N3 N2 Descrio id do hospital id da enfermaria id nico enferm.(hosp 1-25 *10 + ward 1-4) id nico do enfermeiro(a) idade do enfermeiro em anos Gnero do enfermeiro; 0=masc, 1=fem experincia do enfermeiro em anos Medida de estresse do enfermeiro Tipo de enfermaria; 0=geral, 1=especial Tam. hospital; 0=peq., 1=mdio, 2=grande 0= condio de controle, 1=experimental

Variveis auxiliares 12 cons 13 Cexpcon 14 Chospsize 15 Cexpcon*Chospsize

1000 1000 1000 1000

0 0 0 0

1 -0,5 -1 -0,5

1 0,5 1 0,5

N2 N3 N2*N3

constante expcon centrada hospsize centrada interao Cexpcon * Chopsize

Tabela 1 - Relao de variveis coletadas para a pesquisa No experimento, avalia-se o efeito de um programa treinamento destinado a desenvolver a capacidade de enfermeiros para ajustarem o prprio nvel de estresse relacionado com o trabalho. Os dados registram variaes no nvel de estresse dos enfermeiros lotados em dois tipos de enfermaria, aps a participao destes no citado programa treinamento. No total, 25 hospitais, 100 enfermarias e 1.000 enfermeiros participam do estudo. O experimento engloba trs nveis de anlise: no primeiro nvel (N1) esto os indivduos (enfermeiros); no nvel intermedirio (N2) esto os grupos de trabalho (as enfermarias); e no nvel superior (N3) esto as organizaes (os hospitais). Em cada hospital, todos os enfermeiros de duas enfermarias (uma de cada tipo) recebem o treinamento, enquanto outras duas enfermarias (tambm uma de cada tipo) so selecionadas como grupo de controle. Uma enfermaria de atendimento geral e a outra de atendimento especial (Tabela 2). O treinamento para o controle do estresse oferecido nas enfermarias selecionadas na condio experimental. Ao final do programa, cerca de 10

enfermeiros de cada enfermaria so escolhidos para responder a um teste de avaliao do estresse relacionado com o trabalho. A tabela abaixo mostra a relao existente entre as variveis ward, wardtype e expcon.
Tipo Funo Grupo de Teste (expcon = 1) Grupo de Controle (expcon = 0) Enfermaria de atendimento geral (wardtype = 0) Enfermaria 1 (ward=1) Enfermaria 3 (ward=3) Enfermaria de atendimento especial (wardtype = 1) Enfermaria 2 (ward=2) Enfermaria 4 (ward=4)

Tabela 2 - Classificao das enfermarias nos hospitais por funo e tipo Nesse tipo de experimento, a varivel que identifica se o grupo experimental ou de controle, expcon, controlada para determinar sua relao com a varivel critrio que identifica o nvel de estresse no trabalho, stress. A hiptese a ser testada pelo experimento se o local de trabalho (o hospital) influencia o efeito do treinamento do enfermeiro no seu nvel de estresse no trabalho. H1: O local de trabalho influencia o efeito do treinamento do enfermeiro no seu nvel de estresse no trabalho. Ao se permitir que o coeficiente de regresso da varivel expcon (N2) varie no nvel do hospital (N3), pode-se avaliar se o efeito do treinamento difere significativamente entre os diversos hospitais. Portanto, a randomizao da varivel expcon possibilita observarmos a influncia do contexto (no caso, o hospital) sobre o comportamento dos indivduos (i.e., seus enfermeiros). A segunda hiptese a ser testada, derivada da primeira, se o efeito do treinamento sobre o controle do nvel de estresse dos enfermeiros influenciado significativamente pelo tamanho do hospital. O tamanho do hospital um aspecto especfico do nvel de anlise N3. A questo sugere que seja verificada a existncia de efeito moderador entre variveis de diferentes nveis de anlise que tenham apresentado varincia significativa de coeficiente de regresso durante a avaliao da existncia da influncia dos nveis superiores de anlise sobre o resultado do experimento (Hox, 2010:58). Atendida tal condio, deve-se testar a possibilidade de interao entre o tamanho do hospital (a varivel hospsize) e o resultado do treinamento (a varivel expcon). H2: O tamanho do hospital modera o efeito do treinamento dos enfermeiros no nvel de estresse no trabalho. 5

Para facilitar a interpretao desse efeito de moderao, as variveis hospsize e expcon tero suas escalas centralizadas no ponto mdio do intervalo. A varivel centralizada que registra o tamanho do hospital chospsize (-1 = pequeno, 0 = mdio, 1 = grande), e a varivel centralizada que identifica se o grupo experimental ou de controle cespcon (-0,5 = condio de controle, 0,5 = condio experimental). Assim, o coeficiente de regresso da interao pode ser interpretado como o efeito de uma varivel sobre o escore "mdio" da outra. As demais variveis do experimento so covariantes, ou seja, tm a funo de controlar as diferenas entre os grupos experimental e de controle, e de explicar a varincia da varivel dependente stress. Na avaliao do experimento, as covariantes devem ser mantidas constantes para no influenciar o efeito da varivel independente (expcon) na varivel critrio (stress). A centralizao pela mdia geral usualmente aplicada a uma varivel analisada quando seu escore "zero" no faz sentido ou no possvel. Essa transformao empresta significado ao valor do intercepto geral na equao de regresso, mas no altera seu coeficiente de regresso. As variveis de controle so: a idade do enfermeiro em anos (age), que ser centralizada em sua mdia geral; o gnero do enfermeiro (gender; 0 = homem, 1 = mulher), a experincia do enfermeiro em anos (experien), que tambm ser centralizada em sua mdia geral, o tipo de enfermaria (wardtype; 0 = atendimento geral, 1 = atendimento especial). No experimento com grupos selecionados ao acaso, no h a necessidade de se testar se as variveis aleatrias no primeiro nvel tm coeficientes randmicos no segundo e no terceiro nvel, nem se as variveis aleatrias no segundo nvel tm coeficientes randmicos no terceiro nvel (Hox, 2010:35). O que se pretende saber se e como o modelo com coeficiente randmico para expcon explica o coeficiente de inclinao das retas de regresso do estresse dos enfermeiros. Na medida em que a anlise consegue explicar a varincia na varivel critrio stress, o experimento pode revelar o poder do teste para o efeito da varivel expcon.

Procedimentos para a anlise dos dados A realizao de uma anlise multinvel requer a verificao prvia dos dados coletados, com vista a se avaliar a convenincia do uso da tcnica de regresso multinvel no lugar da regresso convencional, bem como a escolha do mtodo de estimao mais apropriado.

A necessidade do uso do mtodo multinvel determinada pelo grau de correlao intraclasse, que define o percentual da varincia atribuda ao grupo em relao varincia total e a correlao entre as respostas de indivduos dentro dos grupos analisados (Hox, 2010). Diversos mtodos de estimao podem ser utilizados em anlise multinvel mas a maioria dos programas de computao desenvolvidos para tal define mtodos baseados na mxima verossimilhanaii (ML) em condies de normalidade como opo "padro" para a estimao. As caractersticas mais destacadas do mtodo de mxima verossimilhana so a relativa robustez s evidncias de no-normalidade multivariada e univariada dos dados, e sua capacidade para realizar estimativas confiveis com dados ausentes. Seu modelo completo (FML) produz estimativas de coeficientes fixos e de componentes de varincia da regresso, alm de oferecer uma estimativa de ajuste do modelo aos dados - o deviance - que nos permite, inclusive, realizar a comparao de modelos concorrentesiii. A anlise prvia dos dados se faz com a verificao dos pressupostos estatsticos para a aplicao da anlise multinvel utilizando o mtodo de estimao ML. Dentre esses pressupostos esto: (a) o critrio de seleo das amostras e o tamanho das mesmas nos diversos nveis de anlise. Maas e Hox (2005) alertam que pequenas amostras tendem a enviesar os resultados; (b) a natureza e a quantidade relativa de dados ausentes (Hox, 2010; Rasbash, Steele et al., 2009); (c) o grau de desvio da normalidade dos indicadores de assimetria e curtose, que tambm podem enviesar os resultados (Miles e Shevlin, 2001); e a homocedasticidade e normalidade dos resduos da regresso (Rasbash, Steele et al., 2009). Embora o mtodo da mxima verossimilhana seja robusto, uma avaliao cuidadosa dos dados pode recomendar o tratamento prvio dos mesmos, ou a escolha de um outro mtodo de estimao. Por ser a anlise multinvel um mtodo interativo, a anlise do problema realizada em diversos passos, a partir de um modelo estimativo simples. A cada passo, executa-se o teste da razo de verossimilhana a partir da funo deviance = -2*ln(verossimilhana). Quanto menor o deviance, mais ajustado o modelo, pois aumenta a semelhana entre o modelo e os dados sob anlise. O teste til para a comparao de modelos aninhados. Pelo fato de se comear a anlise por um modelo simples pode-se avaliar o impacto dos parmetros na medida em que estes so adicionados. Tipicamente, inicia-se a anlise pela avaliao do modelo contendo apenas o intercepto, seguida pela incluso das partes fixas, com os nveis mais baixos primeiro, e da parte randmica. A cada passo, inspeciona-se a significncia das estimativas e dos erros padro. Essa ordem se justifica porque as amostras so maiores nos nveis mais baixos, e porque os parmetros fixos so geralmente estimados 7

com preciso maior do que os parmetros randmicos (Hox, 2010:56; Laros e Marciano, 2008) . A anlise da estrutura hierrquica dos dados conduzida com o apoio da ferramenta MLwiN verso 2.25, usando as recomendaes de (Rasbash, Steele et al., 2009). O procedimento de estimao adotado ser o default dessa ferramenta - o mtodo dos mnimos quadrados generalizados iterativos (IGLS), que equivalente ao mtodo de mxima verossimilhana em condies de normalidade.

Resultados Observando o princpio da parcimnia na definio do modelo de regresso mais apropriado para representar o presente experimento, faremos a estimativa de diversos modelos com a insero gradativa das variveis consideradas, verificando o ajuste entre os modelos e os dados com base na estimativa do qui-quadrado (X) da variao do deviance decorrente da insero ou remoo de variveis. Na presente anlise, avaliamos inicialmente os resultados no padronizados, incluindo a parte randmica e o deviance, e depois reanalisamos o modelo selecionado a partir da padronizao de suas variveis, com vista a estimar a importncia relativa dos coeficientes de regresso.

Estimativa do modelo M0 - modelo vazio O primeiro passo da anlise estimar o valor da varivel critrio a partir do modelo vazio (M0). A notao matemtica do modelo vazio

stressijk = 0ijk + 0k + u 0kj + e0ijk , onde representa a mdia geral do nvel de estresse, enquanto , u, e e so os componentes da varincia nos nveis do hospital, das enfermarias, e dos enfermeiros, respectivamente. O deviance desse modelo, que totaliza 1.942, o parmetro de base para a anlise dos modelos subsequentes (ver Tabelas 3 e 4). Correlaes intraclasse acima de 5%, em geral, reforam a recomendao da utilizao da anlise multinvel na avaliao da hiptese de pesquisa (Van Der Vegt, Emans et al., 2001). O clculo da correlao intraclasse do modelo vazio sugere que os hospitais respondem por 17% da varincia total do intercepto, as enfermarias respondem por 51%, e os enfermeiros pelos restantes 32%. Esses valores possibilitam estimar as varincias residuais das variveis inseridas ao longo dos diversos modelos avaliados no nvel de estresse dos enfermeiros (Hox, 2010). 8

Estimativa do modelo M1 - modelo com as variveis de controle No passo seguinte, estima-se o modelo com a insero das variveis de controle (M1). As variveis de controle no nvel 1 so: idade (age), gnero (gender), e experincia (experien). No nvel 2, a varivel de controle o tipo de enfermaria (wardtype) e no nvel 3 o tamanho do hospital (hospsize). Essas variveis so ajustadas para terem um intercepto em zero, de modo que o intercepto geral 0 pode tambm ser interpretado quando uma varivel assume o valor nulo (Hox, 2010). Seus coeficientes de regresso e quantidade de varincia explicada em cada nvel so apresentados na Tabela 3. As varincias calculadas nos diversos nveis, porm, so usadas para calcular a proporo das varincias modeladas pela insero das variveis de controle. A notao matemtica do modelo M1

stressijk = 0ijk + [ 1(age-gm)ijk + 2genderijk + 3(experien-gm)ijk + 4wardtypejk + 5chospsizek ] + 0k + u 0kj + e0ijk

onde as variveis inseridas so apresentadas entre colchetes. Embora o teste-t revele que o intercepto do tipo de enfermaria (wardtype) no seja significativo, a reduo do valor do deviance em 309,3 (X = 61,9) indica que o modelo M1 significativamente mais ajustado que o modelo vazio. Em decorrncia, optamos por manter a varivel wardtype na equao.

Estimativa do modelo M2 - modelo com a insero da varivel independente fixa Ao ser agregada ao modelo M1, varivel independente Cexpcon, que identifica as enfermarias nas quais so ministrados treinamentos para controlar o nvel de estresse no trabalho apresenta um coeficiente de inclinao significativo de 0,7. Embora ainda no se permita a sua variao no nvel dos hospitais, o modelo M2 reduz o deviance em 28,7 (X = 28,7) comparativamente ao modelo M1. A notao matemtica do modelo M2

stressijk = 0ijk + 1(age-gm)ijk + 2genderijk + 3(experien-gm)ijk + 4wardtypejk + 5chospsizek + [ 6Cexpconjk ] + 0k + u0kj + e0ijk

onde a varivel independente mostrada entre colchetes. Os resultados da simulao so apresentados na tabela 3.

Tabela 3 - Comparao entre os modelos de avaliao do experimento M0, M1 e M2

Estimativa do modelo M3 - modelo com a randomizao da varivel independente No modelo M3, assume-se que os grupos de enfermeiros podem variar aleatoriamente entre os hospitais, ou seja, os resduos no nvel dos hospitais tem uma componente relacionada com o intercepto e outra componente relacionada com a varivel Cexpcon. Esses componentes apresentam uma correlao de 0,326iv, revelando o espalhamento dos coeficientes da varivel explicativa entre os hospitais. A randomizao da varivel independente Cexpcon acrescenta dois graus de liberdade, mas reduz o valor do deviance em 30,2 (X = 15,1) comparativamente ao modelo M2, o que indica que o modelo mais elaborado apresenta melhor ajuste. A proporo da varincia explicada pela estrutura de grupo, isto , a correlao intraclasse, de 44% no nvel dos enfermeiros, 22% no nvel das enfermarias, e 34% no nvel dos hospitais. A Varincia explicada por nvel, no modelo randmico, relativamente ao

10

modelo vazio , respectivamente, 0,28 e 0,78 para os nveis 1 e 2 da anlise. Entretanto, o modelo sugere uma varincia negativa (Rv = -0,02) no nvel dos hospitais. Hox demonstra que esse resultado pode ocorrer quando a variveis explanatrias so centradas na mdia do grupo na qual toda a informao inter-grupo removida, ou quando as mdias do grupo praticamente no apresentam variao em um nvel inferior (Hox, 2010:73-4). A tabela 4 mostra que a randomizao da varivel explicativa no modelo M3 altera de modo significativo o coeficiente de inclinao da varivel Chospsize, indicando a existncia de interao significativa entre essas duas variveis. O efeito justifica a simulao de um novo modelo que considere esse efeito de interao.

Estimativa do modelo M4 - modelo com insero da interao entre nveis A notao matemtica do modelo de interao

stressijk = 0ijk + 1(age-gm)ijk + 2genderijk + 3(experien-gm)ijk + 4wardtypejk + 5chospsizek + 6Cexpconjk + 7Cexpcon*chospsizejk + 6k Cexpconjk + 0k + u0kj + e0ijk O deviance calculado para o modelo M4 1550,8. A reduo de 23,4 no valor do deviance (e do X) em relao ao modelo anterior, sugere que a insero da componente de interao entre as variveis cexpcon e chospsize relevante na explicao da reduo do estresse . A insero dessa interao no modelo tambm corrige a varincia explicada pelo nvel do hospital, calculada com valor negativo no modelo M3, e promove pequenos ajustes nos percentuais de correlao intraclasse nos trs nveis. O modelo tambm indica que os valores do intercepto da varivel wardtype e da covarincia entre os componentes da varincia no nvel dos hospitais no so estatisticamente significativos. Isso sugere o teste de um novo modelo, no qual essas variveis so excludas.

Estimativa do modelo M5 - modelo com a excluso das variveis no significativas O presente modelo se diferencia do modelo M4 porque exclui a varivel wardtype e fixa a covarincia dos componentes da varincia no nvel dos hospitais em zero. Os coeficientes dessas variveis so identificadas por meio da razo-t como no significativos no limite de 95% de certeza. A notao matemtica do modelo M5

stressijk = 0ijk + 1(age-gm)ijk + 2genderijk + 3(experien-gm)ijk + 5chospsizek + 6Cexpconjk + 7Cexpcon*chospsizejk + 6k Cexpconjk + 0k + u 0kj + e0ijk 11

O resultado da simulao apresentado na Tabela 4.

Tabela 4 - Comparao entre os modelos de avaliao do experimento M3, M4 e M5

Estimativa do modelo M6 - modelo M5 com as variveis normalizadas O objetivo de se estimar um modelo normalizado no aprimorar o ajuste do modelo, mas identificar o peso relativo dos coeficientes da regresso no padronizada. O modelo normalizado uma variao do modelo de coeficientes no padronizados, aps ajust-lo pela relao entre os desvios padro da varivel explicativa e da varivel critrio (Rasbash, Steele et al., 2009). Na simulao do modelo, pode-se observar pequenas variaes na razo-t, devido a erros de arredondamento (Tabela 5). Entretanto, o resultado do deviance muito diferente do modelo no normalizado, porque o coeficiente do intercepto deixa de ser estatisticamente significante (o que seria o esperado) e ainda porque a parte randmica do modelo de regresso se altera com a transformao. No modelo normalizado, os resultados relativos parte randmica precisam, portanto, ser interpretados com cautela (Hox, 2010:23).

12

Discusso A anlise comparativa dos modelos aninhados revelou, no geral, que o experimento em que se avalia o efeito do treinamento de enfermeiros no nvel de estresse no trabalho confirma as duas hipteses testadas: o local de trabalho (i.e., o hospital) influencia o efeito do treinamento do enfermeiro no seu nvel de estresse no trabalho; e o tamanho do hospital modera o efeito do treinamento dos enfermeiros no nvel de estresse no trabalho. A avaliao do experimento utilizando a anlise multinvel com modelos aninhados ainda mostrou que possvel se fazer inferncias sobre o ajuste do modelo na medida em que vo surgindo os resultados das simulaes. Essa dinmica nem sempre possvel com a utilizao de outros mtodos de anlise. O modelo M1 revelou que a insero das variveis de controle contribuem significativamente para a explicao do nvel de estresse dos enfermeiros no trabalho. No nvel individual, o estresse tende a aumentar com a idade, embora esse aumento seja compensado pelo tempo de experincia na profisso. Por outro lado, os homens tendem a apresentar nveis de estresse mais elevados do que as mulheres. Verificou-se, ainda que no ocorreu diferena significativa no nvel de estresse entre os dois tipos de enfermaria avaliados no experimento, mas que o nvel de estresse diretamente proporcional ao tamanho do hospital. O modelo M2 avalia o impacto da incluso da varivel independente Cexpcon na equao de regresso sem a influncia do efeito de randomizao, inserido no modelo seguinte. O modelo M3 revela o impacto da randomizao da varivel do independente Cexpcon na reduo do coeficiente de regresso do tamanho do hospital, sugerindo a presena de um efeito de interao entre essas duas variveis. O modelo M4 inclui o efeito de interao entre as variveis Cexpcon e Hospsize, observado no modelo anterior. A insero dessa interao no modelo produz reduo significativa na varincia da varivel explicativa Cexpcon (v6k), o que confirma a existncia do efeito moderador do tamanho do hospital no resultado do experimento.

13

Para o ajuste final do modelo de regresso, avalia-se, no modelo M5, o efeito da excluso das variveis

identificadas como no significantes, no nvel de 5%, do modelo anterior, a partir do valor da razo-t abaixo de 1,96. O deviance do modelo M5 1552,6, indicando um aumento de 1,8 em seu valor, relativamente ao modelo anterior, mas com dois graus de liberdade a menos (X = 0,9). Tal resultado sugere que este modelo, alm de ser mais parcimonioso, pode explicar melhor o efeito do

experimento sobre o nvel de estresse dos enfermeiros no trabalho. Os resultados do modelo

normalizado M6 (Tabela 5) mostram que o tempo de experincia, o treinamento ministrado, e o fato de o enfermeiro ser do sexo feminino exercem influncia positiva na reduo do nvel de estresse, enquanto o tamanho do hospital e a idade do enfermeiro exercem efeito contrrio, elevando o nvel de estresse no trabalho. O coeficiente da interao entre o tamanho do hospital e o experimento revela que o tamanho do hospital explica, em grande parte, a reduo do efeito do treinamento no estresse no trabalho. Em relao utilizao do mtodo de anlise multinvel utilizado, os resultados encontrados revelam o poder de inferncia que a anlise com modelos aninhados empresta ao mtodo. Outro aspecto que se evidenciou na anlise realizada foi a robustez do mtodo de inferncia IGLS, adotado como default por muitas das ferramentas de anlise disponveis no mercado.
A expresso grupos selecionados ao acaso a traduo livre do termo em ingls 'cluster randomized trial'. Mxima verossimilhana a traduo do termo em ingls maximum likelihood, abreviado por suas iniciais ML. iii Quando a comparao envolve modelos no aninhados, o valor do deviance deve ser ajustado para o nmero de parmetros estimados. Um ajuste comumente usado o Critrio de Informao de Akaike (AIC) que acrescenta 2* (n de parmetros estimados) ao valor do deviance. iv A correlao corresponde a um efeito de espalhamento quando se plotam as retas de predio da varivel. Seu valor determinado pela relao entre a covarincia e a raiz quadrada do produto das varincias.
ii i

14

Referncias CAMPBELL, M. K.; ELBOURNE, D. R.; ALTMAN, D. G. CONSORT statement: extension to cluster randomised trials. BMJ, v. 328, p. 702-708, 2004. DE LEEUW, J.; MEIJER, E., Eds. Handbook of Multilevel Analysis. New York: Springer Science & Business Media ed. 2008. GOLDSTEIN, H. Multilevel statistical models. 4 th. Chichester, UK: John Wiley & Sons, Ltd, 2011. HOX, J. J. Multilevel analysis: Techniques and applications. 2nd. New York: Routledge, 2010. LAROS, J. A.; MARCIANO, J. L. P. Anlise multinvel aplicada aos dados do NELS:88. Estudos em Avaliao Educacional, v. 19, n. 40, p. 263-278, 2008. MAAS, C. J. M.; HOX, J. J. Sufficient Sample Sizes for Multilevel Modeling. Methodology, v. 1, n. 3, p. 8692, 2005. MACHIN, D.; FAYERS, P. Randomized Clinical Trials: Design, Practice and Reporting Chichester, UK: John Wiley & Sons, Ltd, 2010. MILES, J.; SHEVLIN, M. Applying Regression & Correlation: A Guide for Students and Researchers. London: Sage Publications, 2001. MOERBEEK, M.; VAN BREUKELEN, G. J. P.; BERGER, M. P. F. A comparison between traditional methods and multilevel regression for the analysis of multicenter intervention studies. Journal of Clinical Epidemiology, v. 56, n. 4, p. 341350, 2003. RASBASH, J. et al. A User's Guide to MLwiN (Version 2.10). Bristol, UK: Centre for Multilevel Modelling, University of Bristol, 2009. STEELE, F.; GOLDSTEIN, H. Multilevel Models in Psychometrics. In: RAO, C. R. e SINHARAY, S. (Ed.). Handbook of Statistics, Vol. 26. Amsterdam: Elsevier B.V., 2007. cap. 12, p.401-420. VAN DER VEGT, G. S.; EMANS, B. J. M.; VAN DE VLIERT, E. Patterns of interdependence in work teams: A two-level investigation of the relations with job and team satisfaction. Personnel Psychology, v. 54, n. 1, p. 51-69, 2001. ISSN 1744-6570. Disponvel em: < http://dx.doi.org/10.1111/j.1744-6570.2001.tb00085.x >.

15