1

Laboratrio de Psicologia Experimental Departamento de Psicologia - UFSJ Disciplina: Mtodo de Pesquisa Quantitativa Professora: Marina Bandeira

TEXTO 6: DELINEAMENTOS QUASE-EXPERIMENTAIS

Autores: Selltiz Wrightsman Cook.. (1976). Mtodos de pesquisa nas relaes sociais. Volume 1. Delineamentos de pesquisa. So Paulo. E.P.U. A cincia no comea nem termina com os experimentos propriamente ditos, mas um processo de descoberta no qual usamos os melhores instrumentos e ferramentas para responder as nossas questes. Quando a distribuio aleatria e o controle de laboratrio so inviveis, podemos escolher dentre ampla variedade de outras tcnicas. O termo quaseexperimentos abarca grande variedade de outros delineamentos de pesquisa. O termo se torna conhecido pela primeira vez com a publicao de um livro pequeno mas influente, escrito por Campbell e Stanley (1963), recentemente revisto e ampliado (Cook e Campbell, tambm Judd e Kenny, no prelo). Quase-experimentos so delineamentos de pesquisa que no tm distribuio aleatria dos sujeitos pelos tratamentos, nem grupos-controle. Ao invs disso, a comparao entre as condies de tratamento e no-tratamento deve sempre ser feita com grupos no equivalentes ou com os mesmos sujeitos antes do tratamento.Se voc no puder distribuir aleatoriamente pessoas ou grupos pelas condies experimentais, perder a capacidade de controlar o que ocorre a quem . Entretanto, voc ainda poder observar o que ocorre, quando ocorre e a quem ocorre; e, ao decidir o que e quando medir , poder planejar um dentre vrios quase-experimentos. Voc ter perdido o controle por no usar a distribuio aleatria, mas ainda assim poder realizar uma pesquisa e analisar relaes de causa-efeito sem um experimento. Ao coletar dados criteriosamente em situaes e momentos adicionais voc poder criar um quase-experimento. Por exemplo, Lawler e Hackman (1969) estudaram os efeitos da participao de zeladores nas tomadas de decises sobre sua assiduidade no trabalho. Eles no podiam distribuir os zeladores aleatoriamente por grupos que participariam na tomada de decises ou grupos-controle e, portanto, no tinham grupos-controle equivalentes com os quais fazer comparaes. No entanto, os pesquisadores tinham uma longa srie de registros do absentesmo dos homens, anteriores a sua nova condio de participantes nas tomadas de deciso, e poderiam comparar os ndices de absentesmo antes e depois de serem introduzidos os processos de participao. Este no foi um experimento propriamente dito, porque no houve distribuio aleatria. Foi um quase-experimento, denominado delineamento de srie temporal. Neste captulo mostramos como voc pode fazer uma pesquisa na qual avalie causas e efeitos mesmo que no possa distribuir as pessoas aleatoriamente pelas condies. Quaseexperimentos bem concebidos permitem-lhe descartar muitas das ameaas validade interna que discutimos no captulo 2.

Neste captulo discutiremos trs tipos de quase-experimentos, sendo cada um dos quais uma extenso de um pr-experimento. Cada um deles alcana sua maior possibilidade de interpretao atravs do acrscimo de mais pontos de dados ou observaes base prexperimental. 1. Delineamento de srie temporal descontnua
O1 XO9 O2 O3 O10 O11 O4 O12 O5 O13 O6 O14 O7 O8 O15 O16

Delineamentos de srie temporal so extenses do delineamento pr-experimental de pr e ps-teste com um grupo ( O1 X O2). Embora o antecessor pr-experimental seja sujeito a vrias ameaas validade interna, a srie temporal, com sua longa seqncia de Os, fornece informaes que permitem descartar vrias ameaas, principalmente maturao e testagem. Se voc encontrou uma diferena marcante entre O8 e O9 e se perguntou se a diferena realmente resultado do tratamento (X) ou da maturao, poder inspecionar todos os intervalos anteriores e posteriores quele ponto para procurar indcios de maturao. Presumivelmente, se estiver ocorrendo maturao, esta aparecer como uma tendncia a longo prazo, produzindo efeitos similares entre O1 e O2, O2 e O3, e assim sucessivamente, ao longo de toda a srie. Se nenhum dos outros intervalos mostrou tal tendncia e a nica diferena encontrada foi entre O8 e O9, maturao no ser uma hiptese muito plausvel a menos, claro, que esteja estudando algum fenmeno que venha a coincidir com uma mudana maturacional particular, tal como puberdade, e que pudesse tambm, plausivelmente, ser afetado por ela. Apenas sob tal conjunto especial de circunstncias e coincidncias a maturao colocaria ameaas validade interna de um estudo de srie temporal. O mesmo raciocnio se aplica testagem como uma hiptese rival. Se voc suspeitasse que a diferena entre O8 e O9 resultou no do tratamento mas de efeitos sensibilizadores do pr-teste (O8), poderia examinar todos os intervalos precedentes e subsequentes para ver se a testagem repetida produziu diferenas similares ao longo da srie inteira. Se no houvesse diferenas em qualquer outros pontos, seria altamente implausvel que a testagem apenas em O8 tivesse produzido um efeito em O9. No raro o X ocorre apenas uma vez, e presume-se que seu efeito persista para sempre ou por tempo determinado. Uma inoculao contra sarampo deveria durar para sempre; uma injeo antigripal pode ter um perodo limitado de eficcia algumas vezes o X sinaliza uma mudana permanente na situao como quando um Estado muda suas leis sobre o divrcio para autorizar divrcios sem justa causa ou quando o governo introduz novos padres de poluio atmosfrica. Em casos como estes, quando o tratamento ocorre no apenas em um nico ponto, mas continua em vigor, a srie temporal mais corretamente representada como se segue:
O1 O2 O3 O4 O5 O6 O7 O8

XO9

XO10

XO11

XO12

XO13

XO14

XO15

XO16

Em cada caso, com um tratamento de caso nico ou contnuo, a virtude dos delineamentos de srie temporal que voc pode examinar a tendncia dos dados antes do tratamento, no momento da interveno e aps o tratamento. Isso lhe permite avaliar a plausibilidade de maturao como uma hiptese rival. Se maturao foi uma causa, ela dever aparecer como uma tendncia antes do tratamento, bem como aps. Quo facilmente voc pode interpretar uma srie temporal e descartar hipteses rivais no depende das caractersticas formais do delineamento isoladamente, mas tambm do padro dos resultados. Alguns resultados so relativamente fceis de interpretar voc pode descartar a maioria das ameaas validade e concluir que o tratamento causou o efeito. Outros padres so mais vulnerveis a interpretaes rivais. Os dois fatores que os pesquisadores examinam nos resultados de um delineamento de srie temporal descontnua so as inclinaes das retas para as observaes de pr e psteste e a intercepo no eixo dos Y o ponto no qual cada uma interceptar o eixo vertical. Por exemplo, as figuras 3.1 e 3.3 mostram vrios resultados esquematizados de delineamentos de srie temporal descontnua a primeira (3.1) prontamente interpretvel e mostra um efeito de tratamento; a segunda (3.2) ambgua; a terceira (3.3) um caso claro em que no houve efeitos do tratamento.

Alta Medida dos Resultados

Baixa
O1 O2 O3 O4 x O5 O6 O7 O8

Figura 3.1. Intervalos temporais em que as medidas foram tomadas, sendo o tratamento introduzido entre O4 e O5.

Alta Medida dos Resultados

Baixa
O1 O2 O3 O4 X O5 O6 O7 O8

Figura 3.2. Intervalos temporais em que as medidas foram tomadas, sendo o tratamento introduzido entre O4 e O5.

Alta
Medida dos

Resultados

Baixa
O1 O2 O3 O4 X O5 O6 O7 O8

Figura 3.3. Intervalos temporais em que as medidas foram tomadas, sendo o tratamento introduzido entre O4 e O5. Figuras 3.1, 3.2 e 3.3. Alguns resultados possveis derivados da introduo de um tratamento (x) numa srie temporal de mensuraes.

Com resultados como os da figura 3.1 no h muitas hipteses rivais. bastante bvio que o tratamento causou a mudana nos escores de pr para ps-teste. No h tendncia de maturao nas observaes de pr nem de ps-teste; assim, maturao isoladamente ou a interao de maturao com seleo no so explicaes alternativas convincentes. A ameaa mais problemtica e plausvel histria algum evento que tenha coincidido com o tratamento. Quo plausvel ela depende totalmente do problema em estudo. Se estivermos estudando os efeitos de um filme sobre relaes exteriores sobre as atitudes de estudantes norte-americanos em relao a pessoas de outros pases, e se a apresentao do filme coincidir com acordos internacionais acerca da distribuio das fontes de energia mundiais ou com um incidente internacional no qual algum outro pas fez refns norte-americanos, estes eventos histricos seriam hipteses rivais plausveis. Se no houver eventos externos bvios que coincidem com o tratamento e que poderiam ter produzido os mesmos efeitos, a histria no se apresenta como um problema. Com resultados como os da figura 3.2, no fica claro se o tratamento causou a mudana ascendente porque a mudana no coincide com o tratamento; ela aparece com atraso de um intervalo. Em alguns casos pode haver razes para esperarmos tal atraso e, portanto, atribuir o efeito ao tratamento. Por exemplo, uma alta no preo mundial de exportao de petrleo no seria sentida imediatamente no preo da gasolina nas bombas, por haver uma reserva de leo para seis meses que seria vendida a preos mais baixos. Portanto, se voc estivesse estudando os efeitos do aumento mundial no preo de exportao do petrleo sobre o consumo de gasolina pelos norte-americanos, o efeito poderia demorar seis meses para aparecer aps a causa. Se as observaes de srie temporal forem feitas trimestralmente, com intervalos de trs meses, o efeito apareceria no na primeira observao ps-tratamento, mas na segunda, e o padro apresentado na figura 3.2 seria uma demonstrao convincente do efeito do aumento de preo no consumo. Se no houver tal mecanismo de armazenamento e, portanto, nenhum atraso plausvel para que a causa tenha este efeito, a figura 3.2 ser mais difcil de interpretar, e outras hipteses rivais podero ser causas. Estas explicaes alternativas provavelmente ficariam sob o rtulo de histria outros eventos que acompanharam o tratamento e produziram os efeitos. A figura 3.3 o caso mais claro em que no ocorre nenhum efeito. Os nveis mais altos que O atingiu aps o tratamento refletem apenas a tendncia predominante que tambm produziu nveis de O sucessivamente mais altos antes do tratamento. Esta figura tambm mostra mais claramente por que o delineamento de srie temporal muito superior ao delineamento pr-experimental de pr e ps-teste com um grupo. Se o padro observado na figura 3.3 fosse estudado com apenas pr-teste e um ps-teste (pontos O4 e O5), o experimentador ver-se-ia tentado a concluir que o tratamento teve um efeito fez com que O5 fosse mais alto que O4. Sem outros pontos de dados, seria impossvel distinguir entre um efeito real e a tendncia predominante que vemos na figura 3.3. Com o acrscimo de uma srie de observaes de pr e ps-teste, o delineamento de srie temporal muito mais interpretvel que o delineamento de pr e ps-teste com um grupo. Mesmo que no inclua distribuio aleatria nem grupo-controle, ele ser um delineamento experimental til, pois as observaes adicionais permitem ao investigador testar a plausibilidade de vrias hipteses rivais: maturao, testagem, instrumentao, mortalidade e regresso. A principal ameaa validade com este delineamento histria. O delineamento de srie temporal descontnua apresenta diversas variaes. Pode incluir mais de um grupo ou sujeito, formando-se um delineamento de srie temporal mltipla.

2. O delineamento de amostras temporais equivalentes Autores: Campbell e Stanley (1979), Delineamentos Experimentais e Quase-experimentais de pesquisa. So Paulo: EDUSP. pag. 75-78.
A forma mais usual de delineamento experimental emprega uma amostra equivalente de pessoas para fornecer uma linha de base em relao qual se possam comparar os efeitos da varivel experimental. Em contraste, a forma recorrente de experimentao de um grupo emprega duas equivalentes amostras de ocasies, numa das quais a varivel experimental est presente sem que o esteja na outra. Esse esquema pode ter o seguinte diagrama (embora se queira uma alterao mais casual do que regular):

X0 O X1O X0 O X1O X0 O

(ou delineamento A-B-A-B-A)

Esse delineamento pode ser visto como uma forma do experimento de srie temporal com a introduo repetida da varivel experimental. O experimento obviamente mais til quando o efeito da varivel experimental antecipado como de carter transitrio ou reversvel. Enquanto a lgica do experimento pode ser vista como uma extenso do experimento de srie temporal, o modo de anlise estatstica mais tipicamente semelhante ao do experimento de dois grupos em que empregada a significncia da diferena entre as mdias de dois conjuntos de medidas. Usualmente, as medidas so bem especificamente emparelhadas com as apresentaes da varivel experimental, sendo frequentemente concomitantes, como no caso de estudos de aprendizagem, produo de trabalho, condicionamento, reao fisiolgica, etc. Talvez o primeiro dos usos mais tpicos desse esquema experimental, como nos estudos de eficincia do trabalho e de estudantes sob vrias condies de autoria de Allport (1920) e Sorokin (1930), envolveram a comparao de duas variveis experimentais uma com a outra, isto , X1 versus X2, e no a de uma com um controle. Por muitos motivos, a simples alternao de condies e o emprego de um espaamento temporal consistente so indesejveis, particularmente quando possam introduzir confuso com um ciclo dirio, semanal ou mensal, ou quando, atravs da periodicidade previsvel de um condicionamento no querido ao intervalo temporal, possam acentuar a diferena entre uma apresentao e outra. Assim, Sorokin tomou precaues para que cada tratamento experimental ocorresse com igual freqncia tarde e pela manh. A maioria dos experimentos que empregaram esse delineamento tm usado relativamente poucas repeties de cada condio experimental, mas o tipo de extenso da teoria de amostragem apresentado por Brunswik (1956) chama ateno para a necessidade de amostragens casuais de perodos de tempo amplas, representativas e equivalentes. Kerr (1945) talvez tenha sido quem mais se aproximou desse ideal em seus experimentos sobre os efeitos da msica na produo industrial. Cada um de seus vrios experimentos envolveu um nico grupo experimental com uma amostra casual e equivalente de dias ao longo de perodos mensais. Assim, num experimento ele pode comparar 56 dias de msica com 51

dias sem msica e, em outro, pode comparar trs diferentes tipos de msica, cada um dos quais representados por amostras equivalentes de 14 dias. Da forma pela qual foi empregado por Kerr, por exemplo, o delineamento de amostras temporais equivalentes parece tambm internamente vlido. Histria, a maior fraqueza da srie temporal, controlada pela apresentao de X em numerosas ocasies distintas, tornando extremamente improvvel qualquer explicao rival baseada na coincidncia de eventos estranhos. As outras fontes de invalidade so controladas pela mesma lgica invocada em relao ao delineamento de srie temporal descontnua. Com relao validade externa, generalizao obviamente possvel apenas para populaes freqentemente testadas. O efeito reativo de montagem (arrangements), a conscincia de experimentao representa uma vulnerabilidade tpica desse experimento. Quando grupos distintos so submetidos a XX distintos, possvel mant-los no total desconhecimento da presena de um experimento ou dos tratamentos em cotejo. Isso no ocorre quando se acha envolvido apenas um grupo e quando esse grupo repetidamente exposto a uma condio ou outra, por exemplo, a uma base para computar pagamento e outra, como ocorreu no experimento de Sorokin; a uma espcie de ventilao e a outra, como se deu nos estudos de Wyatt, Fraser e Stock (1926); e a uma espcie de msica ou outra, como se verificou na pesquisa de Kerr (embora Kerr tomasse precaues elaboradas para que a programao variada fosse vista como uma parte natural do ambiente de trabalho). No que tange interao de seleo e X: como de hbito, existe a limitao da generalizao dos efeitos demonstrados de X para o tipo particular de populao envolvida. Esse delineamento quase-experimental traz consigo uma aleatoriedade quanto validade externa, que ser encontrada em todos os experimentos descritos neste ensaio em que mltiplos nveis de X so apresentados ao mesmo conjunto de pessoas. Esse efeito tm sido rotulado como interferncia de X mltiplo. O efeito de X1, na situao mais simples em que est sendo comparado com X0, pode ser generalizado somente para condies de apresentaes repetitivas ou espaadas de X1. Nenhuma base aceitvel existe para generalizao a possveis situaes em que X1 se acha continuamente presente ou condio em que introduzido uma vez e apenas uma vez. Alm disso, a condio X0 ou a ausncia de X no tpica de perodos sem X em geral, mas apenas representativa de ausncias de X intercaladas entre presenas. Se X1 tiver algum efeito prolongado capaz de repercutir nos perodos de no-X, como pareceria usualmente provvel, o plano experimental poder subestimar o efeito de X1 se comparado com um estudo do delineamento experimental com grupo de controle e s ps-teste, por exemplo. Do outro lado, o simples fato de haver freqentes mudanas pode aumentar o valor estimulante de X em relao ao que este valor seria sob uma apresentao contnua e homognea. A msica hawaiana no estudo de Kerr pode afetar o trabalho de modo completamente diferente se intercalada por um dia entre dias de outra msica, do que o faria se constitusse uma programao contnua. Os delineamentos experimentais de Ebbinghaus (1885) podem ser encarados como essencialmente desse tipo e, como observou Underwood (1957 a), as leis por ele encontradas so limitadas em sua generalizabilidade a uma populao de pessoas que aprenderam dzias de outras listas altamente semelhantes. Muitas de suas concluses, com efeito, no prevalecem no caso de pessoas que tenham aprendido uma nica lista de slabas sem sentido. Assim, embora o esquema seja vlido internamente, sua validade externa pode ser seriamente limitada a alguns tipos de contedos. (Ver tambm Kempthorne, 1952,Cap.29)

Note-se, contudo, que muitos aspectos do ensino sobre os quais algum gostaria de conduzir um experimento podem muito bem ter efeitos limitados, do ponto de vista prtico, ao perodo de efetiva presena de X. Para tais fins, esse delineamento pode ser perfeitamente valioso. Suponhamos que um professor levante a questo do valor de recitao oral versus estudo individual silencioso. Ao variar esses dois processos ao longo de uma srie de unidades de ensino, pode-se montar um experimento interpretvel. O efeito da presena de um pai-observador na sala de aula sobre o debate voluntrio de estudantes pode ser estudado dessa forma. Conscincia de tais esquemas pode situar uma testagem experimental de alternativas dentro do alcance de um nico professor. Isso poderia servir de teste-piloto para avaliar procedimentos que, se promissores, poderiam ser examinados por experimentos mais amplos e mais coordenados. Essa abordagem pode ser aplicada a uma amostragem de ocasies em relao a um nico indivduo. Embora no d ensejo tipicamente aplicao de testes de significncia, esse um delineamento recorrente em pesquisa fisiolgica, em que um estmulo aplicado repetidamente a um animal, com o cuidado de evitar qualquer periodicidade na estimulao. Esta ltima caracterstica corresponde exigncia de aleatoriedade de ocasies exigidas pela lgica do plano.

3. Delineamento de srie temporal mltipla

O1 O2 O3 O4 O5 O6 X O7 O8 O9 O10 O11 O12 ----------------------------------------------------------------------------------------------------O1 O2 O3 O4 O5 O6 O7 O8 O9 O10 O11 O12

Este delineamento fornece informaes idnticas sobre um segundo grupo ou sujeito e lhe permite testar a ameaa mais problemtica validade interna que um delineamento de srie temporal simples apresenta histria. Se tiver coincidido com algum evento histrico e se os dois grupos foram presumivelmente expostos s mesmas condies histricas, o efeito deste incidente histrico deveria aparecer em ambas as sries como uma diferena entre O6 e O7. Por exemplo, suponha que tenhamos tentado avaliar o efeito de um filme denominado A morte de uma princesa, sobre a atitude de norte-americanos e europeus em relao a rabes sauditas. O filme era uma narrativa romanceada de uma histria verdadeira uma princesa da Arbia Saudita fora executada por um peloto de fuzilamento aps ter sido acusada de cometer adultrio. Oficiais do governo saudita protestaram contra a exibio deste filme na Europa e Amrica do Norte, alegando que ele deturpava a sociedade rabe e provocaria hostilidade nos espectadores. Apesar disso, o filme foi exibido na televiso norte-americana e europia. Se tivssemos estudado os efeitos disto medindo os sentimentos anti-sauditas expressos em editoriais de jornais ou contando o nmero de adesivos anti-sauditas nos pra-choques dos carros, poderamos ter encontrado um efeito como o da figura 3.1. Suponha, entretanto, que a exibio do filme tenha coincidido com um aumento no preo do petrleo ou com um ato de terrorismo. Qualquer evento deste tipo que ocorresse aproximadamente ao mesmo tempo poderia ser responsvel pelo aumento de hostilidade observado na imprensa ou em nossa contagem de

adesivos de pra-choques. Como poderamos determinar se foi o filme ou os outros eventos histricos que produziram este efeito? Se pudssemos encontrar alguma localidade que tivesse sido exposta ao mesmo aumento no preo do leo ou tivesse ouvido falar sobre o mesmo ato de terrorismo, mas no tivesse sido exposta ao filme, poderamos avaliar as hipteses rivais. Duas cidades que tivessem experienciado o aumento no preo do leo, uma das quais tivesse assistido ao filme e outra no, forneceriam um teste para a hiptese rival. Se o sentimento anti-saudita expresso nos jornais da primeira cidade ou nos prachoques dos carros aumentasse aps a exibio do filme enquanto se mantivesse constante na outra cidade, descartaramos as hipteses rivais de histria e concluiramos que o filme produziu efeito. Este exemplo apresenta no s um quase-experimento hipottico, mas um dilema real. Algumas vezes as questes para as quais so planejados delineamentos quaseexperimentais so importantes questes polticas com implicaes srias. Mas as medidas disponveis para respond-las so extremamente inadequadas. Um delineamento de srie temporal, em particular, freqentemente se baseia em dados de arquivos tais como registros das vendas do nmero de adesivos para pra-choques que nunca foram planejados para serem indicadores sensveis de uma varivel social, tal como atitudes em relao a outra nao. Apesar disto, tais dados podem ser as nicas medidas disponveis numa srie suficientemente longa num delineamento quase-experimental, como o de srie temporal. O captulo 12 sobre dados observacionais e de arquivos discute o poder e a fraqueza de tais dados de arquivos disponveis. 4. Delineamento de pr e ps-teste com grupo controle no equivalente Autores: Selltiz Wrightsman Cook.. (1976). Mtodos de pesquisa nas relaes sociais. Volume 1. Delineamentos de pesquisa. So Paulo. E.P.U. O delineamento pr e ps-teste com grupo controle no equivalente no inclui uma longa srie de observaes nem ao longo do tempo nem entre grupos. Grupo 1 Grupo 2 O1 X O3 --------------O2 O4

Este no uma extenso de qualquer dos delineamentos pr-experimentais mas sim uma combinao da comparao com grupo esttico com o pr-experimento de pr e psteste com um grupo. Combinando as caractersticas de ambos, possui mais possibilidade de interpretao do que qualquer um deles. Inclui informaes de pr-teste sobre os nveis de linha de base existentes nos grupos e fornece um grupo-controle. Entretanto, o grupo controle no formado atravs da distribuio aleatria. um grupo preexistente ou prselecionado, que escolhemos por ser similar, mas no equivalente. Todavia, a simples incluso de um grupo-controle e de um pr-teste possivelmente permite-nos descartar vrias das ameaas validade interna. Uma grande vantagem deste delineamento sobre a comparao com grupo esttico que ele pode medir diferenas preexistentes entre grupos. A figura 3.6 ilustra os resultados que so facilmente interpretveis graas incluso do pr-teste. mais provvel, como se

10

v na figura 3.6, que pessoas que instalam aquecedor solar j gastassem de incio menos energia que outras pessoas. Pessoas que no instalaram aquecedores solares

Alto Consumo de eletricidade p/ aquecimento de gua

Baixo

Pessoas que instalaram aquecedores solares Pr-teste janeiro de 1980 Ps-teste janeiro de 1981

Figura 3.6. Efeitos dos aquecedores solares no consumo eltrico.

O seu interesse em energia solar uma expresso decorrente de suas inclinaes preexistentes. Assim, se tivssemos apenas a informao do ps-teste, no saberamos se a diferena refletia uma tendncia natural economia das pessoas que instalam aquecedor solar, ou se refletia as economias produzidas pela energia solar. Quando olhamos para as diferenas preexistentes, vemos que aqueles que instalaram os aquecedores eram econmicos no incio. Eles consumiam menos eletricidade mesmo antes de instalarem os aquecedores. Contudo, a diferena acirrou-se depois do tratamento, e isto sugere que as instalaes solares tiveram um efeito. H alguma hiptese rival? Voc poderia suspeitar que as pessoas que se tornaram interessadas em energia solar iriam naturalmente decrescer o consumo eltrico, mesmo que no houvessem instalado os aquecedores porque eles estavam conscientes da necessidade de economizar energia e podem ter usado menos gua quente em janeiro de 1981. Este delineamento no fornece a informao necessria para que descartemos esta possibilidade uma interao entre seleo e maturao. Somente se tivssemos uma srie de observaes longitudinais poderamos ver se o grupo de tratamento estava com uma tendncia decrescente tanto antes como depois da instalao solar. Este exemplo ilustra o quanto precisamos considerar no apenas o delineamento, mas tambm o contedo do estudo e o padro dos resultados para descartar hipteses rivais. Para alguns contedos voc pode no considerar plausvel que o grupo de tratamento tenha mudado sem o tratamento, de modo a se tornar cada vez mais diferente do grupo-controle. Para alguns padres de resultados a hiptese mais plausvel a de que o tratamento tenha produzido os efeitos. Imagine um programa de economia de energia aplicado em pessoas residentes em Estados que usam ar condicionado a maior parte do tempo. Suponha

11

que o programa de economia aplicado contenha as mais altas taxas de consumo eltrico nos Estados de maior consumo. Para estudar os efeitos deste programa, compararamos o consumo de energia eltrica de pessoas daqueles Estados com o consumo de pessoas de Estados vizinhos que no consumissem tanta eletricidade com ar condicionado. Sabemos que o grupo de tratamento consumia inicialmente mais eletricidade que aqueles residentes nos Estados de comparao, de modo que seus nveis de pr-teste seriam semelhantes a O1 e O2 na figura 3.7. Se o ps-teste mostrar que o grupo de tratamento reduziu seu consumo abaixo do nvel do grupo-controle, a hiptese mais plausvel a de que o programa funcionou. Uma intercepo no eixo dos Y como a da figura 3.7 mais difcil de explicar por qualquer uma das hipteses rivais, como a interao entre maturao e seleo. Neste exemplo, a tendncia constante do grupo controle pode ser considerada a tendncia normal; a tendncia decrescente do grupo de tratamento pode ser atribuda ao efeito do tratamento. Para descartar o efeito aparente do tratamento, teramos que considerar as pessoas dos Estados de alto consumo eltrico como um extraordinrio grupo de eminentes economizadores que no apenas alcanaram, mas ultrapassaram os nveis de economia das pessoas nos Estados vizinhos. Isto to pouco provvel, neste caso e em quase todos, que o padro de intercepo mostrado na figura 3.7 usualmente interpretado como um efeito do tratamento.

Alto O1 O4 Grupo de controle Consumo de energia O2

O3 Grupo de tratamento Baixo Pr-teste Ps-teste

Figura 3.7. Nveis de consumo de energia eltrica por pessoas que vivem nos Estados de tratamento e de controle.

Quando realizar quase-experimentos Dissemos neste captulo e no anterior que se voc quizer fazer afirmaes causais, dever conduzir um experimento e evitar pr-experimentos. Se voc no puder usar distribuio aleatria para projetar um experimento, um quase-experimento a segunda

12

melhor escolha. Um quase-experimento est numa posio inferior, no to boa quanto um experimento, mas muito superior aos pr-experimentos. H muitas intervenes sociais programas de moradia, escola, drogas, impostos que so importantes de estudar mas que no so realizadas com distribuio aleatria. Para estudar os efeitos de tais inovaes, precisamos regredir para alguns delineamentos quaseexperimentais. Qual delineamento quase-experimental escolher depende do tipo de dados que se tem disponvel. Os delineamentos de srie temporal e de anlise de descontinuidade da regresso requerem um grande nmero de pontos de dados e so mais facilmente utilizados no estudo de dados de arquivo dados que so regularmente coletados, como os dados do censo, ndice anual de preo, relatrios mensais, meteorolgicos, etc... Embora estes dados houvessem sido originalmente coletados para outros fins, voc poder us-los para testar hipteses acerca dos efeitos de novos programas sociais. s vezes, contudo, dados de arquivo coletados para um propsito no so adequados para responder a outras questes. Por exemplo, se desejssemos estudar os efeitos de um programa de preveno de estupro sobre a incidncia de estupro, deveramos tentar o uso de um experimento quaseexperimental de srie-temporal para investigar os efeitos de um novo programa preventivo sobre o nmero de estupros registrados pela polcia em um perodo de 15 anos. Esperaramos encontrar um decrscimo no nmero de estupros depois de iniciado o programa. Teoricamente, este dado parece ser derivado de um bom delineamento de srie temporal, com teis dados de arquivos. Na prtica, os dados seriam difceis de interpretar porque a incidncia real de estupros muito maior que o nmero de estupros registrados pela polcia. Os dados de arquivo, portanto, poderiam subestimar o nmero total de estupros. concebvel, tambm, que o nmero de registros policiais de estupros aumentasse, ao invs de decrescer com resultados do programa, se parte do programa consistisse em encorajar as vtimas de estupros a denunciar o crime. Quando os dados de arquivo existentes no esto disponveis ou no so adequados, um pesquisador poderia ainda planejar uma srie temporal e coletar dados em vrias semanas, meses ou anos. Quanto mais tempo levar para coletar tais dados, menor a probabilidade de que voc ou algum mais queira conduzir um quase-experimento de srietemporal porque seria custoso em tempo e esforos. A vantagem do delineamento de srietemporal que ele inclui um grande nmero de observaes para testar hipteses rivais; a desvantagem que custoso coletar tantos dados se ainda no existem em arquivos.

13

Validade interna, validade externa e quase-experimentos Quase-experimentos so intermedirios entre um experimento com distribuio aleatria e um pr-experimento, o qual freqentemente ininterpretvel. Tambm se constituem num intermedirio entre a maximizao da validade interna e da validade externa. O que experimentos fazem para extrair inferncia causal e maximizar a validade interna algumas vezes sacrifica a validade externa. Experimentos de laboratrio algumas vezes no possuem a mais leve semelhana com os fenmenos do mundo real que eles pretendem reproduzir, e mesmo experimentos de campo s vezes perdem validade externa simplesmente porque os sujeitos sabem que so cobaias experimentais submetidas distribuio aleatria. Quase-experimentos freqentemente evitam estes prejuzos. Uma anlise de srie temporal dos efeitos de programas de preveno de estupro no cria efeitos de cobaia porque as vtimas nem mesmo sabem que esto sendo estudadas. Quase-experimentos podem ser menos intrusivos que os experimentos, porque permitem a ocorrncia dos processos de seleo natural. As pessoas esto acostumadas a escolher seus prprios tratamentos ou a serem selecionadas para tratamentos segundo algum critrio, como uma expectativa de grande sucesso acadmico. No esto acostumadas a serem distribudas aleatoriamente pelos tratamentos, exceto quando se trata, reconhecidamente, de algum tipo de loteria. Os processos de distribuio do sujeito que os quase-experimentos incluem, so processos de seleo que naturalmente ocorrem no mundo. Estes processos de classificao no-aleatrios tornam difcil desvencilhar os efeitos do tratamento de outros efeitos rivais, particularmente a seleo, mas eles tambm fornecem aos estudos quase-experimentais um componente de validade externa que os experimentos carecem. Eles nos possibilitam estudar os efeitos que tratamentos possuem sobre aquele segmento da populao que tambm o mais provvel de escolher ou ser escolhido para o tratamento. Nem todos escolheriam ir a uma faculdade experimental, fazer psicoterapia ou trabalhar quatro horas por semana. Para tratamentos como estes, que as pessoas so capazes de escolher por elas prprias, no faz sentido descartar as tendncias de seleo pessoal que existiriam naturalmente. Poderamos no querer distribuir aleatoriamente todas as pessoas para algum nvel destes tratamentos. Poderamos elaborar um experimento entre aquelas pessoas que normalmente escolheriam tais tratamentos, caso recrutssemos mais voluntrios do que cada programa poderia comportar. Se selecionssemos aleatoriamente os principiantes entre os candidatos voluntrios, poderamos elaborar um experimento. Contudo, a maioria das pessoas no esto acostumadas a serem sorteadas para tais tipos de programas, o que requereria iludir o participante ou educ-lo para tornar o sorteio aceitvel. No defendemos o engodo. Gostaramos de ver alguma forma de educao do pblico para que se tornasse possvel o uso de sorteio na avaliao de certos programas ainda que isto aumentasse a conscincia das pessoas de que elas so cobaias e pudesse por isto, diminuir a validade externa de um estudo.

14

Resumo Delineamentos quase-experimentais fornecem um meio de estudar alguns tratamentos sociais que naturalmente ocorrem. Eles so intermedirios entre um experimento que possui alta validade interna e os fracos pr-experimentos que quase no possuem, no geral, validade interna. Quase-experimentos nos possibilitam descartar algumas ameaas validade porque eles incluem mais pontos de dados que os prexperimentos. O nmero de delineamentos quase-experimentais que um pesquisador criativo pode construir ilimitado. Apresentamos trs tipos que so extenses de prexperimentos, os quais mostram como pontos de dados adicionais tornam um delineamento, antes de difcil interpretao, interpretvel. Um determinado pesquisador pode delinear um quase-experimento, ainda no pensado, coletando dados de um nmero suficiente de sujeitos, num tempo suficiente, para descartar muitas ameaas validade interna, de tal modo que mesmo sem a distribuio aleatria ser possvel inferir causas e efeitos.

15

Delineamento da anlise de descontinuidade da regresso

Grupo 1 O1 ----------------Grupo 2 O2 ----------------Grupo 3 O3 ----------------Grupo 4 XO4 ----------------Grupo 5 XO5 ----------------Grupo 6 XO6

O delineamento da anlise de descontinuidade da regresso uma extenso do delineamento pr-experimental de comparao com grupo esttico X O1 . -----------no X O2 O delineamento de grupo controle esttico inadequado porque seleo uma hiptese rival plausvel sempre presente para uma diferena entre os dois Os. O delineamento da anlise de descontinuidade da regresso, com sua longa srie de grupo-controle, fornece informaes sobre a plausibilidade de tais diferenas preexistentes entre os grupos e permite ao experimentador descartar seleo como uma hiptese rival. O pesquisador pode examinar as diferenas entre os vrios grupos de no-tratamento para saber quais so as diferenas que ocorrem naturalmente entre os grupos. Os grupos num delineamento de anlise de descontinuidade da regresso so todos classificados ou ordenados segundo um critrio, tal como necessidade financeira, e aquelas acima ou abaixo de um ponto limite recebem o tratamento, por exemplo, uma bolsa de estudos. O delineamento de anlise de decontinuidade da regresso um delineamento de corte transversal; ele examina os efeitos do tratamento olhando atravs de muitos grupos de pessoas e compara aqueles acima do ponto limite com os abaixo deste. Os delineamentos de srie temporal so delineamentos longitudinais; eles examinam os efeitos do tratamento olhando ao longo da linha de tempo de uma nica pessoa ou grupo e comparam as observaes realizadas antes do tratamento com as realizadas aps. Conforme esquematizado anteriormente, os dois tipos de delineamentos parecem muito diferentes. Conforme a representao grfica das figuras 3.4 e 3.5, os dois parecem similares.

16

Muito Gosto pela Escola

Linha de base projetada Pouco O1 O2 O3 Antes do programa XO4 XO5 Depois do programa XO6

Figura 3.4. Srie temporal para uma criana. Efeitos do programa de aprimoramento acadmico no gosto das crianas pela escola.

Muito Gosto pela Escola

Linha de base projetada Pouco 50 60 70 80 90 100 Escores de seleo para o programa de aprimoramento (80 + o ponto limite) Figura 3.5. Anlise de descontinuidade da regresso para crianas acima e abaixo do ponto limite. Efeitos do programa de aprimoramento acadmico no gosto das crianas pela escola. Embora a anlise estatstica seja diferente (o leitor interessado pode consultar Cook e Campbell, 1979 e Judd e Kenny, no prelo, para maiores detalhes), a lgica subjacente interpretao desses dois delineamentos semelhante. Em ambos os casos podemos projetar o ponto longo antes do tratamento e comparar a estimativa projetada com os resultados observados. Se estes ltimos diferirem dos projetados, isto ser uma evidncia do efeito do tratamento. Em ambos os casos assumimos que, se houvesse uma tendncia preexistente, esta tendncia continuaria normalmente e no deveria ser confundida com um efeito de tratamento. Por exemplo, se a criana cuja srie temporal que mostramos na figura 3.4 gostou cada vez mais da escola a cada ano que passa, esperamos que esta tendncia continue. A mudana na intercesso mostra que

17 o gostar subiu para um novo nvel aps o programa de aprimoramento acadmico; o programa deu um impulso na criana. O delineamento de anlise de descontinuidade da regresso mostra o mesmo efeito (fig. 3.5). Se as crianas que recebem pontuaes mais altas nos testes gostam mais de escola naturalmente e se as crianas so selecionadas com base nas pontuaes que obtm nos testes, esperaramos que a tendncia continuasse ao longo da linha programada mesmo que no houvesse efeito real do programa. O deslocamento ascendente da curva, a mudana na intercepo no eixo dos Y, demonstra o efeito do programa alm da tendncia natural. Os delineamentos de srie temporal e da anlise da descontinuidade da regresso atingem seu alto nvel de interpretabilidade graas ao acrscimo de observaes. A srie temporal acrescenta observaes ao longo do tempo estendendo a observaes para diante e para trs. O delineamento de anlise de descontinuidade da regresso acrescenta observaes projetadas atravs de diferentes grupos, todos no mesmo momento. As observaes adicionais permitem-nos, em ambos os casos, comparar a diferena entre observaes imediatamente adjacentes ao tratamento com as diferenas entre pares de observaes anteriores ao tratamento e pares posteriores a ele. As sries tambm nos permitem examinar tendncias que ocorrem naturalmente e compara as tendncias projetadas com as reais.