As relaes entre os resultados da avaliao e os modelos de gesto escolar The relations between school evaluation scores and types

of school administration
ngelo Ricardo de Souza*

RESUMO: Este trabalho trata das relaes entre os resultados da avaliao escolar e os tipos de gesto escolar, a partir dos dados, no Brasil, do Sistema de Avaliao da Educao Bsica SAEB, de 2003, que apresenta a proficincia dos alunos nas avaliaes nas disciplinas de matemtica e lngua portuguesa dos alunos da educao bsica e os questionrios preenchidos pelos diretores das escolas pblicas avaliadas. Considerando esses dados, este artigo constitui perfis com diferentes tipos da gesto escolar, faz consideraes acerca da aplicao de avaliaes estandardizadas e busca relacionar esses dois fenmenos. PALAVRAS-CHAVE: Gesto Escolar; Avaliao Escolar; SAEB.

* Professor do Ncleo de Poltica, Gesto e Financiamento da Educao da Universidade Federal do Paran NuPE/UFPR. E-mail: angelo@ufpr.br.

ABSTRACT: This work concerns about the relations between the standardized tests scores and different types of school administration, considering the Brazilian data of SAEB an evaluation national program, in 2003, witch presents the students scores in mathematics and portuguese and the answers from the principals enquiry. This paper presents a typology of different types of school administration, as well it makes considerations about the standardized tests application and it shows the relations between evaluation and school administration. KEYWORDS: School administration; school evaluation; SAEB.

64

Notas introdutrias
Administradores de sistemas de ensino, policy makers e mesmo gestores escolares parecem ter uma expectativa grande de que as avaliaes de sistemas de ensino dem conta de apontar as solues para todos dramas da educao, porque supem que elas conseguiriam identificar as origens dos problemas mais srios que o sistema de ensino possui. A avaliao parte do processo de gesto da educao e, como tal, de fato tem a tarefa de auxiliar a soluo de problemas educacionais, pois seu papel o de dar o devido retorno acerca dos processos de ensino e aprendizagem de sorte a se saber at que ponto eles esto surtindo os efeitos desejados e os objetivos esto sendo atingidos. Mas, h ainda uma outra face da avaliao pouco discutida e que tambm importante para a gesto da educao. Trata-se da presso que ela exerce sobre as pessoas (e instituies organizadas) avaliadas, uma vez que Pesquisas consistentes sugerem que as pessoas atuam mais nas reas nas quais elas sero avaliadas. (...). Indicadores [avaliativos] no apenas medem a realidade, mas eles a modificam (DARLING-HAMMOND & ASCHER, 2006, p. 45). Isto significa dizer que as avaliaes geram tambm produtos per si, e no apenas mensuram os resultados do ato educativo. Em outras palavras, de alguma forma a avaliao tambm educa, ou orienta as aes dos sujeitos, dando-lhes um determinado sentido. Nesta perspectiva, os resultados apresentados pela avaliao no so necessariamente os resultados do trabalho pedaggico desenvolvido, mas podem ser o produto da sua prpria ao avaliativa, a qual atravs da sua interferncia sobre a realidade educacional, modifica-a. As avaliaes dos sistemas de ensino, talvez frustrando com aquela expectativa dos administradores, apenas apontam os problemas e no os resolvem (VIANNA, 2003, p. 10). O que ocorre que elas tambm constituem problemas, como vimos, pois h este aspecto subjetivo nas avaliaes desta natureza que podem dar a impresso de que elas, per si, possam alterar a realidade educacional, agindo na soluo dos problemas. O papel justamente dessas avaliaes, como comentado, o de levantar informaes que possam ser teis na administrao das redes/sistemas de ensino, pois o que a avaliao faz identificar aspectos da prtica pedaggica j desenvolvida e mostrar de que forma essa prtica tem ou no problemas. Cumpre aos administradores do sistema de ensino e das escolas, de um lado, lerem essas informaes com olhares criteriosos de sorte a conhecer melhor o panorama apontado pelas avaliaes e, de outro, encontrarem formas de minimizar os efeitos (e disfunes?) promovidos pelo prpria avaliao, os quais podem distorcer aquela leitura mais aprofundada da realidade educacional.

65

O panorama apontado pela avaliao do sistema de ensino pode no explicitar de forma adequada a realidade pedaggica de cada classe de aula e, menos ainda, de cada aluno avaliado, como sabido, uma vez que os processos avaliativos aplicados em sistemas de ensino utilizam uma metodologia que nem sempre condizente com o que acontece nos espaos educativos das escolas brasileiras. Ou seja, as provas aplicadas aos alunos atravs de testes estandardizados podem no estar adequadas quanto ao contedo e quanto forma em que o contedo foi trabalhado nas diferentes salas de aula do Brasil. Porm, o objetivo de uma avaliao desta natureza no o de mostrar o perfil de desempenho pedaggico de cada um dos alunos ou das escolas nas quais as provas so aplicadas, de maneira isolada, mas o de estabelecer perfis pedaggicos mais ampliados, por estados ou por regies geoeducacionais. Mas, mesmo com os devidos desvios e disfunes, o que interessa, por ora, observar que a gesto da educao e das escolas nos diferentes locais no pas no tm sido edificadas a partir das informaes decorrentes dos sistemas de avaliao. Neste sentido, a gesto educacional/escolar no parece estar muito preocupada em encontrar as causas para os resultados do trabalho escolar e, nem ao menos, conhecer esses resultados com mais profundidade. Este trabalho se apresenta como mais um esforo para romper esta prtica contraditria bastante difundida na conduo da educao pas afora, qual seja, a de ignorar e/ou minimizar os resultados dos processos de macroavaliao, no dando-lhe o devido reparo e cuidado ou, em extremo oposto a isto, a de aceitar inclume os resultados da forma como so publicados sem procurar conhec-los melhor, e mesmo question-los.

O SAEB
O Sistema de Avaliao da Educao Bsica SAEB comeou a ser engendrado na metade da dcada de 80 do sculo passado, quando no perodo denominado de Nova Repblica, o pas reclamava pelas solues dos histricos problemas educacionais brasileiros e comeou-se a construir um relativo consenso nas entidades governamentais de que as solues para os problemas educacionais dependiam cada vez mais do estabelecimento de um rigoroso programa de avaliao da educao (PESTANA, 1998, p. 66). A constituio de um programa desta natureza passou ento a ser sistematizada na busca de coleta de informaes acerca do que estava sendo gerado no setor educacional, como, onde, quando e quem era o responsvel pelo produto obtido (PESTANA, 1998, p. 66). Foi em 1995 que o sistema atingiu todo o territrio nacional e todas as redes de ensino, mas mesmo em anos anteriores j havia a aplicao de provas padronizadas nacionalmente para medir o desempenho estudantil, concepo esta que ainda edifica

66

o SAEB. E ele vem sendo aplicado desde ento a cada binio (1997, 1999, 2001, 2003 e 20051). Contudo, esse sistema, mesmo sendo capaz de evidenciar diversas caractersticas da educao bsica brasileira, incapaz de avaliar funes importantes da escola na sociedade moderna: A questo do sucesso da escola na construo da cidadania no verificada com este sistema (SOARES, 2004, p. 4). Isto se deve ao fato de que o SAEB no se volta a conhecer verdadeiramente o que as escolas fazem, mas sim coloca-as sob uma matriz avaliativa estabelecida nacionalmente e mensura, assim, em que medida as escolas se aproximam ou se distanciam dessa matriz. De qualquer jeito, o Ministrio da Educao, atravs do Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira INEP, instituio organizadora do sistema, entende que o SAEB se apresenta como uma ferramenta de gesto educacional e escolar, uma vez que ele poderia apontar as falhas dos sistemas de ensino e, particularmente, os problemas mais locais, uma vez que as escolas no tm clareza sobre onde devem chegar e, muitas vezes, nem sabem de que bases partem (PESTANA, 1998, p. 66). Esse argumento de PESTANA, todavia, choca com o que se verifica na prtica, pois a despeito de ter entre seus objetivos o de identificar falhas locais, a metodologia do SAEB voltada para a caracterizao do conjunto do sistema, portanto, no tem privilegiado a avaliao individual dos alunos, como comentado, mesmo com as modificaes introduzidas em 2005 que buscam tornar cada escola em unidade amostral, pois mesmo neste caso o SAEB continua preocupado em avaliar a escola a partir de uma matriz/padro e, com isto, tem dificuldades em identificar se a escola est ou no distante dos seus prprios objetivos, foco de onde poderiam de fato vir as falhas locais. Este trabalho lida com os dados do SAEB de 2003, edio na qual ainda a unidade amostral eram os estados da federao brasileira. Naquele ano o SAEB aplicou as avaliaes e questionrios em escolas pblicas e privadas, localizadas em municpios de todas as regies do pas, divididas em estratos amostrais distintos, retirados a partir da aplicao de ferramentas estatsticas avanadas (MEC/INEP, 2001). A escolha dessas escolas foi realizada mediante sorteio. Alm de conhecer a habilidade dos alunos nas disciplinas de lngua portuguesa e matemtica, objetivo explcito do SAEB descrito no Plano Amostral de 2001 (MEC/ INEP, 2001), a aplicao das provas para alunos das 4 e 8 sries do ensino fundamental e para o 3 ano do ensino mdio tem esta tarefa de produzir estimativas confiveis acerca daquela habilidade. Mas, o SAEB no apenas aplica as provas. Juntamente com a

1 Em 2005, o SAEB mudou de nome e passou a ser designado de Avaliao Nacional da Educao Bsica e tambm modificou sua proposta, tendo atingido no mais uma amostra de escolas, mas todas as escolas urbanas do pas, na busca de servir dados sobre todas as escolas. Maiores informaes em www.inep.gov.br

67

aplicao das provas, h o preenchimento de um conjunto de questionrios pelos prprios alunos, pelos professores e pelos diretores das escolas envolvidas. Esses questionrios, denominados de medidas de contexto, objetivam apresentar respostas para possveis tendncias no desempenho escolar medido pelas provas. Assim, este trabalho lida, de um lado, com os questionrios respondidos pelos diretores e, de outro, com o desempenho escolar dos alunos. H diversas crticas feitas ao SAEB, como aquela elencada acima acerca da sua incapacidade de identificar se a escola est ou no atendendo suas funes sociais, assim como o fato dele acabar definindo a pauta do que deve ser ensinado na educao bsica, uma vez que estabelece um padro (perfil mnimo) ao cobrar um conjunto de conhecimentos das diferentes reas de ensino, podendo ser entendido, inclusive, como o currculo oficial; todavia, mesmo com essas crticas, as informaes coletadas por este sistema so pouco utilizadas, quer na pesquisa, quer na ao executiva pblica pelos diferentes governos. Outro aspecto das crticas diz respeito ao fato de que o SAEB aplicado apenas uma vez a cada dois anos e como o processo de escolha final das escolas por sorteio, no se tem medidas comparativas dentro da mesma escola e, menos ainda, dentro do mesmo ano (medidas longitudinais), o que faz com que o SAEB no mensure a aprendizagem, uma vez que no avalia o real aproveitamento escolar dos alunos, mas sim tenha apenas uma medida de conhecimento, a qual pode ser pouco explicativa da realidade escolar. E, ainda, h a crtica de que o SAEB ignora as diferenas regionais/locais: Um instrumento de medida (...) pode ser vlido para um curso, mas no para outro. Pode ser vlido para um currculo, mas no para outro; para um professor, mas no para outro, inclusive, pode ser vlido para uma escola, mas no o ser para outra instituio (VIANNA, 2003, p. 34). E mais particularmente sobre o uso indiscriminado de escalas padronizadas nacionalmente:
Ser razovel colocar centenas de milhares de sujeitos em uma nica escala (...), ignorando completamente a diversidade social, econmica, cultural e educacional dessa populao e as distores que influenciam a caracterizao dos vrios ndices de desenvolvimento humano? No seria razovel (...) construir normas diferenciadas por regies, levando em conta a diversidade das caractersticas individuais? (VIANNA, 2003, p. 56-57)

Estas crticas so fundamentais para que se possa analisar a pertinncia do poder pblico continuar investindo num modelo deste tipo e colocar em questo a possibilidade de democratizar a deciso sobre para que e como realizar avaliao de sistemas

68

de forma padronizada nacionalmente. De toda forma, elas no modificam o fato de que h dados sendo produzidos e parece necessrio o debate sobre o uso destes dados como instrumento de melhoria da ao pblica, ou simplesmente para a mudana da lgica da competio que por vezes parece associada a esses programas de avaliao. Em diversos momentos, junto com aquelas crticas, h outras que discutem se h necessidade de se ter um sistema desta natureza em funcionamento no pas. Essas crticas esto ancoradas na idia de que o SAEB, assim como outros processos nacionais de avaliao (o Exame Nacional do Ensino Mdio ENEM e o Sistema Nacional de Avaliao da Educao Superior SINAES) ou estaduais, apenas se prope a levantar dados para que se estabeleam condies para uma comparao linear entre alunos, instituies educacionais, cidades, estados ou regies do pas. Essa comparao permitiria a concorrncia, vale dizer, os administradores das redes/sistemas de ensino, de posse dos dados do sistema de avaliao poderiam utiliz-los para solidificar uma poltica de competio entre instituies educacionais, constituindo, por exemplo, programas de incentivo financeiro para aquelas instituies com melhor desempenho no processo de avaliao. Para aquela linha de crtica, esta perspectiva de entendimento dos dados emersos das avaliaes ignora que
A comparao entre padres no significa, necessariamente, identidade de desempenhos. O ato de comparar tem muito pouco de certeza, no se constitui em um procedimento de rigorosa anlise estatstica. A comparao resulta de um julgamento humano, sujeito, dessa forma, falibilidade, considerando tambm que o conceito de comparar extremamente vago (VIANNA, 2003, p. 59).

A comparao pode ser perigosa e danosa soluo dos problemas educacionais, pode provocar uma interpretao superficial dos dados e ignorar aquelas diferenas regionais/locais e, principalmente, pode no perceber a realidade pedaggica como ela acontece, pois h determinantes sociais, econmicos, culturais, que tm impactos no processo avaliativo e que, via de regra, so desconsiderados pelos procedimentos padres nas avaliaes de sistemas de ensino. Os relatrios com os resultados do SAEB, quando externados provocam, quase que inevitavelmente, comentrios superficiais da imprensa e da sociedade sobre qual(is) estado(s) ou regio do pas teve o melhor ou pior desempenho. Isto se deve, em parte, pequena cultura de avaliao que temos na sociedade e na educao brasileiras. Estamos pouco acostumados a pensar na avaliao em perspectiva diferente deste pressuposto da comparao/competio. A idia de cotejar o resultado encontrado pela avaliao com os objetivos propostos inicialmente, com o intuito de identificar

69

problemas educacionais e reorientar o rumo do trabalho pedaggico nas diferentes classes, escolas, cidades, estados e regies brasileiras, definitivamente, no compe parte importante ainda do pensamento sobre a educao neste pas. O processo de padronizao dos testes nacionais de resultados educacionais voltados comparao/competio pode tambm concorrer contrariamente aos interesses mais importantes da educao escolar, como o prprio sentido do desenvolvimento individual das pessoas, uma vez que para comparar e estabelecer bases equivalentes de competio necessria a constituio de uma avaliao estandardizada:
Quando o Estado regula resultados, (...), por imposio de testes de resultados educacionais estandardizados, seu esforo para produzir igualdade educacional termina degradando-se. Individualidade, criatividade e profundidade so perdidas; tudo o que resta uniformidade, convencionalidade e habilidades triviais (DARLING-HAMMOND & ASCHER, 2006, p. 18).

A avaliao estandardizada, centrada no desempenho do aluno, pode levar a efeitos perversos no contexto da prpria organizao da escola, na medida em que ao centrar os testes nos alunos pode incentivar prticas de excluso na escola:
Os alunos com problemas de comportamento, ou com dificuldades de aprendizagem, tendero assim a ser excludos de algumas escolas porque podem afectar a imagem social destas organizaes ou, ainda, porque podem sobrecarregar os recursos humanos e materiais disponveis. (...) Entre outros efeitos, o processo de competio, promovido pela possibilidade prtica de realizar escolhas educacionais, tender a concentrar em algumas escolas, altamente selectivas, os alunos percepcionados como os melhores. (AFONSO, 2002, p. 90/91)

AFONSO (2002) sintetiza o papel da avaliao como processo de rearticulao entre sociedade civil e estado na perspectiva do controle social:
A avaliao formativa (que est longe de ter esgotado todas as suas potencialidades) pode cumprir um papel de rearticulao do Estado com a comunidade na medida em que ajudar a promover a aprendizagem dos saberes e objetivos curriculares comuns, que decorrem de uma escola bsica como projeto de um Estado democrtico, sem excluir as subjetividades e as necessidades que se expressam na e pela comunidade. (...) A gesto da regulao e da emancipao um processo extremamente complexo e difcil. No depende apenas dos professores, embora sejam estes que esto em melhores condies de mediar as exigncias do Estado e as expectativas e necessidade da comunidade, sobretudo quando a autonomia profissional posta ao servio

70

de projetos que aproveitam da autonomia relativa do prprio sistema educativo e das ambigidades das polticas educativas (2002, p 130).

A substituio de uma perspectiva de competio, prpria do mercado e estranha natureza da escola, implica numa construo de outra compreenso do papel da avaliao. Certamente, como destacou AFONSO, tal processo tem nos professores sujeitos fundamentais, ainda que implique tambm em outra postura dos dirigentes das escolas e dos sistemas de ensino e da sociedade em geral. Mas o SAEB tem se proposto a que? Segundo FRANCO (2001), o SAEB tem perseguido trs objetivos gerais: 1. Acompanhamento do sistema educacional (); 2. Acompanhamento de como o sistema educacional vem se comportando em termos de equidade dos resultados educacionais (); 3. Apreenso dos fatores escolares que podem explicar resultados escolares (pp. 127-128). E esses resultados escolares, traduzidos na ideia da proficincia estudantil, so organizados pelo SAEB em uma escola que varia de 0 (zero) a 500 (quinhentos) pontos e que situa nesta mesma escala todos os alunos. A competncia esperada para o desempenho dos alunos das diferentes sries , certamente, diferente de acordo com a srie em que se situa, o que permite o cotejamento entre os resultados apresentados pelos alunos de diferentes sries. Os valores esperados para as devidas sries esto na tabela a seguir:

TABELA 1: Valores de prficincia esperada por srie

NIVEL 100 175 250 325 400 SRIE No significativo Fim da 2 Srie do EF Fim da 4 Srie do EF Fim da 8 Srie do EF Fim da 3 Srie do EM

Fonte: SOARES, J. F., 2004, p.7.

Os fatores escolares que podem explicar esses resultados so provenientes da anlise dos prprios ndices de proficincia e tambm das medidas de contexto, aqueles questionrios que so aplicados aos diretores, professores e aos prprios alunos, alm dos questionrios da turma e da escola. Todavia, como vimos, os desempenhos dos alunos refletem uma medio feita em dadas escolas em uma nica ocasio, o que dificulta, por exemplo, conhecer as medidas do real aprendizado dos alunos ao longo de um ano e, portanto, o papel que a escola teve neste processo. De outro lado, as medidas de contexto tambm precisam ser melhoradas (FRANCO, op. cit., p. 129)

71

podendo incorporar a produo de indicadores de qualidade das condies de escolarizao e a modelagem de como esses indicadores se distribuem entre alunos de origem sociodemogrfica distinta (FRANCO et al., 2003, p. 42).

Efeitos na aprendizagem provocados pelas Escolas

Vrios estudos tm buscado associar os resultados dos desempenhos dos alunos nos testes padronizados e os diversos dados provenientes de outras informaes coletadas por ocasio dos mesmos testes, ou no, mas de qualquer forma buscando descobrir o real papel da escola na aprendizagem estudantil. Isto tem ocorrido em vrios pases do mundo e no Brasil h tambm autores que tm discutido o assunto2. Este trabalho, mesmo tendo alguma semelhana com esses estudos sobre o efeito-escola, talvez possa, experimentalmente, denominar-se de um estudo sobre o efeito-gesto ou o efeito-direo escolar, pois, como se far ver mais adiante, h efeitos no desempenho estudantil provocados pela gesto e pela direo da escola avaliada. Este efeito no propriamente novidade, pelo menos h estudos que afirmam haver um papel importante da liderana do diretor da escola no desempenho dos alunos (Hall et al., 1983; Good & Brophy, 1986; Hallinger & Murphy, 1986 citados por BRESSOUX, 2003; Gray, 1990; Fundao Carlos Chagas, 2000 citados por FRANCO et al., 2003; MEC/INEP, 2004). Em vrias pesquisas (LAHIRE, 1997; MACBEATH & MORTIMORE, 2001; SOARES, 2004) so mencionadas as razes do desempenho estudantil que provm de fora da escola, do capital cultural familiar, do nvel social e econmico do meio onde vive o aluno. SOARES (2004), por exemplo, constri uma medida de nvel socioeconmico (NSE) que ajuda na explicao dessas razes externas escola para a proficincia dos alunos e conclui que mesmo com o fato de no existir uma relao unvoca entre a proficincia e o ndice de posio social [pois] muitos alunos com nveis baixos do ndice tm desempenho muito acima do que seria predito pelo gradiente (SOARES, 2004, p. 10), ainda assim pode-se dizer que a proficincia escolar um atributo que tm gnero, cor e distribuda de forma desigual entre as regies do pas e as redes de ensino (SOARES, 2004, p. 13). E, diante disso, a poltica mais bvia para superao das diferenas encontradas alocar a alunos no brancos, de baixo nvel socioeconmico e com maior atraso escolar, os melhores professores e as melhores escolas (SOARES, 2004, p. 22).

2 H importantes estados da arte sobre os estudos do efeito-escola. Chamamos a ateno para dois em especial: Bressoux (1994) e MacBeath & Mortimore (2001).

72

Mesmo que os resultados escolares no tenham uma relao uniforme e unvoca com o NSE, parece que no restam muitas dvidas sobre os pesquisadores de que de fato h grande relao de dependncia entre essas variveis. Porm, atualmente j se sabe que nem tudo jogado dentro do meio familiar e que a escola representa um papel autnomo sobre as aquisies dos alunos (BRESSOUX, 2003, p. 72). As pesquisas mais recentes tm mostrado que a escola tem papel importante na aprendizagem dos alunos. Todavia, no parece haver um conceito uniforme tambm de eficcia para todos os estudantes indistintamente. BRESSOUX (2003, p. 66) citando Nuttal et al. (1989), afirma que a simples idia de um conceito global de eficcia intil. E acrescenta que a maioria dos pesquisadores v diferenas de equidade entre as escolas. Ademais, os trabalhos que tentaram explicar as diferenas de eqidade esto ainda em estado embrionrio (BRESSOUX, 2003, p. 67). Sem contar que a eficcia medida pelos testes vista de forma um tanto restrita, como sendo apenas os resultados dos alunos s provas de lngua portuguesa e matemtica (BRESSOUX, 2003, p. 68). Enquanto que a escola tem, como mencionado, diversos objetivos que transcendem a tarefa de ensinar a lngua portuguesa e a matemtica para o bom desempenho em um teste padronizado. Assim verificar os objetivos sociais da escola, alm dos seus objetivos cognitivos, tambm parece ser importante para de fato se perceber a sua efetividade:
Pesquisar se uma escola ou um professor dito de sucesso em funo de um critrio cognitivo tambm o segundo um critrio no cognitivo (comportamento, ausncia, auto-estima, delinqncia...) no uma questo menor. Os resultados so, neste caso, muito menos concludentes do que os precedentes (BRESSOUX, 2003, p. 68).

Enfim, a escola tem um papel importante, mas no se garante, de outro lado, que as respostas que ela d so uniformes e nem se h de esquecer que os seus resultados continuam, de alguma forma, atrelados ao NSE.
Considerando-se os resultados globalmente, parece se destacar um impacto da escola, em seu conjunto, sobre as salas de aula que a compem; o efeitoescola no seria somente uma simples soma dos efeitos sala de aula. A estrutura global da escola no , provavelmente, sem consequncias sobre aquilo que se passa nas salas de aula e sobre seus desempenhos, mas a escola no tem um poder homogeneizador to forte, como supunham alguns autores no incio. (BRESSOUX, 2003, p. 71)

Se o efeito-escola provm tambm da estrutura escolar, os efeitos provocados pela administrao escolar no desempenho dos alunos aqui se encontram e, conforme

73

a literatura mostra, eles esto articulados capacidade que ela possui de fazer a escola funcionar de forma mais homognea e coerente, produzindo um clima mais adequado ao desenvolvimento pedaggico dos estudantes. A experincia profissional dos dirigentes escolares aparece como sendo um elemento que se destaca no sentido de facilitar esta tarefa organizacional, contudo no h coincidncia nos estudos sobre esta caracterstica, na perspectiva de se entender o que exatamente o perfil do dirigente escolar experiente e competente. A ideia de homogeneidade e coerncia na organizao escolar sugere que os seus processos de gesto esto articulados de tal forma que o funcionamento mais cotidiano dos processos pedaggicos fiquem facilitados, a comunicao seja dialgica, as funes estejam bem estabelecidas e o regime de colaborao e solidariedade seja a tnica. Isto tudo remete a um modelo de gesto democrtica (PARO, 1995; DOURADO, 2000; SOUZA, 2005). No tpico seguinte, buscamos tratar empiricamente esses dois aspectos da gesto escolar: a experincia e qualificao profissional dos dirigentes e a gesto democrtica, e cotejamo-los aos resultados da avaliao escolar. Recuperamos brevemente, ainda, a discusso inicial sobre os efeitos provocados pela prpria avaliao na proficincia estudantil.

Dados
Tendo em vista que, de um lado, as expresses dos desempenhos dos alunos das diferentes sries so muito diversas e, especialmente, porque h perfis um tanto diferentes acerca dos processos escolares (pedaggicos e de gesto, em especial) que divergem muito nas diferentes etapas da educao bsica, este trabalho apresenta os dados das diferentes sries em tabelas separadas. Isto quer dizer que, para este trabalho, no faz muito sentido comparar os perfis de gesto escolar das escolas que atendem a 4 srie do ensino fundamental com as que atendem a 8 srie do mesmo nvel ou com as que atendem o 3 ano do ensino mdio. Interessa, isto sim, saber se, no mbito de cada uma dessas sries, os dirigentes escolares e os processos de gesto tm ou no tm algum impacto sobre a avaliao escolar dos alunos.

A composio dos grupos:

A amostra com a qual trabalhamos composta por todas as escolas pblicas3 selecionadas para o SAEB 2003, assim cotejamos os resultados da avaliao de mais de 140 mil estudantes em quase 4 mil escolas de ensino fundamental e mdio espalhadas por todas as regies do pas.

3 As escolas particulares foram retiradas da nossa amostra por possurem caractersticas de constituio e gesto que, via de regra, so pautadas por perspectivas um tanto diferentes daquelas da escola pblica.

74

Uma das tarefas primeiras para o objetivo deste trabalho, o de cotejar resultados da avaliao estudantil com modelos de gesto escolar, era a de compor perfis da gesto escolar. A compreenso do conceito de perfil utilizada neste trabalho coincide com a leitura de determinadas faces de um dado fenmeno. E articulo, assim, perfil com tipo, pois ambos conceitos do a compreender algo que carrega consigo caractersticas distintas de um determinado fenmeno, ou seja, perfil e tipo expressam partes de um fenmeno, mostram modelos distintos de uma dada coisa. Agrupamos os casos em tipos puros, os quais, a priori, poderiam ser a expresso mais declarada de faces do fenmeno. As faces em questo so a da democracia escolar e a experincia e qualificao profissional dos dirigentes, que esto relacionados com as caractersticas demonstradas nos estudos sobre os possveis efeitos da gesto escolar na avaliao educacional, como citado anteriormente. Ou seja, foram construdos perfis tericos do que se poderia esperar, no limite, como condio muito prximo do ideal em relao quelas categorias, assim, de acordo com o que os limites dos questionrios permitiam4, foram selecionadas as questes que melhor indicavam um perfil de democracia na gesto escolar (forma de provimento do cargo do diretor; existncia e reunies do Conselho de Escola; existncia e reunies do Conselho de Classe; existncia e forma de construo do Projeto Pedaggico5) e um perfil de experincia e qualificao profissional do dirigente escolar (idade; salrio bruto como diretor; formao; tempo de trabalho na educao6). Os grupos nos quais inclumos as escolas com perfil de gesto mais democrtico, designados nas tabelas a seguir pelo smbolo D 1, so compostos por aquelas escolas cujos diretores foram eleitos ou selecionados (via concurso pblico ou seleo interna do quadro de docentes), alm disso so escolas que possuem Conselhos de Escola e de
4 O organizador de um questionrio fechado, neste caso o MEC/INEP, sempre supe possibilidades de respostas s questes feitas e organiza tanto as perguntas como as respostas considerando o que procura encontrar atravs de sua enquete. Ocorre que no h garantias de que as respostas dadas pelos respondentes sejam expresso das realidades escolares, mesmo com perguntas que aparentemente podem extrair a necessria leitura dessas realidades, pois h vrios temas importantes para este processo de caracterizao que no foram abordados pelo questionrio do SAEB. Sempre h uma tese por detrs da elaborao das questes em um instrumento como este, que expressa as concepes de gesto escolar, isto , o questionrio do SAEB organiza dadas questes com a inteno de retirar informaes dos respondentes de sorte a compreender o que o respondente pensa sobre aqueles objetos, mas ao produzir essas questes j o faz com a perspectiva das respostas possveis. Esta tese implcita no questionrio pode deturpar a nossa anlis e dos dados, primeiro porque no a conhecemos o suficiente, e, alm disso, porque poderia haver outras alternativas de resposta (bem como para elaborao para a prpria pergunta) que no foram consideradas. 5 Certamente que h outros elementos que melhor traduziriam as condies de uma gesto escolar democrtica, contudo o questionrio do SAEB no apresenta outras alternativas e, dentre essas que apresenta, h tambm problemas, como o fato de excluir alternativas sobre a participao de outros segmentos da comunidade escolar na construo do projeto pedaggico, que no os professores e dirigentes. 6 Pressupomos que a idade e o tempo de trabalho na educao so indicadores da experincia profissional, o que um dos elementos que supomos somarem qualificao. A formao um indicador importante para este quesito por entendermos que ela demonstra as competncias tericas com as quais o dirigente escolar conta. E o salrio bruto, alm da associao com a motivao ao trabalho que ele sabidamente gera, tambm demonstrativo, por diversas vezes, da carreira j percorrida do profissional, sendo tambm um bom indicador da sua qualidade na profisso.

75

Classe e estes Conselhos reuniram-se pelo menos duas vezes no ano da avaliao, e no processo de construo do Projeto Pedaggico contou com a participao dos professores. Os grupos com perfil menos democrtico, D 2, so compostos por aquelas escolas cujos diretores foram indicados, onde no h Conselho de Escola e de Classe, ou onde eles existem mas no se reuniram mais de uma vez ao ano e onde o Projeto Pedaggico foi construdo sem a participao dos professores ou mesmo onde ele no existe. Os grupos que possuem dirigentes com perfil de boa experincia e qualificao profissional, aqui designados por Q 1, so compostos por aquelas escolas cujos dirigentes tm mais de 35 anos de idade7, 11 anos ou mais de trabalho na educao (vide nota 5), possuem curso de ps-graduao e recebem pelo menos 6 (seis) salrios mnimos. J as escolas que compem os grupos Q 2 so aquelas nas quais os diretores tm menos de 35 anos de idade e 11 anos de trabalho na educao, no possuem curso de psgraduao e recebem menos de 6 SM.

Resultados das diferentes sries e grupos

A totalidade de escolas pblicas de 4 srie avaliadas pelo SAEB em 2003 foi de 1990, todavia o maior grupo com o qual trabalhamos neste estudo composto pelo 4D1, que totaliza 490 escolas. O grupo das escolas de 4 srie com perfil menos democrtico composto por 107 unidades. O grupo de escolas com dirigentes mais experientes e qualificados na 4 srie possui 383 unidades e o grupo com dirigentes menos experientes e qualificados na 4 srie possuem 60 unidades. Este fator se repete nos grupos da 8 srie e do 3 ano do ensino mdio, aumentando conforme se avana no nvel de escolaridade. Isto , na 8 srie, h proporcionalmente menos escolas ainda nos grupos D2 e Q2 do que na 4 srie e nos grupos equivalentes do 3 ano do ensino mdio h ainda menos do que na 8 srie. Essa composio dos grupos evidencia, de incio, que h um desequilbrio em favor dos grupos mais democrticos e experientes/ qualificados, o que sugere que, ou os critrios de composio da tipificao dos grupos no foram os mais adequados, ou de fato o SAEB trabalhou com escolas com mais inclinao ao desenvolvimento de prticas democrticas de gesto e com dirigentes que se aproximam do tipo puro de experincia e qualidade profissional, o que quer dizer que a tipologia terica que sugerimos para aqueles dois aspectos , mesmo que no integralmente, prxima da realidade emprica das escolas. O fato da diminuio do nmero de escolas nos grupos D2 e Q2 conforme se avana no nvel de escolaridade

7 Supomos que um profissional com 35 anos de idade, via de regra, ter pelo menos uma dcada de profisso, o que ao ser somado com o outro quesito, sobre o tempo de trabalho na educao, refora a ideia de experincia profissional.

76

pode ser explicado parcialmente pelo incremento de qualificao obrigatria exigida aos profissionais que atuam em nveis mais avanados do ensino. E, com relao ao fato das escolas de 4 srie serem menos democrticas do que as de 8 srie e as de ensino mdio, talvez possa ser explicado pelo fato de que aquelas primeiras so, em grande parte, de dependncia administrativa municipal e as demais so mais de responsabilidade estadual. Isto se confirma quando se observa a composio intragrupos, nos quais h flagrante maioria de escolas municipais nos grupos menos democrticos (nas escolas de ensino fundamental) e de escolas estaduais nos grupos mais democrticos (no mesmo nvel). A hiptese que nos parece razovel para explicar este fenmeno est relacionada s formas de organizao poltica no mbito municipal, as quais refletem, muitas vezes, prticas patrimonialistas (MENDONA, 2004) e de controle de grupos sobre os processos de indicao dos dirigentes escolares e de organizao interna da poltica escolar. Em uma frase, no mbito estadual parece haver processos mais profissionais de organizao da poltica educacional e escolar do que no mbito municipal. Um aspecto importante que pode ainda a vir ser destacado em avanos deste trabalho, mas que por ora no pudemos desenvolver, diz respeito relao entre proficincia estudantil mdia e ndice socioeconmico (ISE) mdio. Em todos os casos parece haver significativa correlao entre essas variveis, o que pode confirmar aquelas pesquisas sobre as relaes entre nvel socioeconmico dos alunos e o seu desempenho escolar8. Para este trabalho, todavia, o interesse se foca na relao com os grupos de diferentes perfis e a proficincia estudantil. E, para ns, o que se destaca o fato de que, em todas as sries, as menores proficincias esto nas escolas com perfil menos democrtico e com dirigentes escolares menos qualificados. O ISE nos ajuda a perceber que os alunos mais pobres e com menos acesso cultural esto estudando justamente nessas escolas, menos democrticas e com dirigentes menos experientes e qualificados. As escolas localizadas majoritariamente nas regies mais pobres do pas e nas quais ainda, mesmo que no universalmente, o patrimonialismo e as formas menos democrticas de gesto escolar so marcadamente presentes. Ou seja, trata-se de um compsito de elementos: escolas menos democrticas em regies pobres, com profissionais menos experientes e qualificados, atendendo populao pobre que apresenta baixo rendimento escolar. De outra parte, temos os alunos com maior ISE, os quais esto, particularmente pelos componentes culturais do ndice, mais acostumados

8 Constitumos um modelo para estimar o ISE mdio das escolas, a partir da metodologia sugerida em SOARES (2004), contudo no ultimamos as relaes entre este ndice e a proficincia estudantil. Porm, as primeiras anlises sugerem concordncia com as pesquisas, demonstrando uma correlao fortemente positiva entre aqueles fenmenos.

77

 linguagem e cultura escolar, o que os coloca em condies francamente de vantagem em testes estandardizados, pois estes, antes de quaisquer outros, apresentam marcadamente uma explcita forma tambm padronizada de comunicao. Ou seja, os testes estandardizados, como o SAEB, so feitos e apresentados em uma perspectiva que considera as escolas todas como instituies que falam a mesma lngua e que possui os mesmos objetivos, o que no necessariamente verdadeiro, e os alunos com maior aporte social, cultural e econmico, parecem estar mais adaptados a estas condies escolares, tornando os resultados desses testes mais favorveis a si, o que no quer dizer, obrigatoriamente, que se trata de um conjunto de alunos que, de fato, saibam mais e melhor do que aqueles com baixo ISE. As escolas onde esses alunos estudam, pautam-se por processos mais democrticos, o que tambm condiz com um determinado modelo de gesto escolar esperado, bem como tem diretores qualificados e experientes, tambm de acordo com um perfil desejado, o que apresenta o oposto daquela confirmao anterior: escolas mais democrticas em regies ricas, com profissionais mais experientes e qualificados, atendendo populao rica que apresenta alto rendimento escolar. Esses efeitos podem estar atrelados, contudo e de alguma forma, no apenas ao ISE ou aos perfis aqui erigidos, mas sim aos impactos promovidos pela prpria avaliao nos resultados das escolas. Mas, de qualquer forma, h aspectos importantes quanto ao cotejamento entre os perfis e a proficincia estudantil, e o principal dado que as nossas tabelas mostram a seguir o fato de que as mdias de proficincia so maiores nos grupos D1 e Q1 e as menores esto no D2 e Q2, o que sugere que, de alguma perspectiva, a experincia e qualificao dos dirigentes escolares e a democratizao dos processos de gesto tm relao com o bom resultado da escola e, na contrapartida, dirigentes escolares pouco experientes e qualificados e escolas com processos pouco democrticos tm impacto negativo na proficincia estudantil. Vale destacar que, com excepo da 8 srie, as maiores proficincias mdias so aquelas dos grupos Q1, significando que a experincia e qualificao dos dirigentes escolares pode ter maior impacto nos resultados escolares do que o perfil de gesto propriamente dito. De qualquer forma, no parece muito significativa a diferena entre a mdia de proficincia entre os grupos D1 e Q1. O mesmo ocorre entre os grupos D2 e Q2, entre os quais no parece haver diferena muito marcante, podendo de alguma forma similarizar os possveis impactos positivos ou negativos provocados por esses perfis na proficincia dos alunos. Destaca-se, ainda, e de forma curiosa, os indicadores de proficincia mnima. Com excepo das escolas de 8 srie, nas demais escolas as menores proficincias esto nos grupos considerados mais democrticos e mais experientes e qualificados.

78

Ou seja, apesar destes grupos terem as melhores mdias (e as notas mais altas tambm), carregam junto os piores desempenhos da amostra, sendo que no 3 ano do ensino mdio a diferena muito significativa (10% em mdia) entre as notas mnimas das escolas D2/Q2 e as D1/Q1. No foi possvel, a partir dos dados disponveis, encontrar explicaes possveis para esse nmero.

TABELA 2 Proficincia 4 srie/EF SAEB/2003

Mximo 4D 1 4D 2 4Q 1 4Q 2 4Geral 233,63 211,41 238,56 193,79 245,60 Mdia 172,15 154,50 174,89 157,26 166,28 Mnimo 101,77 107,70 105,00 121,45 101,77 N 490 107 383 60 1990

FONTE: Microdados do SAEB/2003 (MEC/INEP, 2003).

TABELA 3 Proficincia 8 srie/EF SAEB/2003

Mximo 8D 1 8D 2 8Q 1 8Q 2 284,33 281,65 308,80 262,69 Mdia 236,18 217,52 235,50 223,96 Mnimo 189,48 164,79 173,87 173,76 N 385 53 335 38

FONTE: Microdados do SAEB/2003 (MEC/INEP, 2003).

TABELA 4 Proficincia 3 Ano/EM SAEB/2003

Mximo 11D 1 11D 2 11Q 1 11Q 2 11Geral 327,45 267,29 327,45 288,50 344,43 Mdia 261,82 240,21 263,87 248,83 257,96 Mnimo 204,84 221,32 204,84 228,03 201,56 N 233 20 207 10 630

FONTE: Microdados do SAEB/2003 (MEC/INEP, 2003).

79

Concluso
O exerccio de cotejamento entre os perfis da gesto e da direo escolar e a proficincia estudantil nos mostra um importante papel desenvolvido pela administrao escolar no desempenho das escolas pblicas brasileiras. verdade que os dados provenientes do SAEB no nos permitem contextualizar melhor os modos de organizao e funcionamento das escolas a ponto de identificar os impactos que tem a gesto escolar nos processos mais cotidianos da formao acadmica dos alunos. Tambm verdade que os fatores sociais, culturais e econmicos so, comprovadamente, fundamentais para o entendimento da avaliao educacional. Mas, nem aquele problema nem este, retiram a importncia da anlise dos processos de gesto e da considerao do seu perfil quando se procura compreender as razes para os resultados dos testes escolares. A avaliao como pea do processo de gesto educacional e escolar sabidamente algo importante. Todavia, como vimos no incio deste texto, pode ela mesma interferir nos resultados escolares aferidos pelos testes. Um maior detalhamento das condies e dos processos de gesto escolar pode auxiliar a diminuir esta caracterstica que os testes estandardizados apresentam, tanto atravs da reviso das medidas de contexto, quanto atravs da constituio de medidas longitudinais nesses procedimentos avaliativos.

Referncias
AFONSO, Almerindo J. Avaliao Educacional: Regulao e Emancipao. So Paulo: Cortez, 2002. BRESSOUX, Pascal. As pesquisas sobre o efeito-escola e o efeito-professor. Traduo Isabel Cristina Rabelo Gomes. Educao em Revista, Belo Horizonte, n. 38, dez. 2003. pp. 17-88. DARLING-HAMMOND, L. & ASCHER, C. Construindo sistemas de controle em escolas urbanas. Estudos em Avaliao Educacional. Traduo de A. B. Gouveia & A. R. Souza. v.17, n. 35, Set-Dez/2006. So Paulo: Fundao Carlos Chagas. DOURADO, Luiz F. A escolha de dirigentes escolares: polticas e gesto da educao no Brasil. In FERREIRA, Naura S.C. (org.). Gesto democrtica: atuais tendncias, novos desafios. So Paulo: Cortez, 2000. FRANCO, Creso; FERNANDES, Cristiano; SOARES, Jos Francisco; BELTRO, Kaiz; BARBOSA, Maria Eugncia; ALVES, Maria Tereza Gonzaga. O referencial terico na construo dos questionrios contextuais do SAEB 2001. Estudos em avaliao educacional, n. 28, jul-dez/2003. So Paulo: Fundao Carlos Chagas. FRANCO, Creso. O SAEB Sistema de Avaliao da Educao Bsica: potencialidades, problemas e desafios. Revista Brasileira de Educao. Maio/Junho/Julho/Agosto 2001. No. 17. pp. 127-136.

80

LAHIRE, Bernard. Sucesso escolar nos meios populares: as razes do improvvel. So Paulo: tica, 1997. MACBEATH, John & MORTIMORE, Peter. Improving School Effectiveness. Buckingham: Open University Press, 2001. MEC/INEP. Plano Amostral 2001. Disponvel em www.inep.gov.br. Braslia: INEP, 2001. __________. SAEB/2003: Relatrio Nacional. Disponvel em www.inep.gov.br. Braslia: INEP, 2004. __________. SAEB/2003: Microdados. Mdia eletrnica. Braslia: INEP, 2003. MENDONA, Erasto F. A regra e o jogo: democracia e patrimonialismo na educao brasileira. Campinas: FE/UNICAMP, 2004. PARO, Vitor. Por dentro da escola pblica. 3. Edio. So Paulo: Xam, 1995. PESTANA, Maria Ins. O sistema de avaliao brasileiro. Revista Brasileira de Estudos Pedaggicos. Braslia, v. 79, n. 191, p. 65-73, jan./abr. 1998. SOARES, Jos Francisco. Qualidade e equidade na educao bsica brasileira: fatos e possibilidades.2004. SOUZA, ngelo R. (org.). Gesto da Escola Pblica. Curitiba: Editora UFPR, 2005. VIANNA, Heraldo M. Avaliaes em Debate: SAEB, ENEM, Provo. Braslia: Plano, 2003.

81