PESQUISA AVALIATIVA
SANTOS, Milton. Por uma outra globalizagZo: do pensamento tinico&
consciéncia universal. Rio de Janeiro: Record, 2006
SILVA E SILVA, Maria Ozani de politicase pro
gramas sociais: teoria e pratica
SINGER, Peter. Etica pratica [
Martins Fontes, 20
WEBER, Max. A ‘objetividad
cia politica. ___ Metodologia das.
Winckelmann; trad. Augustin Wemet],2.ed
Camargo]. $20 Paulo:
ntonaciéneia social enacién-
éncias sociais (Ed. Johannes
Paulo: Cortes, 1
AVALIAGAO DE POLITICAS E PROGRAMAS
SOCIAIS: UMA REFLEXAO SOBRE O
CONTEUDO TEORICO E METODOLOGICO DA
PESQUISA AVALIATIVA!
zanira
INTRODUGAO
‘ono sentido de
conceituais e metodolégi
avaliativa, Enquanto tal,
do, a avaliacao de politic
da por intencionalidades, sua dimensio politi
ficos que a qualifica
e por w
anjunto de procedimentos ci
como geradora de conhecimento
aborasia o conteido do te
anceituais e metodo 90 PESQUISA AVALIATIVA,
Sendo a avaliacio de politicas e programas sociais um
vimento do proc bliss, considero que
Trata-se de um processo que articula diferentes sujeito
queapresentam interesses e expectativas diversas. Representa:
conjunto de agdes ou omissdes do Estado, decorrente de decisies
e nio-decisées, constituida poeta SESeoD
nah cand cite seo ae
| se concretiza a partir de interesses sociais organizados em torno
\ de recursos que também sao produzidos socialmente, Seu desen.
Volvimento se expressa por movimentos articulados e, muitas
vvezes, concomitantes einterdependentes, constituidos deages em
forma de respostas, mais ou menosinstitucionalizadas, asituagdes
consideradas problematicas, materializadas mediante programas,
projetos e servicos.
Ademais,
jorientado para promover o bem-estar de
mentos sociais, principalmente os mais destituidos, devendo ser
também um!
(GBB sts como um mecanismo social que contém contradigBes
‘Contraponho-me a percepgio da politica publica como mero
urso de legitimagio politica ou de uma intervengao estatal
rabordinada tho aomente a légica da acurmulacto casitalist. A
1 partir de agdes de diferentes sujeitos, como ja indicado, qu
lsustentam interesses diversificados. Portanto|
RR 0 pores gualguer raion
Tinear e consensual, pois falar de politica é falar de diversidade e
(de contradigao.
© contetido apresentado neste texto foi elaborado a partir
de pesquisa bibliografica e documental sobre o tema, mas , sobre-
tudo, produto de construgdes teérico-pritico-metodologicas que
venho desenvolv
ndono espago do Grupo de Avaliagio
AVALIAGAO DE POLITICAS E PROGRAMAS SOCIAIS o
da Pobrezae de Politicas direcionadas a Pobreza~Gaepp*, da Uni-
versid:
iticas
Federal do Maranhao, que tem a avaliago de po
€ programas sociais como uma de suas principais dimensdes de
trabalho, em nivel de pritica de pesquisa avaliativa, de assessoria,
consultoria e formacao de recursos humanos,
O texto seestruturaem quatroitens, além daintrodugio. No
‘tem 2 trato a avalia¢aocomo movimento.constitutive do processo
das politicas publicas, discutindo.o cantetido desse processo ¢.08
suijeitos que.o constroem, enquanto movimento circular e espaco
de explicitacio de interesses e racionalidades diferenciadas. No
item 3 trato da pesquisa avaliativa enquanto modalidade de pes:
quisa social aplicada, destacando.a construcio de seu processo
historicamente determinado; concepgdes e especificidades a cla
atribuidas, destacando aqui a concepsio de avaliacao-de politi-
as.¢ programas sociais.que venho construindo e adotando no
nto da prética do Gaepp nesse campo do saber eda
co, A. ja os critérios, as medidas ¢ os tipos
de avaliacio, sabendo nao ser esse um. campo-homogéneo nem
consensual, mas de extrema relevancia para o desenvolvimento
da prética avaliativa. No item 4 so apresentados os aspectos
metodolégicos da pesquisa avaliativa, destacando.o processo ¢ 0s
seus sujeitos, seus métodos, modelos e procedimentos usuais ut.
lizados, Sou ciente de que esse é um amplo e diversificado campo
de estudo proveniente da pesquisa social, pelo que, neste texto,
destaco aqueles aspectos mais pertinentes & pesquisa avaliativa e
mais usuais nas nos Finalmente, a.dltima parte
ntada no texto, no ambito do item 4, trata de uma reflexdo
que tem por objetivo apresentar a construcio de uma abordagem
participativa que vem sen ruida nas priticas de avaliago
desenvolvidas pelo Gaepp, por entender que.a avaliagfio de poli-
© O Gaepp foi fundado em 1996, sendo um grupo interdisciplinar que congrega
professores de diversos departamentos académicos e alunos de graduagao e«
pés-graduagio da Universidade Federal do Maranhio - UFMA. E vinculado
0 Departamenta de Servico Social, articulado ao Progratna de Pés-Graduagio
em Politicas Pablicas, e integra o Diretério N:
organizado pelo CNPq, Desenvolve ativid
onal de Grupos de Pesquisa
de pesquisa, de consultori, as
sessoria ecapacitagdo de recursos humanos, privile
trabalho, politicas socias
ando as temiticas: pobrez,
yaramas de transferéncia de rend,
na aniliseeavaliago de politicas pablicas. www.gaepp.ufma.br 92 PESQUISA AVALIATIVA
ticas e programas sociais é uma pritica coletiva cujos resultados
Opressuposto é o de que as politicas e programas sociais
geram impactos, mudangas—alteram condigées de vida de pessoas
mas saciais de intervengio, de modo que os ava-
tivos e in¢
grupos e populacdes, Nao se trata de ato neutro nem exterior as 114 PESQUISA AVALIATIV
relagdes de poder; éato técnico, mas também politico; nao é desin-
teressado, mas exige objetivacdo e independénciae fundamenta-
em valores e no conhecimento da realidade,
A pesquisa avaliativa assim percebida valoriza a andlise
fritica da politica ou programa avaliado; buscaos principios e fun
damentos teérico-cor
ps sujeitos e interesses envolvidos no processo; fundamenta-se
gm valores e concepses sobre arealidade social partilhados pelos
Sujeitos da avaliacao: demandantes, avaliadores, beneficiérios
informantes; e contrapa
tendo um caminho tinico. Nesse sentido, os resultados de qualquer
ceituais da politica ou programa; considera
neutralidade, nao percor-
avaliagao sio consi
julgamento passivel de questionamentos,
© social o é, Nao tem, por conseguinte, o poder de uma verdade
inquestionavel, até porque todo saber cientifico sobre a sociedade
€ uma interpretacao histérica, parcial e relativa,
va desempenhaessen
lerados parciais e questionaveis, ou seja, éum
-omo toda teoria sobre
lesa perspectiva, a pesquisa avalia
cialmente trés fungGes:
© Fungio técnica, fornecendo subsidios para correo de desvios
no decorrer de
indicando em que medida objetivos e mudancas ocorreram ¢
subsidiando a elaboragio ou o redimensionamento de politicas
€ programas.
processo de implementacdo de um programa,
9 Fungao politica, oferecendo informasées para sujeitos sociais
fundamentarem lutas sociais para o controle social das politicas
publicas.
¢ Fungio académica, desvelando determinagdes e contradiges
presentes no processo e no contetido das politicas piiblica
evidenciando os significados mais profundos dessas politicas
1a esséncia) para a construgao do conhecimento,
Assim conceitu:
a avaliagao sistemética ou pesquisa
avaliativa precisa ser diferenciada de conceitos similares, como
demonstra o seguinte quadro,
AVALIAGAO DE POLITICAS E PROGRAMASSOCIAIS
[___ Coneeito similar Pesquisa avaliativa
focessode | Avallagio é oto que implica
determinar a extensio ou quantidade | necessariamente, em atribuir valor
dealguma coisa. Medir nio implica em [a algo.
valorar 0 objeto da m mas pode
A avaliacio se caracteriza por
ESTIMAGAO: ato de atribui
Jevalor aalgoem termos aproximados, | atribuir valor aalgo, utiizando-se
podendo utilizar-se de critérios difusos | da maior objetividade e p
je apresentar subjetividade, possivel, devendo expres
realidade.
A avaliagio implic
SEGUIMENTO,
MONITORAMENTO: processo
integra fungio gerencial
[constituindo-se num exame continu.
}eperiédico de um programa ou ago
para cumprimento de calendério
trabalho, repasse de insumos, registro,
medicio, pro
informagbes, objetivando a execusio
samento e avaliag
eficiente do programa, podendo
subsidiar a avaliacio, ao oferecer um
io sobre seu objet
ge-seAmera | Aavaliagdo implica no julgamento
120 ou constatagio de resultados | dos resultados ou impactos do
deum programa, programa, explicitando os porqués
/PROGRAMAGAO: processo de Aavaliagao €0 ato de verificar
e, sobretudo, de julgar essa
racionalidade pela identifcagdo de
Partindo da concepgao e das especificidade a
avaliagao sistematica tem sua identidade sustentada por se propor
a responder a determinadas questées bisicas
Quand avaliar? A avaliago pode ocorrer antes, durantee depois
daimplementacao de um program:
varios tipos de avaliago ¢ fazendo.var
conforme o momento de sua realizacio.
permitindo a identificagao de
1ras questées e objetivos 116 PESQUISA AVALIATIVA
Onde avaliar? As avalia
formal e nacional, a um locus especifico, formal e local, gerando
sistemas de informagdes para programas de grande emédio aleance
ou para pequenos programas ou projetos locais,
podem ocorrer desde um locus geral,
Para quem avaliar? So numerosos os demandatatios da ava-
Tiago. Pode direcionar-se aos executores dos programas ou aos
financiadores. Outras partes interessadas podem ser usuarios dos
servicos; grupos sociopoliticos da comunidade onde o servico &
oferecido; legisladores que votaram os recursos; partidos politicos
com os quais a politica ou programa é identificado; instituigdes
administradores; executivos locais (prefeitos); trabalhadores
Tem-se entao avaliagdes centradas num determinado foco ou
avaliagdes com propésitos milltiplos, cujo foco varia conforme os
demandantes e usuarios dos seus resultados.
O que avaliar? Diz respeito ao contetido ou objeto da avaliagio, ou
seja, a indicagao dos aspectos ou dimensdes que devem orientar a
avaliacdo, considerando critérios de relevancia e exeqiibilidade
Por que avaliar? Refere-se ad mérito da avaliagio, cuja questio
central é saber por que lutar tio arduamente para produzir infor.
mages sobre programas e politicas sociais, As motivacdes para
Que se proceda a avaliacao de politicas e programas sociais so
de diferentes ordens: de ordem moral, que se refere a exigéncia
de probidade dos gestores na gestio do programa e dos usudrios
na apropriagao dos beneficios; de ordem politica, que se refere
A verificagao dos propésitos da politica ou programa em relagdo
aos principios de justica minimamente aceitos, bem como a pos
sibilidade de as avaliages contribuirem para o controle social dos
Programas sociais e servirem de instrumento de pressao social
sobre o Estado; de ordem instrumental, que se relaciona com
a getaso de informagdes para monitorar 0 programa; de ordem
‘t€enica, referindo-se. possibilidade dea avaliagao contribuir para
clarificagao do problema social que motivou'o programa, tendo.om
vista a construgdo de um referencial comum; para sistematizagio
Em fungao dos destinatarios, Cohen
cam trés tipos, que demandam informacé
quem aavaliagdo pode destinar-se
+ Os dirigentes superiores, responsdveis pela definigao da
politica e das prioridades entre as alternativas de programas,
segundo os objetivos da instituicao
AVALIAGAO DE POLITICAS E PROGRAMAS SOCIAIS
fo de recursos
+ Os administradores, responsaveis pela aloc
para a concretizacio dos objeti
+ Ostécnicos, que executam o programa.
Aesses destinatarios devem-se a et OS proéprios usuarios
do programa, como dito anteriormente, os quais s0 08 mais inte-
ressados pelos resultados e~ por que nio dizer? — pela sociedade
como um todo,
‘Também, em relagdo a0 critério do destinatario da avaliagio,
Browne & Wildavsky (1984) entendem que ela pode centrar-se
em determinado foco ou apresentar-se como avaliagio de miltipla
perspectiva (multiple perspective evaluation), variando
conforme 0 usuario dos resultados da avaliacao, os quais sio diver-
sificados e numerosos, d
dos programas e outros, como usuarios dos servigos, legisladores,
partidos politicos, instituiges, administradores, executivos locais
(prefeitos), trabalhadores.
Aguilar & Adnder-Egg (1994) acrescentam, ainda, na sua
classificacdo tipolégica da avaliacio de politicas e programas
sociais, dois critérios classificatérios. © primeiro é quanto 4s
funges que aavaliagéo deve cumprir, considerando a avaliacio
somativa, referindo-se a estudos de resultados ou efeitos dos
programas, tendo em vista julgar se vale a pena ou nao manter
um programa, e avaliacao formativa, desenvolvida durante o
processo de execugao de um programa, Os autores consideram
essas duas modalidades de avaliago complementares, devendo
uma ou outra ser utilizada conforme o contexto e a situacdo
concreta, © segundo critério citado pelos autores se refere a0
objeto da avaliacio, nao se registrando, nesse aspecto, consenso
na literatura, mas a indicago muito variada de tipos de avalia-
fo, destacando-se os seguintes: avaliagdo de necessidades ou do
contexto; de processo, de seguimento ou da implementacao; de
resultados, de efeitos, do produto ou de impacto; de eficédcia; de
plano, da estrutura, formal (conceptualizacao do pro-
grama de intervencao ou da coeréncia interna e potencialidade
do programa); avaliago substantiva (coeréncia externa que julga
su foco
cando os executores eos financiadores 126 PESQUISA AVALIATIVA
a pertinéncia das conquistas e:
es da populacio destinataria do p
cobertura; da efetividade, efi
‘onfronto com os problemas
avaliabi
do programa
Browen & Wildavsky (1984) também apresentam uma
ampla classificago da pesquisa avaliativa, tomando como cr
seu contetido ou objeto, indicando os seguintes tipos:
+ [Pseudo-avaliacao (pseudo-evaluation), Serve para designar
studar proce ultado:
cedimentos e técnicas de avaliacao,
certas formas de avaliago para
que, apesar de utilizarem prc
no avaliam verdadeiramente devido a fal
lade, distorcio ou
rudos
uso seletivo de informagio. Nesse caso, tem-se feito
controlados politicamente, servindo para manter ou defender
determinada esfera de influéncia, obter influéncia, poder ou
dinheiro, ¢ estudos baseados em relacées piblicas, com objeti
vo propagandistico, visando criar imagem de uma institui¢s
ata-se de estudos inécuos, que nao
levam em conta questées relevantes sobre politica ou programa
(Browne & Wildavsky, 1984; Aguilar & Ander-Egg, 1994).
+ Quase-avaliagao (quasi-evaluation). O foco desta avaliagio é
limitado e tangencial, direcionando-sea determinadas questdes
sso (Quantas pessoas 0 programa
be se serve a estas pessoas?) ou aos resultados
programa ou sistema
de mérito referentes ao pr.
atende?
mo 0s resultados ocorrem? Como so distribuidos?), sendo
ignoradasas variaveis contextuais que afetam aimplementacdo,
portanto, nem s
nular um juizo valorativo
devidamente fundamentado.
* Avaliac&o centrada nos objetivos (objetives-based ou goal
fixed evaluation). Considerada pelos autores como quase-avalia
le & direcionada a0 exame da
mpactos/resultados
Para Arretch (1998), a avaliagdo de efetivid:
a implementagio de um programa e
avaliagio da eficicia examina a relass0
plicitos de um pro
uuniversos populacionais aserem cc
AVALIAGAO DE POLITICAS E PROGRAMASSOCIAIS 27
10, centra-se nos objetivos formais previamente estabelecidos,
focalizando nos resultados esperados e procurando descobrir
quando ou nfo os objetivos foram alcangados, sem questo
© 08 objetivos,
seu mérito. Ao estreitar o foco da avaliacio s
fever 0 que ocorreu ou n:
curecendo as determinaces das relacdes causais, expressas pele
porqué dessas relagdes, Nesse caso também sio ignoradas as
variaveis contextuais que possam estar influenciando a situaga
limita-se ad
ignorando ou obs-
em exame
Pelo exposto, considero que os tipos de avaliacdo conside:
rados sio limitados para produzir conhecimento relevante sobre a
implementagao ou resultados/impactos de politicas e programas
sociais,
+ Avaliago compreensiva (comprehensive evaluation), Os au-
tores apontam esse tipo de avaliagio como capaz de clarificar
casualidades, relacionando inputs e processos com outcomes.
Combina avaliasiio de processos ¢ impactos dos-programas,
relacionando-os com_os objetivos previamente especificados
Procura também identificar outras variaveis significativas do
.30 e stia relago com os resultados, mesmo considerando
que influenciam a
a preocupagao é
proc
dificil delimitar a multiplicidade de fatores
implementagao de um programa social. Ist
com o que est acontecendo e o porque.
+ Avaliagio infe (inferencial
procurando clarificar rela
causada por ‘x? A énfase nao em valores, masem casualidade,
© que se torna dificil de precisar, uma vez que os objetivos de
politicas pablicas sdo miiltiplos, conflitant e de dificil
uation). Busca fatos,
(0 causa ¢ efeito: a situagio ‘y’ é
consenso
+ Avaliagio livre (goal free evaluation). Enquanto tentativa de
consider
superar limitada avaliagZo centrada em objetivos,
da ‘desnecesséria' e ‘contaminadora’ dos resultados. O avaliado:
deve buscar os efeitos possiveis de encontrar (o atual) no lugar
0s alegados pelos objetivos, Deve
d
dos efe
.curar se compor-
tar como li condigao imposta por objetivos prefixados e 128 PESQUISA AVALIATIVA
buscar os resultados ocorridos, independentes dos objetivos
originai
+ Avaliagio multiobjetivo (multi-goal evaluation). Emais estru-
turada que a avaliacio livre, de modo a permitir ao avaliador
identificar variedades de resultados, considerando os objetivos
do programa, mas indo além deles para identificar os efeitos. Os,
avaliadores abandonam aavaliagao convencional, que se orienta
pelos objetivos fixados, caracteristica de uma avaliacdo passiva,
para desenvolver modelos teoricos e orientar a descoberta de
impactos potenciais mais amplos.
+ Avaliacdo verdadeira (true evaluation). Identifica ¢ divulga
para asociedade os méritos de politicas competitivas. Avaliagio
‘verdadeira’ nao &0 oposto de avaliagao ‘falsa’, mas apenas uma
designagao para uma abordagem mais compreensiva sobre 0
tema. Difere da avaliagio inferencial (que verifica miltiplas
fontes de casualidade) ¢ da avaliagdo multiobjetivo (que con-
sidera uma variedade de impactos), por envolver uma ampla
gama de valotes. Saoavaliados custos e beneficios de alternativas
para determinar qual de duas ou mais politicas competitivas
‘maximizaré oalcance dos resultados pretendidos com um custo
zoavel
+ Avaliagao por decisio teérica (decision theoretic evaluation),
Considera também os resultados do programa, mas estes so
explicitamente valorados pelos miltiplos usuarios da avaliacao.
Combina estudos orientados pelos financiadores (sponsor:
initiated) com estudos orientados pelos usudrios, podendo
ptoduzir um quadro mais amplo de valores.
+ Meta-avaliagao (meta-evaluation). Trata-se de uma ‘avaliagao
daavaliacao’ , visando o refinamento da continuidade do proprio
proceso da avaliagdo, Pode ser conduzida durante ou apés a
primeira avaliagio, podendo avaliar o desenho da pesquisa
avaliativa, procedimentos e técnicas utilizadas e conclusdes
bem como
comparar avaliagées de programas similares e questionar re
sultados. Uma avaliagao da avaliacio independente, simultinea
e heterogénea é a mais sofisticada meta-avaliagao. Portanto, €
da avaliagio e incluir uma revisdo da literatur
ma avaliagio concorrente, desenvolvida por pessoas que nao
'AVALIAGAO DE POLITICASE PROGRAMAS SOCIAIS 129
oes,
conduziram a primeira avaliagio, Pode fazer uso de diferentes
procedimentos e técnicas para melhor testar os resultados
primérios. Visa elevar a validade, credibilidade e relevancia
da avaliacdo, apresentando, porém, problemas de custos
possibilidades.
Browne & Wildavsky (1984) classificam ainda as avalia-
-onforme seu mérito, razGes ou justificativas, nos seguintes
tipos:
agio (utilization-focused eva
uation), devendo envolver as pessoas que iréo implementar os
resultados da avaliaco, para evitar que o avaliador questione
equivocadamente, gerando informagées que ni serio utilizadas.
Avaliagio interativa (interactive evaluation), que inclui os
implementadores do programa no ato de avaliar, devendo set
compartilhada entre avaliadores e pessoal de execucdo direta
que, em conjunto, definem questées e constroem o processo de
avaliagio, permitindo que a instituicdo se torne auto-avaliada.
Avaliagao exploratéria (evaluability asssessment), que visa
determinar quando uma politicaesta funcionando, identificando
responsabilidades;
Avaliacdo de aprendizagem (learning evaluation), que parte
do entendimento de que é possivel que uma mistura de todas
as avaliagdes apontadas anteriormente possa contribuir para
a melhoria cumulativa e gradual dos processos, programas e
politicas, podendo superar as criticas sobre irrelevncia e st-
butilizagao da avaliacio.
Avaliagao centrada na uti
Finalmente, Martin (1989), analisando a literatura norte-
americana que mais tem influenciado a pritica da avaliago, aponta
cinco tipos, tomando como critério os tipos de abs
lagens:
Abordagem por objetivos, considerada clissica e tradicio
nal, visa responder 4 questio: Até que ponto a avaliagéo tem
0s efeitos previstos pelos objetivos alcancados? Ou: Os efeitos
esto de acordo com os objetivos preestabelecidos? Esse tipo de
avaliagio mede efeitos ou resultados do programa e pressupoe
vos claros, precisos e mensuraveis. Portanto, a dificuldade " PESQUISA AVALIATIVA
6 traduzir, em termos operacionais, hierarquicos e racionais, os
objetivos dos programas sociais, que tendem a ser ambiguos,
incoerentes e contraditérios.
Abordagem pelos meios empregados, cuja finalidade
verificagao da escolha e utilizagao dos meios em relagdo aos
objetivos. Visa medit a efetividade global dos dispositivos e
maximizar os meios utilizados em apoio aos objetivos.
‘Abordagem pelas necessidades fundamentais, que repre~
senta um tipo de avaliago livre (goal-free evaluation), nao se
interessando pela relagio efeitos/objetivos, mas em saber se
(0s efeitos de um programa satisfizeram ou nao necessidades
fundamentais de pessoas, grupos e/ou populacées-alvo.
‘Abordagem por processos, que, orientando-se pela teoria
geral dos sistemas, questiona os proces
dos efeitos observaveis. Procura entender 0 programa, visan.
do conduzir a din&mica de seu ajustamento para otimizar 0
funcionamento do sistema, Introduz uma dinamica temporal
entre objetivos e meios, supondo consenso sobre objetivos e
sua reformulagdo e entendendo que o programa é estvel ecom
fronteiras delimitaveis, o que permite determinar o contextoou
as reagées do meio ambiente,
Abordagem por atores, que visa identific
presenga, seus sistemas de valores e suas relagdes, apontando os
principais atores que elaboram o referencial dominante e mais
influenciam os processos de adaptagdes do programa. Nao se
preocupa em otimizar ou maximizar os efeitos decorrentes dos
objetivos preestabelecidos, mas propiciar satisfacdo do contexto
mediante a confrontacéo das estratégias dos atores."”
a
os atores em
sentereflexio, sugiro ase
io do momento de realizagio da avaliagio:
io de quem realizaa avaliagio: externa,
ticas e programas sociais: a) em fur
ex-ante, durante e ex-post; b) em fi
na, mista, auto-avaliacdo eavaiago participativa; c) em fungao do destina
fo da avaliagio: para os diigentes superiores, para os administradores, para os
técnicos (executores)e para 08 ustudios do programa: d) em fungao do objeto da
ivaliaglo: monitoramento,avaliagio politica da politic; avaliagao de processo ©
avaliagdo de resultados eirmpactos.
LETICAS E PRO
AVALIAGAO DEP
Nesse esforgo de explicitar acomplexidade que é classifica:
¢fodos tipos de avaliagao, ha de se considerar que essas tipologias
seapresentam, na realidade, como tipos ideais, mas que, na pratica
concreta das avaliacdes, devem ser percebidas articuladamente,
a partir do potencial particular que apresentam, podendo cada
plano de pesquisa construir sua tipologia a partir da realidade; de
caracteristicas do programa a ser avaliado; de critérios, do objeto
(que se quer avaliar) dos objetivos (expectativas dos inter
dos na avaliagao) que pretende alcangar com o desenvolvimento
da avaliacao; suporte institucional; recursos; tempo e até o perfil
dos avaliadores.
20S DA PESQUIS.
‘A questo metodolgica para produgao do conhecimento
social e,
especificamente, para avaliacao de politicas e programas
scoloca, inicialmente, questdes conceituais relevantes, Tra
tazseda concepcio de metodologia, no entendida téo-somente
‘como um conjunto de procedimentose técnicas, mas constituindo
também um corpo tedrico de explicaci
le da propria avaliagio e
de seu objeto; da compreensao de método como todo raciocinia
empregado para aceitar ou rechagar um fato coma verdadeiro ¢
icaconcebida como instrumento utilizado paracoletar dados
nagéies ou paraanalisé-los, A partir dessa referéncia é que
sio considerados o processo, os sujeitos e os modelos utilizados na
avaliagio das politicas e programas sociais, bem como os métodos
e técnicas usuais,
PROCESSO E SUJEITOS SOCIAIS DA PESQUISA AVALIATIVA
Como indicado anteriormente, a avaliagio é aqui concebi
da, antes de tudo, como um momento do proceso
das politica
piiblicas, podendo ocorrer ante:
material
ja implementa
asa qual
ada por um programa social. Esse 60 caso das avaliagSes
contextoo
es diagndsticas, que se realizam previamen. 132 PESQUISA AVALIATIVA
tea implantagdo do programa para identificar necessidades; para
levantar elementos para subsidiar o planejamento do programa;
para determinar o nivel de implementagio apropriada ou per
mitir comparacées futuras apés a implementagio do programa,
Awvaliagdes realizadas durante (avaliagdo de processo) ou apés a
implementagio do programa (avaliagdo de impacto), ou ainda ava
liagSes realizadas nesses trés momentos, que nao sto excludentes,
mas complementares, Por outro lado, considerada enquanto um
processo cientifico de produgo de conhecimento para realimentar
as politicas e programas sociais e para instrumentalizar as lutas
como tal, € um
sociais, a avaliagio-tem seu préprio processo e,
processo constante e continuo, expresso por diversas operacbes,
mas que sio inter-relacionadas, interdependentes.e, as_vezes,
concomitantes. Essas operagées s4o definidas de modo peculiar
por diferentes autores.® Nestas reflexes, considero os momen-
sso de avaliacao de politicas e programas
sociais,
Atividad
nares ou preparatérias
prel
Es
propriamente dito, mas que sao relevantes para a definicao de
aspectos essenciais para permitir acontinuidade dele, destacando:
seiinegociagio entre as partes\que encomendam ea equipe que
desenvolvera a avaliagio, representando um esforco de compati-
bilizagdo de interesses e competéncias,
‘Quem encomendaa avaliagio geralmente é 0 financiador do
programa e da prépria avaliagao e futuro usuario dos resultados
obtidos. Todavia, muitas vezes, a avaliacao decorre do interesse
da instituigao que executa o programa, assumindo o seu desen.
volvimento, ou pode, ainda, partir de interesses dos usuarios do
programa em consideragio, ou de grupos de apoio desses usud
rios, que podem decidir fazer uma avaliagio em articulagao com
a institui¢do implementadora ou uma avaliacao independente,
as sio atividades que antecedem o proceso da avaliagio
com outros grupos ou instituigdes. Portanto, a negociacio pode
pesto: Aguilar & Ander-Egg (1994) e Cohen & Franco (1993),
"AVALIAGAO DE POLITICAS E PROGRAMAS SOCIAIS 133
situar-se em nivel interno da instituigo, podendo, porém, envol:
vver negociago com equipe externa, quando é considerado que
sujeitos externos assumirio ou participario da avalia
Em qualquer situagao, esse momento preliminar se desen
volve a partir de um procedimento de aproximagées sucessivas
negociacées entre as partes envolvidas, sendo marcado por inte-
ressesiis vezes contraditérios, explicitos ou no, devendo, porém,
chegar a consenso sobre os seguintes aspectos: a) 0s meios para a
realizagio da avaliagao (incluindo a definigao de custos financeir
@ outros recursos, do tempo e da equipe técnica que assumira a
avaliag&o); b) definigao preliminar do que avaliar, isto é, sobre 0
objeto da avaliagio, com indicagio das dimensbes ou aspectos que
serio nela considerados; indicago dos alcances e propésitos da
avaliagdo, ou seja, para que e para quem ela sera direcionada; c)
definicao do aparato institucional para suporte da avaliagao.
Definidos esses aspectos, a equipe técnica deve encaminhar,
.da nesse momento preliminar, o levantamento de respostas a
questées consideradas essenciais para permitir 0 planejamento da
pesquisa avaliativa, tais como: Quais as informa
para dar conta do que se pretende com a avaliagao e como obté-
las? Que métodos, procedimentos e técnicas sao adequados 20
estudo, ou seja, como obtera validade e confiabilidade do:
Quaisas possibilidades de colaboracéo dos envolvidos, incluindo
equipe técnica da avaliasao, a prépria instituicéo implementadora
do programa ou outras instituicdes parceiras e os usuarios do
programa? Qual a viabilidade da avaliagao, em tern
propésitos, disponibilidade de informagées e condicées materiais,
financeiras, de recursos humanos, de condigées institucionais
outras questdes, definidas conforme cada estudo avaliativo a ser
os de seus
desenvolvido.
oragdo do plano da pesquisa de avaliagao
E 0 momento de definig&o prévia dos passos e condigées
para orientar oestudo avaliativo, envolvendo: 4) definigao de um
marco teérico de referéncia, o qual deve explicitar aconcepgio
0 avaliati-
de avaliagZo e os valores que orientario todo o proce 134 PESQUISA AVALIATIVA
vo, bem como o entendimento tedrico-conceitual em relagio a
problematica que envolve o programa a ser avaliado (educagao,
satide, nutri¢&o, capacitagio profissional, etc.) e o levantamento
de avaliagées ou estudos anteriores sobre o programa em aprego;
b) definig&o do universo do programa a ser considerado na
avaliago, ou seja, indicago da populagdo, bem como do espago
geografico de abrangéncia do estudo; c) delimitagao do objeto
da avaliagao, indicado no momento anterior, com preciso dos
aspectos a serem considerados (definigdo de unidades de andlise,
com explicitagio das varidveis, indicadores e indices e, se for 0
caso, definicio de hipéteses); d) definigao de objetivose metas,
devendo os objetivos especificos indicar, de maneiraclaraeprecisa,
a que resultados se pretende chegar com o estudo avaliativo, e
metas indicam, quando adequado, a quantificacao dos objetivos.
Somenteo objetivo geral expée, de modo amplo, o que se entende
pela intencionalidade geral do estudo avaliativo; e) selegiio da
estratégia metodolégica para desenvolvimento da avaliagao,
incluindo a selegtio de métodos, procedim.
utilizados, cuja escolha deve orientar-se por uma postura aberta,
tendo como crite erencial tedrico, o objeto e os objetivos
ose técnicasaserem
daavaliagio, anteriormente definidos, evitando dicotomias artifi
ciais e inadequadas como a indicagao de abordagem quantitativa
em oposigio a abordagem qualitativa"; f) defini¢o do modelo
amostral, quando nao for possivel ot estudo ser
-nvolvido junto a toda a populacio atingida pelo programa;
g) definigao do plano de anilise das informacées levantadas
no estudo, incluindo as medidas estatisticas e técnica de andlise
a serem utilizadas; h) determinago das formas e dos passos
sm seguidos no processamento das informagées, como
aco de instrumentos, andlise de onsisténcia das variaveis,
s de natureza quantitativa si
fundamentais para indicar quest onadas ao gusto publico e & propria
realidade social. © que se questiona € 0 uso exclusivo da abordagem quantita
tiva na avaliago de programas sociis, até porque as informagdes quantiativas
'AVALIAGAO DE POLITICASE PROGRAMASSOCIAIS 135
anilise da distribuigdo erelagdo das variaveis, definigoes de medi-
das estatisticas a serem utilizadas.2” O produto do planejamento
daavaliagao € 0 projeto que orientaré todo o estudo, devendo este
‘contemplar, no seu roteiro, os aspectos pertinentes a0 objeto, aos
objetivos e ao modelo de avaliagao selecionado para orientar a
avaliagdo que sera realizada
Implementagao da avaliagdo ou trdbalho dé campo
Esse aspecto do processo da pesquisa avaliativa se refere
Jespecificamente ‘Aida arealidade’, devendo considerar que, arigor,
opesquisador nunca sai da realidade, bem como nao hé antinomia
entre trabalho teérico e prético. Refiro-me ao levantamento de
dados e informagées conformeas indicagdes do projeto, incluindo
também tarefas como treinamento de pessoal auxiliar, quando
neces e teste de instrumentos como questionérios, para per-
mitir maior adequacao destes a realidade e melhores resultados
em relacao aos dados e informagées a serem levantadas. Nesse
aspecto, ha que se considerar que a triangulagao, por exemplo, é
umaalternativaa validagao dos dados”". Trata-se de um momento
muito peculiar a cada experiéncia, dependendo, por exemplo, do
porte do programa, do tamanho da equipe e da dimensao do estudo
avaliativo que se pretende desenvolver. Caracteriza-se essencial
mente por ser um momento de intensa mobilizagao de recursos,
de pessoal e das instincias institucionais envolvidas.
© Processamento, andlise e sintese dos dados e informagoes
‘Trata-se do momento de elaboragdo dos dados e informa-
\oes, que so ordenados, classificados e agrupados, sendo orien
” Dada a complexidade do planejamento da pesquisa avaliativa e sua execusio,
fica claro que se trata de um trabalho interdisciplinar, sendo indispensivel, n
composigio da equipe técnica, a participagio de estatistica especializado em
questies relativas 4 pesquisa social e de outros profisionais especialistas no
campo da politica ou programa que esté send avaliado,
bre triangulagéo, vejao préximo capitulo deste livre 136 PESQUISA AVALIATIVA,
Gado pelo quadro teérico de referéncia, o objeto e os objetivos da
avaliagao. Essencialmente, € 0 momento de, a partir do que foi
{deter minado no projeto do estudo, processare sistematizar os da~
{dos e informagdes para permitir analisd-los e elaborar conclusdes,
O processamento de dados e informagées inclui atividades
como categorizagio de respostas abertas ou semi-abertas (codi-
ficagdo), que consiste em agrupar numericamente infor mages
verbais que contemplem certa homogeneidade para que possam
ser consideradas dados quantitativos; tabulagao de dados e infor-
mages, mediante a construgio de tabelas para seu agrupamento
e contabilizagio; elaborago de quadros e de gréficos estatisticos
para exposigio de dados e informagdes.
Todavia, num estudo avaliativo, informagdes verbais, de
natureza qualitativa e que no se pretende quantificar, masmanter
em forma puramente conceitual, podem ser ordenadas e classifi-
cadas mediante a elaboraciio de matrizes ou fichas, tomando como
referéncia as questdes que se pretende responder na avaliagio
ou, mais especificamente, servindo para esclarecer certos pontos
especificos relacionados com oreferencial tedrico que orientaaava-
liagdo, com antecedentes histéricos do problema, etc. Asmatrizes
ou fichas serio entio agrupadas conforme oaspecto da avaliagéoa
que esté se referindo, para entio ser objeto de andlise.
“> Uma vez processados os dados e informagées, parte-se para
a operagiio de analise e sintese.
Analisar significa decompor um todo em suas partes cons-
titutivas para que possam ser examinadas, enquanto sintese é a
operagao contraria, que consiste em explorar as relagdes entre as
partes estudadas e proceder a reconstrucao da totalidade inicial. A
operagio de andlise deve pautar-se no marco tedrico de referéncia
construido para orientar a avaliacdo, podendo ser uma anélise de
natureza quantitativa, quando se refere as informagées numé-
ricas, consistindo na apreciagio das varidveis apresentadas em
forma de um conjunto de tabelas, quadros e medidas estatisticas
e-as possiveis relagdes que possam ser identificadas entre elas.
Pode ser uma andlise de natureza qualitativa, quando se refere
as informagées do tipo-verbal. A anélise qualitativa se reporta
IALIAGAO DE POLITICAS E PROGRAMASSOCIAIS
gs informagées referentes a um mesmo aspecto ou questio da
gvaliagio, destacando as convergéncias e as divergéncias entre
fs informagoes consideradas, verificando se as tiltimas decorrem
de opinides ou posigSes contrapostas ou de erros decorrentes de
Fontes de dados ou de sua categorizacio, sendo importante, no
‘rato de informagées qualitativas, considerar o grau de confianca
‘das fontes.
‘Com aclaboragio da sintese constr6i-se a interpretacio final
dos dados e informagGes ja analisadas. Conclui-se o estudo, que,
‘mesmo assim, deve ser considerado inacabado (Sabino, 1996) e
provisorio, por se tratar da construcdo de conhecimento sobre a
tealidade social, que é sempre complexa e dinamica, Em se tra-
tando de um estudo avaliativo, ha que se considerar o seu cardter
de hipétese, visto que a possibilidade de varidveis intervenientes
feconcarventes ao programa emestudo esta sempre presente,
Blaboragiio e discussao do relatério
O relatério de um estudo avaliativo deve conter a sintese
dos resultados da avaliacZo, conclusdes e recomendagées elabo.
radas pela equipe técnica da avaliacao, tendo em vista carater de
aplicabilidade dos estudos avaliativos, sendo 0 relatorio o in
‘mento de publicizacao desse estudo. Nesse sentido, a elaboragao
ido relatério ndo é uma formalidade, mas um momento relevante
ido processo da avaliacaa
Mesmo nao se recomendando uma estrutura fechada para
“osrelatsrios de estudos avaliativos, é importante que os resultados
sejam apresentados de modo ordenado e claro, mediante uma
kestrutura que contemple uma introduedo que resgate o referen-
Klal tedrico basico que orientou o estudo, as justificativas sobre a
Jmportancia do estudo, o objeto da avaliagao com especificacao
de suas dimensées, os objetivos, a indicacio do método, dos
[procedimentos e técnicas utilizados, a indicago, se for o caso, de
elementos que facilitaram ou dificultaram 0 estudo e a indicagao
las partes seguintes do relat6rio; um desenvolvimento que
fontemple uma sintese dos resultados do estudo avaliativo, a qual PESQUISA AVALIATIVA
pode ser dividida em capitulos, conforme os aspectos abordados;
e uma seco final, contendo as conclusées ou uma sintese dos
aspectos relevantes do estudo, e recomendagées em termos de
aplicabilidade dos resultados da avaliagio.
Antes de sua divulgagio, orelatério deve ser compartilhado
com a equipe técnica envolvida direta ou indiretamente na ava-
liago. No caso das avaliagSes participativas, que adotam uma
metodologia de envolvimento de todos os sujeitos do programa
social objeto da avaliagdo, com destaque para a participagio dos
usuétios do programa em todo o processo da avaliacao, o relatério
Dependendo do encaminha
mento a ser dado para publicizagio dos resultados da avaliacio,
além do relatério técnico, que deve ser acessivel a compreensio do
séria a elaboracao de
deve ser compartilhado com todo:
piiblico interessado, torna-se as vezes nec:
verses mais simplificadas ou populares, para permitir aleangar
os usuarios do programa e outros grupos interessados.
Aplicagdo dos resultados da avaliagdo
A aplicagao dos resultados de uma avaliacdoێ aqui destacada
comoo ponto central dela, considerando o carter de investigacao
social aplicada de que os estudos avaliativos se revestem, embora
sseja muito freqiiente a ndo-utilizagio direta de resultados e reco-
mendagées de muitas avaliagdes, sendo que a literatura aponta
algumas causas que incidem na utilizagdo escassa ou nula dos
resultados de uma avaliacdo, entre estas: quando a avaliagao néo
for pratica nem util devido a incompeténcia técnica da equipe
de avaliagao — por utilizagao de procedimentos de pesquisa néo
apropriados para aquela investigaco, ou por serem os resultados
apresentados de maneira complexa ou ininteligivel; quando os
responsdveis por tomar as deci:
no programa discordam, rejeitam ou desconsideram os resultados
apresentados, assumindo a avaliag4o como mero formalismo;
quando os resultados ou conclusées da avaliacio ferem interesses
que os responséveis nao querem ou nao podem modificar (Aguilar
& Ander-Egg, 1994, p. 133).
es para introduzir as mudancas
AVALIAGAO DEPOLITICAS E PROGRAMAS SOCIAIS 139
Defendo, nestas reflexdes, quea publicizacdo de resultados
de avaliagdes, para os beneficiarios e para sociedade de modo ge-
ral, constitui aspecto fundamental para que sua aplicagao extrapole
oambito técnico, concebendo a publicizaciio como instrumento de
controle social e de pressio por direitos sociais, Ademais, éimpor-
tante considerar que os resultados de uma avaliagao podem ter uma
aplicacio indireta, além de sua aplicagao instrumental*2, podendo
contribuir para uma aprendizagem organizacional e para uma
aplicacio no campo conceitual, produzindo impacto indireto nas.
politicas pablicas, programas ou procedimentos organizacionais,
Nesse sentido, a contribuigdo pode ser para maior conhecimento
de programas e instituigdes (Calmon, 1999, p. 22),
Apontado o processo da avaliagiio, ha que se destacar que sua
efetivagio envolve uma diversidade de sujeitos, semelhantemente
ao que ocorre com 0 processo das politicas publicas, anteriormente
abordado. Estes sujeitos também sao diversificados e orientados
por interesses eracionalidades diferenciadas, implicando em con-
flitos e interesses contraditérios que precisam ser administrados
para viabilizar o processo de avaliacao. Destacam-se como princi-
pais sujeitos desse processo: os que encomendam ou mandam fazer
aavaliagdo, ou seja: os que decidem sobre a realizacio da avaliagio
e sobre seus aspectos essenciais; entre estes, politicos, dirigentes
superiores de instituigdes, dirigentes médios e administradores e
técnicos e executores de programas; os responsaveis pela avalia-
sao, representados por pessoas ou por uma equipe, que podem
assumir as seguintes fungdes: coordenador ou diretor da avaliagao
(responsavel pela distribuigao de tarefas e gestao administrativa),
pesquisadores, auxiliares de pesquisa e especialistas; respondentes
da avaliagao, representados por aqueles que prestam as informa-
gdes solicitadas, destacando-se entre estes o pessoal da instituigiio
executora do programa, usudrios do programa e outras pessoas
A aplicagdo instrumental dos resultados de uma avaliagio é caracterizada pela
tilizagdo formal da avaliago com alteragées dretas ou formais do programa, do
tomada de decisées ou dos procedimentos adotados pelas organiza
999, p. 22) 140 PESQUISA AVALIATIVA
que, direta ou indiretamente, tiveram algum envolvimento como
programa; os usuarios ou destinatérios do programa considerado
na avaliagio, sendo relevante o envolvimento destes no proceso
avaliativo, sobretudo quando a metodologia da avaliagao é de ca-
rater participativo, além do que poderiio enriquecé-la ao expressar
sua visio sobre o programa, jé que sio diretamente atingidos pelas
ages sociais (Aguilar & Ander-Egg, 1994, p. 73).
METODOS, MODELOS E PROCEDIMENTOS USUAIS NA PESQUISA
AVALIATIVA
A avaliagdo de politicas e programas sociais se utiliza dos
quisa social, sendo que a es
colha destes decorre dos objetivos da politica, de seu escopo, das
questées a que se pretende responder com a avaliacio; do tipo
de avaliacdo que se pretende desenvolver; da disponibilidade de
tempo, de recursos e até da preferéncia do avaliador, exigindo
ca entre objetivos, critérios e modelos de avaliacao.
meétodos e técnicas proprios da pe
conexio |
Nestas reflexes, considero essenciais, na abordagem da questio
metodolégica da avaliacdo de politicas e programas sociais, trés
aspectos basicos: 1) identificagdo de problemas e controvérsias
apontados nesse campo do conhecimento; 2) os modelos utilizados
na avaliacao das politicas e programas sociais; 3) 0s métodos e as
técnicas usuais.
Problemas e controvérsias na avaliagdo de politicas e programas
sociais
A anéli sura sobre avaliagdo de politicas e pro-
gramas sociais tem freqiientemente apontado problemas e con-
trovérsias nesse campo de estudo que merecem atengo quando
se trata da questo metodolégica, podendo, segundo Chambers,
Wedel & Rodwell (1992), ser destacados:
Confronto entre 0s paradigmas quantitative x qua-
litativo, cujas caracteristicas podem ser resumidas no seguinte
quadro:
AVALIAGAO DEPOLITICAS E PROGRAMASSOCIAIS ut
Paradigma quantitativo
[Desenvoh
experimental (borate), endo
mo pressportooentendimento de
AAs coisas do mundo sto de
‘stével, podendo ser separadas em
partes para estudo fora do contexto
cxiginal
Amite que
fundamentais do mundo podem ser
reproduzidas pelo investgador efato
de interesse podem ser introduzidos
ce retirados veluntar
que 08 efeitos p
mente, de modo
ser observados.
Paradigma qualitative
o paradigma da cineia | Desenvolvide do paradigms das citncias
| sociais, tendo como pressuposto 0
| entendimento de que o mundo £4 pode
que € porsivel conhecer o mundo (pelo | ser entendido pela investigasio racional,
A naturezaintrinssca das partes €
terminada pelo seu arnbiente, no
podendo dele ser isoladas.
Mudanga é uma condiga
que faz com que.o paradigma q
as mudangas importantes nio no seu
frau, mas no tipo, na natureza, ou ee, a
preacupasio écom a mudanga no estado
Parteda construgio prévia de
hipoteses sobre resultados esperados.
‘Os resultados da investigagio si0
expressos em nimeros
Admite que as conclusdes da
investigagio podem ser generalizadas
a.0mundo rel.
Nioadmitea conete
fo previa de
so de vaidveis, endo
hipsteses sobre
os resultados observados no seu am
natural
Trata de mudanca qualitativa que nfo
‘io se preocupa com generalizagio nem
som aplieagdesalém do campo original
(O laboratério ou quase laboratrio
eproduzas condigtes do ‘mundo
| real’, nama tentativade restringi
| fo para reproduzir as condigées do
laboratrio(intervensio),
Preocupagio com a descrgio e observasio
diteta no ‘contesto natura, produzindo
interpretagées miltiplas do sentido das
pretag i
agbes eeventos
acto causal, Buscando
cis entre os relatos
“Toda erenga€sujita& ver
Admite controle sabre ofendmeno
objeto deestudo,
importante é descobrirsingulasidade e
ralidade
A ealidade nlo pode ser controlada, 142 PESQUISA AVALIATIVA
Vistos a partir do quadro antarior, esses paradigmas pare-
cem situar-se em posiges opostas e inconciliaveis, na medidaem
que o enfoque quantitativo se refere ao conhecimento ‘de fora’,
obtido pela medigao e pelo cilculo, enquanto o paradigma quali
tativo se refere ao conhecimento ‘de dentro’, da esséncia, através
do entendimento de intencdes e do uso da empatia, tendendo a
ser mais indutivo que dedutivo. Todavia, a aproximagio dos dois
enfoques sa quando ambos devem estar submetidos a
alguns critérios cientificos, quais sejam: a) confiabilidade, en-
quanto capacidade deo instrumento utilizado produzir medidas
constantes de um mesmo fenémeno, podendo ser externa, quando
outros investigadores, usando os mesmos instrumentos, observam
‘mesmo fendmeno, ¢ interna, quando os investigadores estabe-
lecem as mesmas conexées entre os mesmos dados recolhidos; b)
validade, enquanto a capacidade de os instrumentos utilizados
produzirem medidas adequadas e precisas para permitir conclu
sbes corretas, sendo que a validade interna se refere & preciso
dos dados ea externa indica que o fendmeno observado pode ser
generalizado ou estendido a grupos similares,
Aguilar & Ander-Egg (1994), referindo-se aos princfpios
inerentes 4 pesquisa avaliativa, enquanto caracteristicas resultantes
da exigéncia do método cientifico, apontam: validade, expressa
pela capacidade de a avaliagio revelar, de forma demonstravel e
controlavel, ques valorizagées ejuizos sio validos, ou seja, foram
capazes de estimar com rigor o que quer comprovar, significando
que os instrumentos mediram o que se pretendeu medir; confia-
bilidade, sendo considerada avaliagio confidvel ou segura a que
oferece resultados iguais ou aproximados quando é repetida em
situagao igual a um mesmo individuo ou grupo. Referem-se, por-
tanto, a qualidade e estabilidade da informagio.e, em decorréncia,
dos resultados, pretendendo que estes nao se alterem com o ava
liador ou com os instrumentos, Além desses principios de cardter
cientifico, os autores indicam os seguintes principios de carter
pratico: utilidade ou aplicabilidade dos resultados da avaliacio,
sua praticidade ou simplicidade e sua oportunidade ou aceitacéo.
que pretendo evidenciar é que me contraponho a di-
cotomia que costuma ser feita entre abordagem quantitativa e
abordagem qualitativa. Isso por entender queo que deve haver na
se expri
AVALIAGAO DEPOLITICASE PROGRAMAS SOCIAIS 143
pesquisa social e,em particular, na pesquisa avaliativa,éumaarti-
‘culagao da abordagem quantitativacom a abordagem qualitativa,
na perspectiva de que a realidade social também se expressa por
quantidades, devendo seus significados ser interpretados numa
‘perspectiva qualitativa.
Ademais, 0 rigor cientifico nao pode ser visto como exclusi
vidade das abordagens quantitativas. Na pesquisa avaliativa, esse
rigor, que significa a busca da objetividade, da confiabilidadee da
validade dos conhecimentos produzidos, torna-se possivel coma
clareza das dimensdes metodolégicas, com um quadro teérico de
referéncia sobre a especificidade da politica e com a operaciona-
lizagao de variaveis, enquanto conceitos que permitem analisar 0
fendmeno pretendido.
O entendimento é, portanto, que a abordagem qualitativa
no exclui a abordagem quantitativa, apenas restringe sua in-
fluéncia, embora aarticulacdo dessas abordagens deva ser feitade
modo cuidadoso, o que significa quea integraco de métodos deve
mover o proceso de avaliagio em niveis elevados e sofisticados,
além do que, nesse processo de articulagao do paradigma quanti-
tativo como qualitativo, proponho a subordinagao da abordagem
quantitativa em relagio a qualitativa. Isto é, a quantificacao dal
realidade 6 tem sentido se é considerada necessaria para melhor
conhecimento dessa realidade e quando essa quantificagao também
6 devidamente interpretadaa partir de elementos que qualifiquem,
essa realidade.
‘Nessa mesma direedo se manifesta Minayo (2
entender que “propriedades numéricas e qualidades intri
sio atributos de todos os fendmenos”’. Isto 6, a realidade é per
meada, 20 mesmo tempo, de contetidos objetivos e quantificaveis
e de contetidos subjetivos que expressam valores, interesses e
intencionalidades.
Por outro lado, Stronquist (1983), ao tratar da relagao entre
enfoques qualitativo e quantitativo®, apresenta trés justificati-
vas que permitem o didlogo desses dois enfoques: a similaridade
que eles tém ou devem ter em relagio as exigéncias postas pela
‘Aqui mantenho o termo ‘enfoques quantitativos equalitativos’, por ser utilizado
pelo autor 144 PESQUISA AVALIATIVA
cigncia social; as similaridades que eles devem ter, apesar de
certas teses equivocadas* que so mantidas em relagio a esses
enfoques e da existéncia de relacio no sentido de complementa-
ridade entre eles,
O segundo problema ou controvérsia metodolégica iden-
tificado na pesquisa avaliativa se refere a medicao, 0 qual esta
diretamente relacionado com a utilizagio da abordagem quan-
titativa na pesquisa social. Nesse aspecto, o que é realgado é a
especificidade do estudo avaliativo, por lidar com situages da
realidade social que, muitas vezes, nao permitem uma medicio,
anao ser indiretamente
Em relacdo aessa questio, a literatura registra duas posigdes
opostas. Ha aqueles que insistem em que caracteristicas da vida
animal tém sido medidas com sucesso, no havendo também
maiores dificuldades em relagao ao ser humano; hd os oponentes,
que admitem que esse sucesso se restringe aos nio-humanos.
Entende-se queamedigao dos fendmenos relacionados ao homem
ea sociedade, na maioria dos casos, nio pode ocorrer de modo
direto, além do que ha limites ao uso do método experimental
com seres humanos.
“Todavia, 0 processo de especificagio de varidveis que repre-
sentam os conceitos a serem estudados e sua operacionalizacio
pela construco de indicadores, além do avancono uso de recursos
da informatica, inclusive no campo da pesquisa social, diminuem
a distancia entre as abordagens quantitativa e qualitativa,
cando a possibilidade de medigdes indiretas de fenémenos:
com éxito,
0 autor apota as seguintes tess que considera equivocadas ao estabelecer di
Cotomia entra abordagene qualitative equanttatva: oenfoque quantitative &
ttlifcialereducionista, enquantoo qualitative € real, por aceitar o mundo social
fa ua forma integradae complexa;o enfoque qualitative tende a ser indtvo,
bree cnfse a porta dime de ut femora
© enfoque quantitativo € neceatiamente dedutivo; o enfoque quantiativo €
tettico, por ser de corte transversal e 0 qualitative ¢ dindmico, observando
realdade 4 medida que esta e desenvolve o enfoque qualitative considera que
tstudos em condigdesartfcais(aboratério oenfoqe qualitative € multine
trumental eo quantiativose limitaao uso de ur Gnicoinstrumento,
'AVALIAGAO DE POLITICAS E PROGRAMASSOCIAIS 145
| Mesmo considerada a possibilidade de uso articulado da
| metodologia quantitativa com a qualitativa, entendo que alguns
| fenémenos sociais devam ser analisados e interpretados com 0 uso
\de informagées de natureza de fato qualitativa
O terceiro aspecto que se situa no campo dos problemas
e controvérsias da avaliacao de politicas e programas sociais diz
respeito ao processo de implementagio do proprio programa,
considerando que a implementacao deve conter descrigdes claras
explicitas a serem desenvolvidas em tempos especificos e sob
condigdes especificas, devendo essas especificagdes ser baseadas
numa teoria. Um aspecto central que se coloca na implementagao
éarelagio entre causalidades e intervengées, namedida em que os
programas sociais enfatizam varidveis causais abertas a manipula-
‘80, fazendo com queas variveis consideradas causais apresentem
poder relativo de produzir diferenga (mudanga), Pelo fato de as
mudancas sociais serem produzidas por diferentes varidveis, além
do programa que esta sendo implementado (sujeitas a diferentes
varidveis contextuais), podem ocorrer resisténcias internas na or-
ganizacdo em relacioaimplementasio dele; pode ocorrer limitagao
de recursos, impedindo o cumprimento dos objetivos, ou, ainda,
o programa pode ser alterado no percurso de sua implementagio
porque novos sujeitos ou novos interesses surgem, pois, como
visto anteriormente, a implementagao de um programa social é
marcada por incertezas. Ademais, além dos objetivos explicitos do
programa, nem sempre bemdelimitados e claros, existem os obje-
tivos latentes da organizacao e dos diferentes sujeitos envolvidos
no processo de implementagio. Ainda, nesse campo, um aspecto
freqiientemente apontado é a indisponibilizacao de informacoes
sistematicas e confiveis que subsidiem o proceso da avaliacio,
visto que “a disponibilidade de informagio adequada, aliada a um
razodvel grau de autonomia e isengio do pesquisador, sao fatores
fundamentais para o desenvolvimento da pesquisa avaliativa”
(Vianna & Silva, 1989, p. 215).
Por tltimo, sio apontados problemas e controvérsias di
retamente relacionados com a prépria avaliacdo, entre estes: a
posi¢do subalterna ocupada pela pesquisa avaliativa, devido a
forma também subordinada como se constitui a politica social
no Brasil em relacao a politica econémica; a conseqiiente falta de 146 PESQUISA AVALIATIVA
legitimidade da avaliacdo; 0 ndo-envolvimento na avaliagio de
todos os sujeitos relacionados com a politica ou programa; a falta
declarificagao das fungGes desses sujeitos na avaliagao; aresisténcia
natural &avaliagdo no sistema de gestao de politicas puiblicas, pelo
caréter de julgamento que caracteriza toda avaliago, ea conotacdo
fiscalizadora e punitiva muitas vezesa ela atribuidae, sobretudo, a
questo relacionada com a limitada difusio e pouca utilizagao dos
resultados da avaliagao, que deveriam ter efeito sobre pratica de
decisao e escolhas futuras.
» Vistas essas questdes preliminares, coloca-se agoraa questo
metodolégica central, que se refere aos modelos de avaliacao mais
utilizados e suas aplicagés
Métodos e modelos na pesquisa avaliativ
Analisando a literatura, Viana & Silva (1989), em termos de
método de avaliagao, verificam a predominancia do uso demétodos
econémicos, registrando também a busca de modelos alternativos
que procuram superar o rigor do método quantitativo. Essa busca
vem ocorrendo com 0 redimensionamento da concep¢io e do
contetido metodolégico da pesquisa avaliativa, como registrado
anteriormente, a partir dos anos de 1990, quando se vem firman-
do o reconhecimento de que a metodologia de avaliagio deve ser
aberta, visto que um tinico método éconsiderado insuficiente para
dar conta da complexidade da realidade social
Tratando de modelos de avaliacio, Figueiredo & Figueiredo
(1986) apontam dois grupos de politicas a serem avaliadas:
+ Politicas com propésitos de produgio de bens e servigos pi
blicos, cujos objetivos se limitam 4 distribuigao de bens e ser-
vigos, sem preocupagio especifica com qualquer mudanga ou
alteragao em determinada condigio social, ou seja, 0 objetivo
€0 atendimento vegetativo de demandas, em decorréncia do
crescimento demografico. Nesse caso, segundo os autores,
tem-se, tipicamente, avaliagio de processos, sendo identifica
dos, na literatura, os seguintes tipos de avaliacao: a) avaliagao
de metas, procurando verificar a eficicia objetiva, isto
metas atingidas so iguais, superiores ou inferiores ao que foi
'AVALIAGAO DEPOLITICASE PROGRAMASSOCIAIS, 147
proposto; b) avaliagao de meios, voltada para verificar a efica
cia funcional, administrativa e contabil, podendo assumir duas
diregGes: moral ou instrumental, utilizando-se de trés critérios
deeficécia (funcional, administrativo econtdbil):c) avaliagao da
relagao custobeneficioe custo-resultado, visando identificar
aeficiéncia da politica que é, necessariamente, associada a eco-
znomia- minimo possivel de custo para o maximo de resultado.
+ Politicas com propésitos de mudanga e avaliacao de impactos.
Trata-se de politicas voltadas a mudancas nas condigées sociais
(efeitos esperados). Nesse caso, os autores apontam aavaliagio
deimpactos, que deve evidenciar nao s6 que ocorreu mudanga,
‘mas que o programa foi empiricamente relevante para produzie
a mudanga observada. Neste caso, a mudanga tem que ser eco-
némica, ideolégicae culturalmente sustentavel. Tem-se, entio,
impactos objetivos, expressos por mudancas quantitativas na
popula¢Zo-alvo; impacto substantivo, responsével por mudanca
qualitativa nas condigées de vida da populacao, nao sendo esses
impactos excludentes, sendo que o substantivo requer parame-
tros externos ao programa, isto é, verifica se amudanga é aceita
a partir do principio de justica social minimamente aceito, im-
plicando, portanto, numa avaliagio politica dela (Figueiredo &
Figueiredo, 1986, p. 22). Em termos de métodbs, a avaliaco de
impactos requer métodos experimentais ou quase experimentais,
por no ser possivel controlar todas as variéveis ambientais
Para efeito deste texto, adoto os modelos de avaliagio ma
recotrentes na literatura, Trata-se do monitoramento, da avaliacdo
politica da politica, da avaliago de processos e da avaliagio de
resultados/impactos.
O monitoramento, embora se relacione com a avaliagio, 6
uma atividade gerencial que visa o controle de entrega de insumos
de acordo com as metas e a manutengio de calendério de trabalho.
Nesse sentido, omonitoramento, seguimento ou acompanhamento
éum exame continuo efetuado, em todos os niveis hierdrquicos,
pela administracio do programa, para verificar como estiio sendo
executadas asatividades, Visao desenvolvimento dos trabalhos con:
forme planejado, caracterizando-se, portanto, como umaatividade
interna realizada durante a execucio do programa, Pode-se ainda 148 PESQUISA AVALIATIVA,
dizer que.a preocupacao central do monitoramento é.como funcio-
namento do programa, sendo seus objetivos: auxiliar na execugéo
do programa; melhorar a fungio gerencial; assegurar a eficiéncia
e produtividade do programa; organizar fluxos de informagées
sobre o programa e auxiliar 0 processo de avaliagao, constituindo:
se em fonte de informagio para o pessoal do planejamento e da
lexecugdo, bem como da avaliagéo. Isto é, emboraomonitoramento
no seja um modelo de avaliagao, esta diretamente relacionado
com esta, podendo ser estabelecidas as seguintes comparagées:
Dimensio ‘Monitoramento Avaliagao I
Objeto Acompanhay Examina e analisa impactose
sistematica
cetarefas. fins e propésitos.
lente, agdes_| resultados, voltando-se para
‘Momento
programa,
| Objetivo Garantir 0 sar relagy
desenvolvimento dos | processo/resultados/
trabalhos conforme | impactos.
planejado
Atitude Descritiva ecorretiva, | Descritiva, interpretativae
experimental
Recomendagies | Ajuste no plano de Revisio de ages, recursos e
trabalho ou na estratégia | metas
deexecucio.
Naescolha de modelos de avaliagao, énecessério considerar
os objetivos dela, visto que avaliagdes de politicas e programas
sociais respondem a objetivos distintos: de producdo de conheci
mento; de verificacao de eficicia eeficiéncia ede acountability das
aces; de detectar dificuldades e obstéculos e produzir recomen-
dagées, de modo que a pesquisa avaliativa é sempre uma pesquisa
interessada (Draibe, 2001, p. 18), ou seja, tem uma intenciona-
lidade orientada. Nesse sentido, tem-se modelos diferenciados e
complementares que a orientam.
‘A avaliagao politica da politica volta-se a emitir julga~~
mento em relagio4 politica ou programa em si, implicando em_
AVALTAGAO DE POLITICAS E PROGRAMASSOCIAIS 149
atribuir valor aos resultados alcangados, ao aparato instituciona
‘em que o programa é implementado e aos atos ou mecanismos
utilizados para modificacio da realidade social sob intervencio.
Para tal, requer definigao de critérios e envolve principios politicos
fundamentais sobre concepgao referente ao bem-estar humano,
destacando os principios de igualdade e democracia ea concep.
decidadania (Figueiredo & Figueiredo, 1996). Em resumo: segun-
doosmesmos autores, a avaliacao politica da politica consisteem
analisar e elucidar as razées que tornaram determinada politica
preferivel a qualquer outra, preocupando-se com os principios
explicitos e implicitos que a fundamentam, Nesse sentido, essa
avaliacio detém-se no exame substantivo da politica e de sew
produto, procurando desvendar a compatibilidade do produto
com o principio de justica social, o que significa entrar no mérito
daefetiva apropriacao dos bens fi: (produto e impacto).
Oentendimento é queesse modelo de avaliagao esta centra:
dona fase de formulacao da politica ou planejamento do programa,
podendo compreender duas abordagens: a avaliagio politica da
politica propriamente dita e a avaliagao da engenharia utilizada
na construgao do programa.
Em relacdo A avaliacao politica da politica, aandlise secentra
nos fundamentos e condicionamentos de ordem politica, econd-
mica e sociocultural que determinaram o processo de formulagio
da politica ou de elaboragao de um plano, voltando-se para a
identificacao e anlise dos principios de justiga social, implicitos
ouexplicitos, que orientaram o processo de transformacao de uma
agenda piiblica em alternativas de politicas ede transformagiode
alternativas de politicas num programa ser adotado e implemen-
tado. Interessa, na abordagem de avaliacdo politica, considerar
as seguintes dimensGes: identificago e andlise do referencial
ético-politico que fundamentou a politica; dos determinantes de
ordem econdmica, politica e sociocultural que condicionaram
a formulagao da politica; dos principios de justica, explicitos e:
implicitos, identificando possivel privilégio da acomodagao social
(carter mantenedor ou meramente distributivo) ou promocao da
eqiiidade social (carter redistributivo).
No que se refere & avaliago da engenharia do programa,
co cerne das preocupacdes é a andlise da consisténcia e da estru- 150 PESQUISA AVALIATIVA
turagao do plano em relacdo aos objetivos propostos. Diferente-
mente da avaliagao politica da politica, que se centra no valor do
programa em si, aatengZo, nessa abordagem, se volta para avaliar
a adequagao dos mecanismos institucionais e dos recursos de
todas as ordens para o tratamento do problema em questo; para
o julgamento da pertinéncia formal e potencial de um programa,
considerando-se a coeréncia interna dos seus componentes. Para
sso, podem ser consideradas dimensdes da avaliagao da engenha-
ria ou formulagio de um programa com os seguintes elementos
avaliagio do diagnéstico no qual se fundamenta o programa
enquanto expressio da natureza, magnitude e principais caracte-
risticas do problema objeto de intervencao; avaliagao do modelo
de intervencao ou programa, seus fundamentos valorativos e
conceituais, seus objetivos, estratégias de acdo, atividades pro-
postas, métodos, técnicas e procedimentos que pretende utilizar,
verificando a pertinéncia do programa ea coeréncia interna entre
seus componentes, Qu seja, a adequacao entre a realidade a ser
modificada, asalternativas de intervengao propostas ea coeréncia
interna entre os componentes estruturais do programa (viabilidade
entre objetivos e meios/recursos); participacao e contribuigao
dos diferentes sujeitos para formulacao do programa; prioridades
estabelecidas ecritérios de elegibilidade da populagao beneficiéria
(aplicabilidade, coeréncia com arealidade, possibilidade de inclu
Sio/exclusio); cobertura e impactos potenciais e sua relago com
adimensio do problema; adequabilidade ealcance da proposta de
divulgagao do programa; sua articulagdo com outros programas
(parcerias); modelos de gestio e avaliagdo propostos (pertinéncia
e possiveis contribuigées para o desenvolvimento do programa)
e financiamento, volume de recursos e fontes, bem como a perti-
néncia e adequabilidade dos demais recursos previstos, tendo em
vista os objetivos propostos.
“Tem-se, por fim, os modelos de avaliagdo mais considerados
na literatura. Trata-se da avaliacio do processo de implementa-
gio e da avaliagéo de impacts. Esses modelos de avaliagio se
distinguem pelo objeto (natureza da avaliagao), pela logicae pela
finalidade da avaliacdo e, geralmente, se utilizam de métodos e
técnicas diferenciadas. O quadro a seguir apresenta um paralelo
es dois modelos.
entree
AVALIAGAO.
ross
| Momento
po
DE POLITICASEPRC
ia-se de um procedimento
eriieagio ecorreqio do
namento de um programa
| Alerigio da adequagio entre melon |
nizacional, institucional, soca,
conémicoe politico em que se
También podría gustarte
- The Subtle Art of Not Giving a F*ck: A Counterintuitive Approach to Living a Good LifeDe EverandThe Subtle Art of Not Giving a F*ck: A Counterintuitive Approach to Living a Good LifeCalificación: 4 de 5 estrellas4/5 (5819)
- The 7 Habits of Highly Effective PeopleDe EverandThe 7 Habits of Highly Effective PeopleCalificación: 4 de 5 estrellas4/5 (353)
- The Subtle Art of Not Giving a F*ck: A Counterintuitive Approach to Living a Good LifeDe EverandThe Subtle Art of Not Giving a F*ck: A Counterintuitive Approach to Living a Good LifeCalificación: 4.5 de 5 estrellas4.5/5 (20105)
- Remarkably Bright Creatures: A NovelDe EverandRemarkably Bright Creatures: A NovelCalificación: 4.5 de 5 estrellas4.5/5 (5780)
- Never Split the Difference: Negotiating As If Your Life Depended On ItDe EverandNever Split the Difference: Negotiating As If Your Life Depended On ItCalificación: 4.5 de 5 estrellas4.5/5 (3313)
- Art of War: The Definitive Interpretation of Sun Tzu's Classic Book of StrategyDe EverandArt of War: The Definitive Interpretation of Sun Tzu's Classic Book of StrategyCalificación: 4 de 5 estrellas4/5 (3321)
- The 7 Habits of Highly Effective People: The Infographics EditionDe EverandThe 7 Habits of Highly Effective People: The Infographics EditionCalificación: 4 de 5 estrellas4/5 (2487)
- Habit 3 Put First Things First: The Habit of Integrity and ExecutionDe EverandHabit 3 Put First Things First: The Habit of Integrity and ExecutionCalificación: 4 de 5 estrellas4/5 (2508)
- Habit 1 Be Proactive: The Habit of ChoiceDe EverandHabit 1 Be Proactive: The Habit of ChoiceCalificación: 4 de 5 estrellas4/5 (2559)
- How To Win Friends And Influence PeopleDe EverandHow To Win Friends And Influence PeopleCalificación: 4.5 de 5 estrellas4.5/5 (6699)
- The 7 Habits of Highly Effective PeopleDe EverandThe 7 Habits of Highly Effective PeopleCalificación: 4 de 5 estrellas4/5 (2572)
- Habit 6 Synergize: The Habit of Creative CooperationDe EverandHabit 6 Synergize: The Habit of Creative CooperationCalificación: 4 de 5 estrellas4/5 (2499)
