Texto 0 - Jannuzzi - 2014

TEMA EM DESTAQUE
AVALIAÇÃO DE
PROGRAMAS SOCIAIS:
CONCEITOS E
REFERENCIAIS DE QUEM
A REALIZA
PAULO DE MARTINO JANNUZZI
RESUMO
O artigo tem o objetivo de apresentar de forma sistematizada
conceitos sobre monitoramento e avaliação de programas sociais,
valendo-se da bibliografia clássica na área e da experiência
concreta de produção de informação e conhecimento para
subsidiar a gestão cotidiana de políticas e programas sociais.
Discorre-se sobre tipologias de avaliação segundo o ciclo de
implementação dos programas e escopo investigativo, sobre a
necessidade de abordagens multimétodos e multidisciplinares na
realização de pesquisas de campo e sobre a complementaridade
de sistemas de monitoramento e pesquisas de avaliação. Finaliza-
se apresentando uma proposta de marco estruturador de planos
de desenvolvimento de instrumentos de monitoramento e de
estudos avaliativos de programas sociais que permitam compor,
ao longo do tempo, uma avaliação sistêmica da política social
que os congrega.
PALAVRAS-CHAVE AVALIAÇÃO • MONITORAMENTO •

PROGRAMAS SOCIAIS • Metodologia dA Avaliação.
22 Est. Aval. Educ., São Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014
RESUMEN
El artículo tiene el objetivo de presentar de forma sistematizada
conceptos sobre el monitoreo y la evaluación de programas
sociales, valiéndose de la bibliografía clásica en el área y de
la experiencia concreta de producción de información y
conocimiento para subsidiar la gestión cotidiana de políticas y
programas sociales. Se discurre sobre tipologías de evaluación
según ciclo de implementación de los programas y alcance
investigativo, sobre la necesidad de abordajes con múltiples
métodos y multidisciplinarios en la realización de investigaciones
de campo y sobre la complementariedad de sistemas de monitoreo
y estudios de evaluación. Se concluye con una propuesta de
marco estructurador de planes de desarrollo de instrumentos
de monitoreo y de estudios evaluativos de programas sociales
que permitan componer, a lo largo del tiempo, una evaluación
sistémica de la política social que los congrega.
PALABRAS CLAVE EVALUACIÓN • MONITOREO • PROGRAMAS

SOCIALES • METODOLOGÍA DE LA EVALUACIÓN.
ABSTRACT
This article aims to present, in a systematic way, concepts about
the monitoring and evaluation of social programs, making
use of the classic literature in the area and of the concrete
experience of producing information and knowledge to support
the day-to-day management of social policies and programs.
It discusses evaluation typologies, following a cycle of program
implementation and investigative scope; about the need for
multi-methodological and multi-disciplinary approaches in
conducting field research; and, about the complementarity
of monitoring systems and research on evaluation. Finally,
it presents a proposal for a reference system for planning the
development of monitoring instruments and evaluative studies
of social programs that permit the composition, over time, of
a systemic evaluation of the social policies which connect them.
KEY WORDS EVALUATION • MONITORING • SOCIAL PROGRAMS •

EVALUATIVE METHODOLOGY.
Est. Aval. Educ., São Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014 23
O campo de conhecimentos teóricos e práticos de Monitoramento
e Avaliação de Políticas e Programas (M&A) tem despertado o in-
teresse de número crescente de técnicos do setor público, pesqui-
sadores acadêmicos e profissionais de consultoria no Brasil nos
últimos vinte anos. Como ocorreu em outros países mais desen-
volvidos, esse movimento está associado fundamentalmente ao
processo de estruturação do sistema de proteção social, deflagrado
efetivamente no Brasil pela promulgação da Constituição de 1988.
A ampliação do escopo e escala das políticas sociais, con-
jugando programas de natureza universal – na educação,
saúde, trabalho e assistência social – com ações de cunho redis-
tributivo e de promoção de acesso aos direitos sociais – como o
Programa Bolsa Família, o Benefício de Prestação Continuada,
as Políticas de Promoção de Igualdade Racial e Gênero, entre
outras – têm ensejado a produção de informações e desenvolvi-
mento de estudos de avaliação para melhor conhecimento dos
públicos-alvo de cada programa, do processo de implementa-
ção desses e dos resultados e impactos das intervenções.
Complementarmente, também tem contribuído para
o fortalecimento do campo a profissionalização pela qual
passa a gestão pública brasileira, em suas três esferas. A con-
tinentalidade do País, a pactuação de objetivos setoriais e
a implementação de arranjos federativos na operação dos
programas requerem estruturação de burocracias especiali-
zadas na operação das políticas. Para esses corpos técnicos,
as atividades de compilação, levantamento e organização de
dados, mais a produção de indicadores de monitoramento e
pesquisas de avaliação, constituem componentes essenciais
à boa gestão.
Muito se tem publicado em termos conceituais e apli-
cados nesse campo de conhecimento de M&A no Brasil e no
exterior, o que certamente torna desafiador produzir algo
com conteúdo inédito ou inovador. Ainda assim, nessa pro-
dução parece haver um déficit de contribuições e aportes
por parte daqueles que estão diretamente envolvidos com os
instrumentos de M&A na ponta, em contato com formulado-
res da política, com decisores em nível tático e operadores
dos programas e serviços nos municípios. Desse tipo de con-
tribuição pode emergir alguns apontamentos pragmáticos
que ainda não figuram nos manuais clássicos da área, mas
que podem orientar de maneira mais objetiva os técnicos e
pesquisadores chamados a atender às diferentes demandas
de produção de informação e conhecimento para a “política
em ação”. Também se procura fazer um primeiro exercício
em definir um marco ordenador que dê maior organicidade
a projetos e planos de avaliação de políticas sociais, assim
como de seus programas.
É nessa perspectiva que este texto se justifica, ao siste-
matizar alguns conceitos, marcos referenciais e práticas no
campo, a partir do ângulo de visão de quem está envolvido
com processos concretos de subsidiar diretamente à gestão
cotidiana de políticas e programas sociais. Essa perspectiva
pode contribuir para que as pesquisas de natureza acadêmi-
ca possam responder parte das demandas de informação e
conhecimento multidisciplinar mais específico necessário à
gestão de políticas e programas.
AVALIAÇÃO DE PROGRAMAS NA ANÁLISE DE
POLÍTICAS PÚBLICAS
A avaliação de programas tem recebido as mais diferentes
definições na literatura especializada, segundo os diver-
sos modelos conceituais, paradigmas teóricos e linhas de
pesquisa da Ciência Política, Ciências Sociais, Economia e
Administração Pública, tomando a avaliação em perspecti-
va mais geral, como componente integrante da análise de
políticas públicas, como instrumento de sistemas de mo-
nitoramento e avaliação de programas governamentais ou,
em uma concepção mais restrita, avaliação como um tipo
particular de investigação empírica acerca de programas e
projetos sociais, como as avaliações de impacto experimen-
tal ou quasi-experimental (MACDAVID; HAWTHORNE, 2006;
MACKAY, 2007; WORTHERN et al., 2004; ROSSI et al., 2004).
Em uma definição mais pragmática e aplicada, propos-
ta em Jannuzzi (2013a), avaliação refere-se ao conjunto de
procedimentos técnicos para produzir informação e conheci-
mento, em perspectiva interdisciplinar, para desenho ex-ante,
implementação e validação ex-post de programas e projetos
sociais, por meio das diferentes abordagens metodológicas
da pesquisa social, com a finalidade de garantir o cumpri-
mento dos objetivos de programas e projetos (eficácia), seus
impactos mais abrangentes em outras dimensões sociais, ou
seja, para além dos públicos-alvo atendidos (efetividade) e a
custos condizentes com a escala e complexidade da interven-
ção (eficiência).
Em tal definição, avaliação não é entendida tão somente
como uma investigação com métodos validados cientifica-
mente para analisar diferentes aspectos sobre um programa
– o que se constituiria em uma investigação de cunho aca-
dêmico –, mas um levantamento consistente, sistemático
e replicável de dados, informações e conhecimentos para
aprimoramento da intervenção programática, versando so-
bre: as características essenciais do contexto de atuação; os
públicos-alvo; o desenho; os arranjos de implementação;
os custos de operação; os resultados de curto prazo; os im-
pactos sociais e de mais longo prazo de um programa. En-
fim, na definição aqui advogada, avaliação tem o objetivo de
produzir evidências, compilar dados e sistematizar estudos
que contribuam para o aperfeiçoamento de programas e pro-
jetos sociais, além da consecução de seus objetivos.
A definição de avaliação de programas também remete
à necessidade de abordagem interdisciplinar na produção de
informação e conhecimento sobre os problemas investiga-
dos. Pobreza, desigualdade, desempenho escolar e mortali-
dade infantil são questões sociais multideterminadas, isto é,
determinadas e influenciadas por uma série de dimensões
sociais mais amplas e estruturais, assim como de aspectos
mais circunscritos e relacionados à falta de efetividade de
programas públicos desenhados para o equacionamento das
mesmas.
Programas são empreendimentos complexos, que en-
volvem a contratação de pessoal técnico; disponibilidade de
instrumentos; adequação de equipamentos públicos; aloca-
ção de recursos monetários; promoção de capacitação, de
forma coordenada no tempo e no território. Mapear, pois,
as dimensões sociais mais relevantes à formulação de um
programa ou os problemas operacionais desse requer uma
equipe de avaliadores com diferentes formações acadêmicas
e profissionais. Certamente se requer especialistas acadêmi-
cos nas temáticas investigadas, mas não se pode deixar de
ter nas equipes de avaliação profissionais que já tiveram ex-
periência na gestão de programas correlatos.
Por fim, vale mencionar que os manuais clássicos de ava-
liação de programas costumam estabelecer diversos parâme-
tros ou critérios centrais para esse tipo de avaliação, entre os
quais a eficiência no uso dos recursos, eficácia no atingimen-
to dos objetivos e efetividade na mudança social por ele pro-
porcionada são os mais frequentes (DRAIBE, 1999), de modo
que um bom programa social seria eficiente, eficaz e efetivo.
Tais critérios são usualmente empregados para estruturar es-
forços de avaliação mais exaustivos de políticas e programas,
ainda que as duas últimas dimensões avaliativas sejam mais
recorrentes, dado que revelam a preocupação com pesquisas
de avaliação de satisfação, de resultados e impactos.1 1 Avaliações custo-efetividade, ou
de eficiência, requerem nível de
contabilização de custos e clareza
de indicadores de efetividade que
poucas políticas e programas já
conquistaram.
AVALIAÇÃO DE PROGRAMAS: TIPOS, PRODUTOS E
2 Esta seção vale-se de reflexões TÉCNICAS2
sistematizadas em Jannuzzi (2014).
Avaliações que, de fato, têm uso efetivo na intervenção são
desenhadas conforme as demandas de informação e conhe-
cimento ao longo do ciclo de maturidade do programa ou
projeto social (ROSSI et al., 2004). Podem ser de natureza
diagnóstica – avaliação diagnóstica –, apoiada em fontes de
dados já existentes, produzidas pelo Instituto Brasileiro de
Geografia e Estatística (IBGE), pelo Instituto Nacional de Es-
tudos e Pesquisas Educacionais (Inep), nos registros e cadas-
tros públicos dos ministérios, a fim de permitir um rápido
dimensionamento e caracterização da questão social a ser
objeto de intervenção.
Para a formulação de programa ou projeto para mitiga-
ção ou equacionamento da problemática social identificada,
em geral, são necessários novos esforços de levantamentos
de campo – para aprofundamento do diagnóstico das condi-
ções de vida; contexto econômico; restrições ambientais; ca-
pacidade de gestão e oferta de serviços – e de compilação de
estudos já realizados na temática, abordando determinantes
da problemática em questão e eventuais programas e pro-
jetos já idealizados, atividades que constituem o que se de-
nomina avaliação de desenho. Definidos os públicos que serão
atendidos e os arranjos operacionais do programa ou projeto
social, é preciso colocá-lo em ação, realizando as atividades
planejadas, acompanhando a execução dessas mediante in-
dicadores de gestão e de monitoramento, além de identificar
problemas na oferta, regularidade e qualidade dos serviços
por meio de pesquisas de avaliação da implementação.
Reconhecidos e, tanto quanto possível, sanados os de-
safios da implementação, as demandas de informação e co-
nhecimento voltam-se à avaliação de resultados e impactos do
programa ou projeto social. Trata-se do momento para uma
investigação mais exaustiva sobre os diversos componentes
de uma intervenção, abordando não apenas o cumprimento
de seus objetivos, mas também seu desenho, arranjos opera-
cionais, impactos sociais mais abrangentes – no tempo e no
território –, e sobre a capacidade de inovação e redesenho
frente ao contexto dinâmico em que operam os programas
e projetos. Cabe nesse momento avaliar se a intervenção
programática formulada conseguiu provocar mudanças na
realidade social que a originou, considerando naturalmente
a complexidade de seu desenho e dos arranjos operacionais,
além da criticidade da questão social enfrentada.
Identificar o momento adequado para avaliações dessa
natureza é um misto de técnica, política e arte, pois avalia-
ções precoces podem colocar a perder a legitimidade de um
programa e projeto meritório que ainda não teve tempo de
se estruturar; ao passo que avaliações tardias podem com-
prometer recursos e esforços que poderiam ser utilizados de
forma mais eficiente e eficaz na mitigação da problemática
social em questão. Em síntese, avaliações são, como toda ati-
vidade na gestão pública, empreendimentos técnico-políti-
cos, de modo que a realização dessas, sobretudo se significa-
tivamente abrangentes, não depende apenas do técnico ou
gestor do programa.
Enfim, se o programa e projeto produzem resultados
e impactos, é necessário analisar os custos envolvidos na
operacionalização de suas atividades, equipamentos e pes-
soal – avaliação custo-efetividade. O custo-efetividade das in-
tervenções, isto é, o valor gasto para produzir unidades de
resultados e impactos em um período de tempo e território
específicos, é certamente uma informação fundamental para
avaliar a sustentabilidade dos programas e projetos no futuro
e em outros contextos. Ademais, se bem-realizadas – ou seja,
com contabilidade precisa de custos e vetor abrangente de in-
dicadores de resultados –, tais avaliações fornecem parâme-
tros cruciais à comparação de diferentes intervenções sociais
e informa gestores nas decisões técnicas e políticas acerca de
oportunidades de melhoria de eficiência, continuidade, des-
continuidade, ou mesmo a expansão de programas e projetos.
Em uma perspectiva metodológica, os esforços de ava-
liação podem se estruturar em quatro tipos de produtos
mais gerais, com maior ou menor aderência e especificidade
ao problema social ou intervenção programática desenhada,
a saber:
• Estudos avaliativos – análises com base em dados se-
cundários ou compilação de artigos e trabalhos já
realizados na temática, com maior ou menor abran-
gência;
• Pesquisas de avaliação – levantamentos primários, quali
ou quantitativos, desenhados com objetivos de pro-
dução de evidências mais específicas e necessárias
ao aprimoramento da intervenção;
• Meta-avaliações – recensões sobre estudos avaliativos,
pesquisas e experiências nacionais, subnacionais e
internacionais de programas e projetos implemen-
tados;
• Relatórios-síntese de avaliação e portais web – com infor-
mação mais sumária, na forma de indicadores ge-
rais, para uma comunicação mais objetiva acerca de
aspectos do diagnóstico, implementação e resulta-
dos dos programas e projetos.
As pesquisas de campo podem ser mais estruturadas, como

as enquetes quantitativas com marco amostral probabilístico – necessá-
rias à produção de indicadores de dimensionamento de públi-
cos-alvo ou inferência representativa quanto aos resultados dos
programas –, ou com amostras intencionais – mais rápidas e me-
nos custosas, mas com limitado poder de generalização dos
seus resultados. Podem ser menos estruturadas, mais explo-
ratórias, de cunho qualitativo, como grupos de discussão ou en-
trevistas em profundidade, dirigidas a usuários e beneficiários
de programas e projetos, assim como aos gestores e técnicos
encarregados da operacionalização dos serviços. São especial-
mente importantes para identificar questões latentes acerca
da implementação dos programas não antecipados, quando
de seu desenho.
Um tipo particular de instrumento estruturado – a
pesquisa com delineamento quasi-experimental, também
denominada de avaliação de impacto – figura como importan-
te instrumento de avaliação de programas. Contudo, pelo
tempo, recursos e conflitos éticos que esse tipo de levan-
tamento envolve, tem aplicação mais dirigida à análise do
mérito e contribuição específica das intervenções, para fins
de prestação de contas a agentes financiadores do progra-
ma ou projeto.
Não existe um método ou estratégia “padrão-ouro” para
a produção de uma avaliação. O melhor método é o que pro-
duz as evidências que respondem de forma consistente às de-
mandas requeridas, ao tempo de seu uso na decisão da gestão
pública. Informação precisa, mas produzida a custos e tempo
não condizentes com a tempestividade da gestão; ou, ainda,
informação rapidamente produzida, mas não consistente e
robusta em termos metodológicos, certamente não se presta
a orientar decisões cruciais acerca dos rumos de um progra-
ma ou projeto social. Perspectiva multidisciplinar de investi-
gação, triangulação de métodos e de sujeitos entrevistados,
esforços combinados de avaliação interna – com gestores e
técnicos que conhecem os problemas e as atividades do pro-
grama e projeto – e de avaliação externa – com pesquisadores
especializados e apoio de equipe de campo – é que garante
a credibilidade e robustez necessárias ao aprimoramento da
gestão e desenho das intervenções programáticas.
Finalmente, mas não menos importante, a efetividade
das avaliações não pode ser medida pelo número de suges-
tões e recomendações aportadas nas pesquisas e estudos
avaliativos dos programas e projetos. Avaliações produzem
informação e conhecimento que, desde que devidamente es-
truturados e disseminados, podem e devem ser usados para
interferir cotidianamente na ação do gestor estratégico e do
técnico na ponta, cujo registro formal é difícil de realizar.
Ademais, e fundamentalmente, programas e projetos sociais
são empreendimentos complexos, seja em termos de contex-
to político-institucional, escala, arranjos de implementação
e pessoal técnico envolvido (WORTHERN et al., 2004).
A introdução de inovações, redesenho de processos, des-
continuidade de atividades e contratação de novos agentes e
serviços – típicas recomendações derivadas de avaliações de
implementação – cumprem um calendário que deve compa-
tibilizar a agenda de prioridades de correção de problemas
com as janelas de oportunidades de mudanças, sem o risco
de interrupção das atividades para os públicos atendidos.
MONITORAMENTO COMO COMPONENTE DA AVALIAÇÃO
DE PROGRAMAS
Monitoramento também possui diferentes conceituações
na bibliografia da área, remetido ora como processo mar-
cadamente gerencial – acompanhamento de atividades com
vistas ao cumprimento de metas estabelecidas –, ou mais in-
tegrado às atividades de avaliação continuada de processos e
atividades relacionadas à produção dos serviços e programas
públicos (GARCIA, 2001; RUA, 2004; JANNUZZI, 2013a).
Na conceituação aqui advogada, monitoramento consti-
tui um processo sistemático e contínuo de acompanhamen-
to de uma política, programa ou projeto, baseado em um
conjunto restrito – mas significativo e periódico – de infor-
mações, que permite uma rápida avaliação situacional e uma
identificação de fragilidades na execução, com o objetivo de
subsidiar a intervenção oportuna e a correção tempestiva
para o atingimento de seus resultados e impactos.
Nesse sentido, monitoramento e avaliação são proces-
sos analíticos organicamente articulados, que se comple-
mentam no tempo com o propósito de subsidiar o gestor
público de informações mais sintéticas e tempestivas sobre
a operação do programa – resumidas em painéis ou sistemas
de indicadores de monitoramento – e dados mais analíticos
sobre o funcionamento desse, levantados nas pesquisas de
avaliação. Tal como “termômetros”, os indicadores de mo-
nitoramento podem apontar sinais de “normalidade” ou
“febre” em pontos críticos do desenho operacional de pro-
gramas, orientando técnicos e gestores a tomarem decisões
cabíveis de correção, ou mesmo a contratarem pesquisas de
avaliação – ou “exames clínicos”, na metáfora adotada – para
a investigação das causas e a persistência da “febre”, isto é,
do problema identificado (JANNUZZI, 2011a).
Sistemas efetivos de monitoramento partem de mode-
los lógicos de intervenção que retratam, de fato, o desenho
do programa, a partir do qual torna-se possível selecionar
indicadores-chave com os dados gerados na operação e ati-
vidades do próprio programa, em seus sistemas de gestão.
Indicadores são componentes centrais na definição de uma
estratégia de monitoramento. Prestam-se a operacionalizar
de forma objetiva conceitos abstratos – como os indicado-
res sociais em diagnósticos socioeconômicos –, ou a conferir
alguma comensurabilidade a processos e etapas de traba-
lho – indicadores de processos ou produtos – em políticas
ou programas.3 Um bom conjunto de indicadores de moni- 3 Para uma definição mais ampla de
indicadores sociais, vide Jannuzzi
toramento deve conseguir responder às questões avaliativas (2013b).
básicas, tais como: se os recursos financeiros e humanos es-

tão devidamente alocados; se os processos intermediários de
contratação de serviços e adesão de agentes envolvidos na
operação dos programas estão ocorrendo no tempo e ampli-
tude necessários; se os produtos, serviços e benefícios estão
chegando ao público-alvo desejado e à sociedade em geral.
Boas escolhas de indicadores-chave, com detalhamento
geográfico ou sociodemográfico adequado, podem consti-
tuir-se em informações de grande utilidade para uso efetivo
e cotidiano dos técnicos e gestores. Os indicadores de moni-
toramento, organizados segundo painéis com a devida estru-
tura, configuram um recurso metodológico para “filmar” as
atividades, ações e programas promovidos pelo setor públi-
co, assim como a mudança social impactada por esses.
Supondo que a cadeia lógica de intervenção do progra-
ma seja, em verdade, articulada e factível, os indicadores de
monitoramento permitem antecipar, ainda que com imper-
feições, as tendências e os desvios indesejáveis na execução
dos programas. Se forem indicadores específicos para retratar
ações de maior relevância em um programa – nível de desnu-
trição infantil crônica, por exemplo –, se forem computados
com periodicidade adequada e referenciados territorialmen-
te segundo tipologias analíticas consistentes – indicadores
semestrais para municípios com maior e menor grau de es-
truturação dos serviços de saúde, por exemplo –, pode-se
inclusive inferir relações associativas – ainda que não es-
tritamente causais – entre as intervenções programáticas e
seus possíveis efeitos.4 Os indicadores se prestam mesmo em 4 É o que se denominou em Jannuzzi
(2011b) de “monitoramento analítico”.
situações em que, uma vez tomadas decisões cruciais para
a correção dos problemas, os desvios persistem. Nesse caso,
os indicadores de monitoramento podem não ser as melho-
res escolhas de processos-chave, ou o desenho programáti-
co apresenta problemas estruturais, para o que é necessário
especificar em uma pesquisa de avaliação que investigue
com mais detalhes o que se passa com o programa.
Cada programa ou política pública demanda um siste-
ma de indicadores específicos à sua gestão. Cada uma das
etapas do programa – planejamento, implementação, execu-
ção etc. – também demanda indicadores com características
distintas, dificultando a criação de modelos padronizados,
aplicáveis em qualquer situação (RESENDE, 2013). Assim, o
desenvolvimento de painéis ou sistemas de indicadores para
monitoramento e avaliação demanda, antes de tudo, um
entendimento profundo, por parte do elaborador – ou ela-
boradores – dos sistemas, do funcionamento do programa,
seus fluxos internos, metas intermediárias, objetivos – geral
e específicos –, o papel dos atores envolvidos, a expectativa
do público que se pretende beneficiar ou até de toda a popu-
lação. Provavelmente, pela especificidade da demanda por
informação, a maior parte do conjunto de dados utilizados
para a construção de indicadores de monitoramento devem
se encontrar nas próprias instituições, equipamentos e da-
dos que gerem os programas.
Para finalizar esta seção, vale comentar que a articula-
ção entre monitoramento e avaliação está muito presente no
sistema de avaliação das políticas e programas na educação
no país (PONTES, 2013). Como registrado no Quadro 1, há
um acervo expressivo de fontes de estatísticas da educação
brasileira e instrumentos de monitoramento e avaliação da
ação governamental na área. Avaliações de conhecimento
de larga escala aplicadas aos alunos, como a Prova Brasil,
conjugadas a instrumentos de coleta de dados, como o Edu-
cacenso, permitem a computação de indicadores e produção
de estudos avaliativos significativamente específicos sobre o
processo de ensino e aprendizagem pelo país.
Quadro 1 – Principais fontes de informação para monitoramento e
avaliação da educação
Censo Escolar da Educação Básica;

Censo Escolar da Educação Superior;
Sistema de Avaliação da Educação Básica (Saeb);
Prova Brasil e Provinha Brasil;
Exame Nacional do Ensino Médio (Enem);
Exame Nacional de Avaliação de Estudantes (Enade);
Sistema Nacional de Avaliação da Educação Superior (Sinaes);
Exame Nacional para Certificação de Competências de Jovens e
Adultos (Encceja);
Programa Internacional de Avaliação de Estudantes (Pisa/Ocde);
Estudo Regional Comparativo e Explicativo (Terce/Unesco);
Sistema Integrado de Monitoramento, Execução e Controle do
Ministério da Educação (Simec).
Fonte: Pontes (2013).
A AVALIAÇÃO DE PROGRAMAS COMO ETAPA DA

AVALIAÇÃO DA POLÍTICA PÚBLICA
Política pública é definida nos manuais clássicos como o
conjunto de decisões tomadas pelas instituições de Estado
visando à solução de um problema ou ao redirecionamento
de uma tendência, com a intenção de orientar sua evolução
para um fim estabelecido desejável. Programa é um dos ins-
trumentos de operacionalização da política e, especificamen-
te, trata-se de um conjunto sistêmico de ações programadas
e articuladas entre si, com objetivo de atender uma deman-
da pública específica, encampada na agenda de prioridades
de políticas públicas do Estado ou governo (ROSSI et al., 2004;
VILLANUEVA, 2006).
Programas públicos são sistemas complexos, em ge-
ral operados por meio de arranjos federativos, envolvendo
diversos processos de trabalho e atividades para que os re-
cursos orçamentários alocados produzam resultados para
os públicos-alvo definidos e gerem impactos à sociedade.
Dependendo da área setorial da política social, dos recursos
orçamentários, da escala de cobertura e complexidade do
desenho do programa, milhares ou centenas de milhares de
agentes participam das atividades de gestão, preparação e en-
trega efetiva de produtos, serviços e benefícios à população.
Conhecer melhor a configuração, os objetivos explícitos e
tácitos, o arranjo operacional e a complexidade de imple-
mentação dos programas em um contexto federativo é, pois,
requisito fundamental para que a informação e o conheci-
mento produzidos tenham maior aplicabilidade para o aper-
feiçoamento da política e do programa público.
Mas ainda que se possa desenvolver um conjunto amplo
de pesquisas de avaliação de programas de uma área setorial
da política pública – em educação, saúde, desenvolvimento
social, para citar alguns exemplos –, é preciso dispor, de tem-
pos em tempos, de análises mais abrangentes dessa política
setorial que os congrega. O conjunto de avaliações de progra-
mas acaba por compor um quadro que permite identificar
aspectos meritórios, avanços e contradições da política pú-
blica, trazendo insumos à sua reformulação.
Nesse tipo de estudo de escopo mais amplo se enqua-
dram, em nível de complexidade crescente, as meta-avaliações
– compilação crítica das pesquisas já realizadas sobre um
programa, como já apontado –, os estudos sobre componen-
tes sistêmicos da política pública e as análises institucionais
dessa, em termos de sua motivação, disputa de agenda, ato-
res envolvidos, sustentabilidade etc. Esses três tipos de es-
tudos avaliativos – meta-avaliações, análise de componentes
sistêmicos e análise institucional – cumprem objetivos com-
plementares na identificação de lacunas de conhecimento
a cobrir sobre os programas, na sistematização de achados
mais regulares ao aprendizado organizacional na gestão dos
programas e na disponibilização de marcos referenciais mais
gerais para a definição e execução de um plano de moni-
toramento e avaliação de programas referidos a uma dada
política pública.
5 No âmbito da administração pública,
vale citar as análises institucionais de Meta-avaliações e análises institucionais são típicos em-
políticas públicas realizadas por técnicos
do Instituto de Pesquisa Econômica preendimentos técnico-científicos desenvolvidos em progra-
Aplicada (Ipea), presentes em diferentes
publicações da instituição, em especial mas de Pós-Graduação no Brasil e no exterior, logo, menos
os Textos para Discussão, assim como
alguns dos estudos contratados pela frequentemente realizados dentro da própria administração
Secretaria de Avaliação e Gestão
da Informação do Ministério do
pública, pelo tempo requerido, equipe técnica ou distancia-
Desenvolvimento Social e Combate mento necessário do objeto investigado.5 Neste texto discor-
à Fome (Sagi/MDS), na publicação
Cadernos de Estudos Desenvolvimento re-se brevemente sobre o segundo tipo de estudo, também
Social em Debate, disponível em: <http://
www.mds.gov.br/sagi>. presente em linhas de pesquisa nas universidades brasileiras,
mas que começam a se tornar objeto de preocupação mais
frequente de gestores e técnicos envolvidos nas grandes
áreas setoriais da política social no país, pelo volume de re-
cursos já aportados e desafios de sustentabilidade fiscal e sua
política.
O que aqui se denomina como estudos avaliativos so-
bre os componentes sistêmicos das políticas públicas com-
preendem análises comparativas no tempo e território sobre
um ou mais dos elementos constituintes e operacionais das
políticas de natureza distributiva e redistributiva, que viabi-
lizam a ação governamental na produção de resultados que
chegam à sociedade.
Um primeiro modelo conceitual e metodológico para
orientar tais análises é a inspirada na proposta de Matus
(2006), conhecida nos meios técnicos de planejamento gover-
namental no Brasil como o triângulo do governo, assentado
em três vértices igualmente importantes: compromisso ou
objetivo social do governo ou política; institucionalidades que
lhe assegurem governança; e a organização e capacidade téc-
nica que, conjuntamente com a governança, viabilizam o tra-
balho em direção à consecução dos compromissos (Figura 1).
Figura 1 – Marco analítico de políticas públicas inspirado no

triângulo de Matus (2006)
Compromisso social
almejado
Competência e
Governança política
organização técnica
Fonte: Elaboração do autor.
Tal proposta parece significativamente próxima à ado-

tada por Gomide e Pires (2014) para orientar as análises de
diversas políticas e programas federais, no âmbito do proje-
to de pesquisa sobre Capacidades estatais para implementação de
políticas públicas. Segundo os autores, os objetivos colocados
pelas políticas públicas demandariam, para sua concretização
em resultados efetivos à população, arranjos institucionais
com capacidade técnico-administrativa e política de articu-
lação com diferentes agentes.
Fazendo uma releitura integradora dessas abordagens
metodológicas de análise de componentes sistêmicos de
políticas públicas, um governo, uma política pública ou um
projeto social deveria ser analisado, inicialmente, segundo
a viabilidade, consistência e razoabilidade de seu objetivo.
Políticas com metas ou objetivos muito ambiciosos, sem ade-
rência à agenda político-institucional vigente, pela polarização
política que poderiam gerar ou recursos financeiros ou técni-
cos que poderiam demandar, levam ao descrédito de sua via-
bilidade. Trata-se de políticas que ainda não encontraram seu
momento, pelas dificuldades de convergência de interesses ou
de centralidade na agenda de governo, isso explica boa parte do
insucesso da implementação de seus programas e ações.
A análise de suas estruturas e arranjos de governança, so-
bretudo em um contexto de articulação federativa e interseto-
rial de produção das políticas – como ocorre no Brasil – é outro
eixo investigativo que tal modelo propõe. Boas ideias, compro-
missos viáveis e inscritos na agenda de políticas acabam por
vezes não se viabilizando pelos desacertos de normatização,
pactuação ou condução da governança político-institucional
constituída. Mesmo democracias maduras precisam de lide-
ranças com capacidade de diálogo e convencimento. Políticas
e programas também necessitam de gestores que, na presen-
ça ou falta de regulamentos e pactos, consigam convencer ou
fazer ajustes que conduzam todos na direção desejada.
Por fim, compromissos viáveis, com instâncias afina-
das de governança precisam de estruturas organizacionais e
equipes técnicas adequadas para o sucesso da implementa-
ção da política e de seus resultados. Pelo que revela boa parte
das avaliações, a baixa efetividade das políticas e programas
decorre da falta de capacidade de gestão, de corpos técnicos
devidamente treinados, de financiamento de atividades ti-
das como não essenciais e infraestrutura adequada ao provi-
mento de serviços pelos diversos agentes públicos e privados
envolvidos. Analisar esses aspectos pode trazer elementos
importantes para explicar as dificuldades de consecução dos
objetivos almejados na política.
Em uma perspectiva mais instrumental para orienta-
ção de análises de políticas e programas sociais, propõe-se
que a análise de componentes sistêmicos se baseie em sete
dimensões analíticas, desdobradas dos três eixos investigativos
citados acima: o objetivo finalístico ou projeto institucional da
política; as instituições e desenho operacional que a sustenta;
os recursos orçamentários; os serviços e programas formulados
para dar concretude aos objetivos da política; os recursos hu-
manos envolvidos; os equipamentos físicos e instrumentos ne-
cessários; as instâncias de controle social existentes. Assim, um
plano de avaliação abrangente para uma dada política e seus
programas poderia se estruturar a partir do hexágono sistêmi-
co (Figura 2), cobrindo um ou mais vértices, sem descuidar da
relação de cada um com os demais, a coerência entre esses e os
objetivos da política, além da contribuição para a produção dos
resultados junto à sociedade, medida pela ampliação do acesso
aos programas, da qualidade dos serviços e resolutibilidade do
problema social que deu origem à política e seus programas.6 6 O conjunto de levantamentos
relacionados no Quadro 1
complementam-se nesse sentido de
prover informações periódicas sobre
os diferentes componentes aqui
FIGURA 2 – Marco ordenador de avaliações de componentes relacionados para análise sistêmica
sistêmicos de políticas e programas da política educacional.
Organização institucional Serviços e programas
Participação e Equipamentos
controle social Objetivos da política sociais e materiais
e programas
Recursos orçamentários Recursos humanos
Resultados efetivos junto à população-alvo da política, medidos

pelo acesso, qualidade e resolutibilidade de seus programas
Fonte: Elaboração do autor.
CONSIDERAÇÕES FINAIS
Ainda que se tenha acumulado um rico acervo sobre políticas
públicas no país, a produção de informações e conhecimen-
to “customizados” – ou aplicados – para uma utilização mais
imediata e efetiva no desenho, gestão e aprimoramento de
programas é um desafio ainda não plenamente trilhado no
Brasil. Se o primeiro caso – produção de informação e co-
nhecimento sobre políticas e programas – pode prescindir de
contatos mais diretos com técnicos e gestores envolvidos na
formulação e operação dos programas, a segunda condição
– produção para políticas e programas – requer identifica-
ção de demandas mais específicas de questões e problemas
a investigar, o que cobra estreita colaboração e intercâmbio
entre instituições governamentais e centros de pesquisa.
Afinal, formuladores de políticas, gestores e técnicos de
programas, nos escritórios de planejamento ou nos postos
de serviços, necessitam de informações e conhecimentos es-
pecíficos no tempo adequado à apropriação na decisão para
as diferentes etapas do ciclo de um programa. O marco con-
ceitual e metodológico aqui proposto pode contribuir para
orientar um plano de avaliação de políticas e programas so-
ciais com mais foco em aspectos centrais que dificultam a
implementação e conspiram contra a efetividade do gasto
social. Responderia assim mais prontamente às necessidades
de insumo informacional de técnicos e gestores de progra-
mas, mas também de formuladores de políticas.
Naturalmente, tão importante quanto produzir informa-
ção é se esforçar para que ela chegue aos destinatários que
podem fazer uso inteligente e efetivo da mesma. Todavia,
informação para o ciclo de gestão de políticas e programas é
complexa e requer esforço intenso de capacitação e forma-
ção, a fim de ser sistematizada em suportes adequados – tais
como documentos, sínteses, portais, produtos multimídia
etc. – e customizada para diferentes tipos de usuários nos
governos federal, estadual, municipal e nos equipamentos
sociais.
Considerando o atual volume de recursos aportados em
política social no Brasil, assim como o quantitativo necessário
de técnicos e gestores aos diferentes arranjos institucionais
e operativos dos programas, será por via da permanente ca-
pacitação e formação de quadros que a efetividade social do
gasto se concretizará nas próximas décadas.
REFERÊNCIAS
DRAIBE, S. M. Avaliação de implementação: esboço de uma metodologia de
trabalho em políticas públicas. In: BARREIRA, M. C.; CARVALHO, M. C. (Org.).
Tendências e perspectivas da avaliação de políticas e programas sociais. São Paulo:
IEE/PUC-SP, 1999. p. 13-42.
GARCIA, R. C. Subsídios para organizar avaliações da ação governamental. Brasília,

DF: Ipea, 2001. (Textos para Discussão; 776).
GOMIDE, A. A.; PIRES, R. R. C. Capacidades estatais e democracia: a

abordagem dos arranjos institucionais para análise de políticas públicas. In:
______. Capacidades estatais e democracia. Brasília, DF: Ipea, 2014. p. 15-29.
JANNUZZI, P. M. Avaliação de programas sociais no Brasil: repensando

práticas e metodologias das pesquisas avaliativas. Planejamento e Políticas
Públicas. Brasília, DF, v. 36, p. 251-275, 2011a.
______. Monitoramento analítico como ferramenta para aprimoramento

da gestão de programas sociais. Revista Brasileira de Monitoramento e Avaliação.
Brasília, DF, v. 1, n. 1, p. 38-66, 2011b.
______. Sistema de monitoramento e avaliação de programas sociais:

revisitando mitos e recolocando premissas para sua maior efetividade na
gestão. Revista Brasileira de Monitoramento e Avaliação, v. 1, p. 4-27, 2013a.
______. Verbete avaliação. In: BOULLOSA, R. F. (Org.). Dicionário para formação

em gestão social. Salvador: CIAGS, 2014, v. 1. p. 24-27.
______. Verbete indicador social. In: GIOVANNI, G.; NOGUEIRA, M. A. (Org.).

Dicionário de políticas públicas. São Paulo: IMESP, 2013b, v. 1. p. 951-953.
MACKAY, K. How to build M&E systems to support better government. Washington,

DC: Federal Reserve, 2007.
MATUS, C. O líder sem o Estado maior. São Paulo: Fundap, 2006.
MCDAVID, J.; HAWTHORN. L. Program evaluation and performance measurement: an

introduction to practice. Thousand Oaks, California, US: Sage, 2006.
PONTES, G. Instrumentos para monitoramento e avaliação das políticas e

programas do Ministério da Educação. Revista Brasileira de Monitoramento e
Avaliação, v. 1, p. 142-159, 2013.
RESENDE, L. M. Monitoramento e avaliação do Proinfância: uma proposta

metodológica. 2013. Dissertação (Mestrado Profissional) – Faculdade de
Educação da Universidade de Brasília, Brasília, DF, 2013.
ROSSI, P. H. et al. Evaluation: a systematic approach. Thousand Oaks,

California, US: Sage, 2004.
RUA, M. G. A avaliação no ciclo da gestão pública. Brasília, DF: Enap, 2004.
Apostila do curso de Especialização em Políticas Públicas da Educação com
ênfase em Monitoramento e Avaliação.
VILLANUEVA, L. F. A. Estudio introdutório. In: SARAVIA, E.; FERRAREZI, E.

(Org.). Políticas públicas: coletânea. Brasília, DF: Enap, 2006. p. 43-65.
WORTHERN, B. R. et al. Avaliação de programas: concepções e práticas.

São Paulo: Edusp; Gente, 2004.
PAULO DE MARTINO JANNUZZI

Professor da Escola Nacional de Ciências Estatísticas do Instituto
Brasileiro de Geografia e Estatística (IBGE). Colaborador da
Escola Nacional de Administração Pública (Enap) e pesquisador
do Conselho Nacional de Desenvolvimento Científico e
Tecnológico (CNPq). Secretário de Avaliação e Gestão de
Informação do Ministério de Desenvolvimento Social e
Combate à Fome (MDS)
paulo.jannuzzi@ibge.gov.br
Recebido em: JULHO 2014

Aprovado para publicação em: AGOSTO 2014

Texto 0 - Jannuzzi - 2014

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Texto 0 - Jannuzzi - 2014

Cargado por

Copyright:

Formatos disponibles

TEMA EM DESTAQUE

PALAVRAS-CHAVE AVALIAÇÃO • MONITORAMENTO •

PALABRAS CLAVE EVALUACIÓN • MONITOREO • PROGRAMAS

KEY WORDS EVALUATION • MONITORING • SOCIAL PROGRAMS •

As pesquisas de campo podem ser mais estruturadas, como

básicas, tais como: se os recursos financeiros e humanos es-

Censo Escolar da Educação Básica;

Fonte: Pontes (2013).

A AVALIAÇÃO DE PROGRAMAS COMO ETAPA DA

Figura 1 – Marco analítico de políticas públicas inspirado no

Tal proposta parece significativamente próxima à ado-

Organização institucional Serviços e programas

Recursos orçamentários Recursos humanos

Resultados efetivos junto à população-alvo da política, medidos

GARCIA, R. C. Subsídios para organizar avaliações da ação governamental. Brasília,

GOMIDE, A. A.; PIRES, R. R. C. Capacidades estatais e democracia: a

JANNUZZI, P. M. Avaliação de programas sociais no Brasil: repensando

______. Monitoramento analítico como ferramenta para aprimoramento

______. Sistema de monitoramento e avaliação de programas sociais:

______. Verbete avaliação. In: BOULLOSA, R. F. (Org.). Dicionário para formação

______. Verbete indicador social. In: GIOVANNI, G.; NOGUEIRA, M. A. (Org.).

MACKAY, K. How to build M&E systems to support better government. Washington,

MATUS, C. O líder sem o Estado maior. São Paulo: Fundap, 2006.

MCDAVID, J.; HAWTHORN. L. Program evaluation and performance measurement: an

PONTES, G. Instrumentos para monitoramento e avaliação das políticas e

RESENDE, L. M. Monitoramento e avaliação do Proinfância: uma proposta

ROSSI, P. H. et al. Evaluation: a systematic approach. Thousand Oaks,

VILLANUEVA, L. F. A. Estudio introdutório. In: SARAVIA, E.; FERRAREZI, E.

WORTHERN, B. R. et al. Avaliação de programas: concepções e práticas.

PAULO DE MARTINO JANNUZZI

Recebido em: JULHO 2014

También podría gustarte