Documentos de Académico
Documentos de Profesional
Documentos de Cultura
AVALIAÇÃO
Dois dos principais métodos de avaliação são aqueles conhecidos como (1)Modelo
orientado pela teoria ou Teoria do Programa, que compara os resultados diretos e
indiretos de uma intervenção com os pressupostos teóricos que orientaram a formulação
da mesma. Trata-se, na verdade, do teste de uma hipótese causal que orienta a
intervenção na realidade. (2) Modelo de análise de discrepâncias ou Teoria da
Implementação, que compara o desempenho alcançado com os padrões estabelecidos
para insumos, processos e resultados. A discrepância refere-se às diferenças entre a
situação real prévia (linha de base) e o padrão; e entre a situação modificada (resultado) e
o padrão.
Estas duas metodologias, porém, tem uma importante limitação: focalizam estritamente o
grau de consecução dos objetivos do projeto ou programa, quando é possível argumentar
que é possível obter mais informações sobre o desempenho dos projetos ou programas a
partir da combinação de diversos critérios e da adoção de uma perspectiva que focaliza
não somente resultados, mas o ciclo do Programa.
A idéia de ciclo do Programa não implica, aqui, supor uma sucessão idealizada de fases
estanques na realização das políticas públicas. Já se tem consolidado o conhecimento de
que isso representa uma simplificação analítica já que, na realidade, as supostas
“fases”deste “ciclo” se distribuem de maneira irregular e errática, se superpondo e se
interpenetrando. Em termos de monitoramento e avaliação, porém, a idéia do ciclo do
Programa favorece a adoção de uma perspectiva sistêmica, na qual o monitoramento e a
avaliação cumprem a importante função de ferramentas de gestão.
A avaliação interna é aquela realizada por uma equipe que tem participação direta na
execução de um programa ou projeto. A avaliação interna é diferente de “auto-
avaliação”, que consiste em que a pessoa ou pessoas que avaliam tenham como foco o
seu próprio desempenho. Por exemplo, na avaliação do PPA, quando gerentes avaliam as
ações conduzidas por coordenadores de ação sob seu comando, isso é avaliação interna,
mas não é auto-avaliação. A avaliação externa é aquela cujos realizadores não tem
nenhum envolvimento direto com a execução do programa ou projeto. A avaliação mista
consiste em uma metodologia de avaliação, na qual uma equipe interna e uma equipe
externa desenham juntas o projeto de avaliação e todos os instrumentos; coletam e
analisam os dados separadamente e formulam seus julgamentos e conclusões. Então se
juntam para comparar e discutir os resultados, até chegar a um termo comum.
1-Eficácia: significa realizar aquilo que foi pretendido. Suponha-se, por exemplo, que
uma ação de governo é uma campanha de vacinação para 50000 crianças. A eficácia será
dada pelo numero de crianças vacinadas. As perguntas, então, são: os insumos foram
disponibilizados? Estiveram disponíveis a tempo? Foram suficientes para gerar os outputs
pretendidos?
2-Eficiência: significa realizar aquilo que foi pretendido, de acordo com a estratégia
selecionada, com os custos estabelecidos ou menos. A eficiência é um critério que remete
à racionalidade dos processos, não se refere somente aos resultados, mas às relações entre
meios e fins. As perguntas são: Os insumos foram totalmente utilizados para os fins
pretendidos? Houve insumos não utilizados? Algum dos insumos foi usado de maneira
que não contribuiu para os resultados? A escala de utilização dos recursos foi apropriada,
excessiva ou insuficiente? Houve atrasos?Erros?Haveria algum método de obter o mesmo
resultado com custo e prazo menor? Houve perdas, desperdícios? Houve atrasos na
disponibilização dos insumos? Houve inadequação de quantidade ou qualidade dos
insumos? Houve erros de operação dos processos ou de gestão dos recursos e atividades?
4-Impacto: significa que, além dos efeitos, houve conseqüências indiretas da ação
realizada. Os impactos geralmente não são imediatos. Podem ser previstos e imprevistos,
positivos e negativos. Os impactos são mais abrangentes que os efeitos, freqüentemente
atingindo áreas não diretamente ligadas à área da ação. Para avaliar impactos levantam-
se questões tais como: Quais as conseqüências positivas e negativas que o projeto trouxe?
Quais as conseqüências da sua implementação na sua vizinhança setorial ou
institucional? Que mudanças foram geradas na vida da população-alvo e de seus grupos
vizinhos?
Método de Monitoramento:
Logo no início da implementação (ou antes, se for possível) cada programa ou projeto
deve estabelecer um sistema de monitoramento que contemple os seguintes pontos:
3-Quem será responsável por juntar dados dispersos, agrega-los. Com que freqüência
isso será feito e que métodos serão usados na análise dos dados.
Além disso, também deve ser examinado o comportamento dos pressupostos e dos pré-
requisitos estabelecidos na MML.
Avaliação:
Critério: Impacto
Questões de Avaliação Critérios/Medidas Dados Fontes Métodos de
para os necessários Coleta
Questões Questões Resultados
Principais Auxiliares Obtidos
Em que medida o As tecnologias Comparar a Numero de Entrevistas,
objetivo global do
foram estabelecidas informação recém pessoas literatura,
projeto foi e mantidas na obtida com os treinadas, documentos.
realizado desde aagencia relatórios numero de
sua conclusão? implementadora? anteriores atividades de
Houve ganhos no treinamento,
planejamento, etc
formulação de
alternativas,
implementação,
operação e
manutenção das
atividades?
O projeto As pessoas treinadas Comparar a Treinamentos Entrevistas,
contribuiu para na equipe são informação atual realizados questionários
fortalecer a suficientes para as com o Relatório Mudanças de
capacidade atividades de Final tecnologia
institucional da planejamento e
agencia desenho?
implementadora? Existe recrutamento
adicional de
pessoal?
Existem orçamentos
adicionais para
fortalecer a agencia
?
Existem Em que medida as Nível de Agencias Entrevistas e
mudanças funções da agencia satisfação das questionários
positivas ou implementadora Descrever o agências
negativas foram resultado da envolvidas.
resultantes da aperfeiçoadas?Quais discussão com as
intervenção do os efeitos positivos agencias
projeto? e negativos do implementadoras e
Projeto?Quais ex-treinandos
foram os ganhos
obtidos com o
projeto?
Quanto o projeto Os usuários se Nível de Entrevistas
contribuiu para o mostram satisfeitos Descrever o satisfação dos
desenvolvimento com os serviços resultado da usuários com
de base de dados oferecidos pelo discussão com os serviços
para pesquisa e projeto? Foi usuários e prestados
desenvolvimento? disponibilizada autoridades
infra-estrutura para
realizar as tarefas do
projeto com
sucesso?
Houve fatores Houve mudanças Alocação de Entrevistas,
externos que nas políticas Descrever o recursos documentos
afetaram a governamentais que resultado da orçamentários
consecução do afetaram o alcance discussão com
objetivo superior? dos objetivos do autoridades Política
projeto?Algum fator governamental
econômico atrasou o
trabalho dos
prestadores de
serviços? Após o
encerramento do
projeto que eventos
influenciaram no
alcance dos
objetivos?