CONCEPTOS BSICOS PARA

LA EVALUACIN DE LAS POLTICAS PBLICAS.

ENAP Uruguay
Montevideo
Noviembre, 2009
Marisa Merino
Evaluadora Especializada
mluisa.merino@aeval.es

Objetivos de la sesin

Aproximacin al Lenguaje evaluativo

La evaluacin como disciplina:
La evaluacin como proceso institucional
Examinando los atributos paso a paso
La lgica de la evaluacin
Tipologas
Objeto a evaluar: polticas pblicas

Anexos: Recopilacin de definiciones
Diferencias evaluacin tcnicas
afines.
Esquema del Proceso evaluacin

El valor de las palabras en evaluacin
Desde el encargo
Hasta el informe final

Conceptualmente el mundo de la evaluacin es
una Babel que debemos mejorar entre todos
Necesidad de distinguir en evaluacin entre:
lenguaje comn y lenguaje profesional
RAE
Evaluar (del lat.valer) significa
estimar , calcular el valor de algo. El
Diccionario de la RAE indica que
evaluacin consiste en la accin y efecto
de sealar el valor de una cosa.


A su vez, en el Diccionario de Mara Moliner
encontramos que evaluar consiste en
atribuir cierto valor a algo.


Mltiples acepciones

Hablamos de:

Evaluacin de una situacin
Evaluacin del desempeo o del rendimiento
Evaluacin de sistemas
Evaluacin de los alumnos (mbito educativo)
Evaluacin econmica
Evaluacin de proyectos de ayuda al desarrollo
Evaluacin de fondos europeos
Evaluacin de gobernanza
Evaluaciones de Programas (por ej. de
fortalecimiento institucional (BID)
Evaluacin de calidad
Evaluacin de polticas pblicas




La disciplina de evaluacin proviene de los pases
anglosajones, donde aparece bajo la rbrica de dos
acepciones sinnimas: assessment y evaluation que
en la literatura especializada tiene usos diferentes:
assessment se utiliza en general referido a personas y
evaluation, referido a intervenciones, programas,
proyectos

En espaol no se han mantenido estas distinciones
de la lengua inglesa y se ha impuesto, con carcter
general, tanto para personas como para cosas, el
trmino evaluacin.
La evaluacin como disciplina
El legado acadmico

La evaluacin es un instrumento integrado en el
anlisis de las polticas pblicas de carcter
multidisciplinar y de reciente especializacin
profesional que tiene por objeto apreciar la eficacia de
los programas o polticas pblicas,
sobre la accin pblica:qu es lo que pasa?,
sobre preocupaciones normativas se ha hecho bien?
sobre preocupaciones instrumentales cmo hacerlo
mejor?
Ligada al buen funcionamiento de las
administraciones y servicios pblicos,
Compara sus resultados e impactos con los objetivos
asignados y los medios puestos a su disposicin,
emitiendo un juicio de valor.

Fundamentos acadmicos de la evaluacin
La prctica de la evaluacin incluye actividades
tcnicas de observacin, de medida, de anlisis, pero no
se reduce slo a eso. Se apoya en el mtodo cientfico
pero no es una disciplina cientfica en el sentido estricto
del trmino, sino una actividad institucional con
vocacin de integrarse en la gestin pblica y en el
funcionamiento del sistema poltico.

Naci como ciencia de la medicin de los efectos de la
accin pblica y estaba ligada a enfoques cuantitativos.

Posteriormente se va extendiendo a mltiples
disciplinas de las ciencias sociales: Pedagoga,
Economa, Ciencia Poltica y de la Administracin (cada
campo disciplinar contribuye con su propio acerbo) y se
van incluyendo nfoques cualititativos.
Actualidad triangulacin.
Cules son las dimensiones de ese
campo profesional ?
1. Aspectos epistemolgicos y metodolgicos: distincin
de los objetos de evaluacin, caractersticas y
peculiaridades de la prctica, su historia, sus
metodologas y herramientas.
2. Caractersticas y destrezas propias de la prctica en s.
3. Dimensin deontolgica: identificacin y seleccin de
los valores a utilizar en evaluacin.
4. Conocimiento de los aspectos terico-conceptuales de
los programas y polticas de las que se ocupa. Teoras de
conocimiento, estado de la cuestin, origen y puesta en
marcha de las polticas pblicas, hallazgos, resultados,
benchmarking, etc.
5. Gestin del conocimiento en materia evaluativa.
Acumulacin, explotacin y uso de los conocimientos que
se van generando en ese campo.
Qu es la evaluacin?
debe fundamentarse en la medicin

debe ser el resultado de un proceso cognitivo

debe permitir conformar una opinin

Es un proceso cientfico que debe dar respuesta a los
tres interrogantes bsicos de la investigacin cientfica
Esencia Conocimiento Mtodo
QU QUIN
QU

QUIN
CMO
Los atributos de la evaluacin profesional


Se auxilia en la caja de herramienta de las ciencias
sociales, pero, tambin, cada vez ms, en las de
campos como la planificacin estratgica y otras
herramientas de mejora de la gestin pblica.
La evaluacin implica siempre un juicio de valor
sobre polticas o acciones pblicas, pero un juicio
elaborado a travs de un proceso cognitivo riguroso,
que implica la movilizacin de un aparato crtico coherente
y lo ms pertinente posible.

Su particularidad est, precisamente, en ser un
proceso formalizado y respetuoso con una deontologa
particular que la distingue de trabajos afines.

Investigacin
Seguimiento o monitoreo
Evaluacin de rendimiento de los destinatari@s
Memoria
Observatorio
Auditora
Control de gestin o contable.
Informes de expertos o de opinin
(Para ver estas distinciones consultar diapositivas incluidas en
Anexos)
La evaluacin no es :
La importancia de las definiciones

Existe un problema en el campo profesional a la hora
de entender qu es evaluacin: Todos evaluamos

Mltiples definiciones que responden a diferentes enfoques,
mltiples instituciones que hacen evaluacin y mltiples objetos
de evaluacin distintos.

La evaluacin, dice Vedung (1996), es un imn semntico
gustavoepazd@hotmail.com; gustavoepazd@yahoo.com

La evaluacin es una palabra elstica que se estira para
abarcar juicios de muy distinto tipo (Carol Weiss. Evaluation
Research, 1972).

(Recopilacin de definiciones y significado en Anexos)
Cul sera la definicin de los
participantes?







La evaluacin de polticas pblicas se concibe como un
proceso institucional que deber adoptarse en todas las fases
de la intervencin pblica, aplicando mtodos sistemticos
y rigurosos de recogida de informacin, con el nfasis puesto
en la comprensin integral de relacin con los objetivos
trazados, a fin de servir, tanto al aprendizaje y a la mejora
gerencial de los servicios pblicos como a la estrategia sobre
decisiones futuras, fundamentndose este proceso sobre el
juicio de valor respecto a la accin pblica evaluada y
basndose en criterios establecidos por los principales actores
implicados, con la finalidad ltima de mejorar la sociedad
y rendir cuenta de la accin pblica a la ciudadana.
Propuesta de definicin para trabajar en
la sesin
Proceso institucional
Ciclo completo de la intervencin pblica (ex ante, durante, ex
post)
Aplicacin de mtodos sistemticos y rigurosos de recogida de
informacin.
Comprensin integral: Teora de las Polticas/Programas
Implementacin
Resultados
Impactos
En relacin con objetivos trazados.
Servir de aprendizaje y mejora gerencial
Herramienta estratgica para decisiones futuras
Fundamentada en un juicio de valor
Basado en criterios establecidos previamente
Intervencin de los actores implicados
Finalidad ltima: Mejorar la sociedad
Rendir cuenta de la accin pblica. (accountability)

Atributos a examinar
Proceso Institucional
Paradigmas, perspectivas y enfoques y
corrientes actuales
Historia de la evaluacin
La evaluacin ha ido conquistando el nivel poltico y gestor
de la mayor parte de las Instituciones Internacionales, aunque
con modelos muy diversos en cada una de ellas.

(Consultar: web de la Agencia. www. aeval. es)
Conviene al evaluador conocer :
Las Polticas y programas que se evalan son
resultado de decisiones polticas.

La evaluacin se hace para alimentar el proceso
de toma de decisiones

La evaluacin en s misma, por su naturaleza,
adopta una postura poltica
La evaluacin:
Carcter de mejora gerencial
Carcter poltico


Carcter prctico:

til: pertinente y fcilmente aplicable
Prctica: debe estar orientada a la accin

La evaluacin debe ser
El arco de la EVALUACIN



Evaluacin
nivel
reglamentario
Evaluacin
nivel
gerencial
Evaluacin
Nivel
Poltico-
Democratico
-
+
Ref. Eric Monnier.
El arco de la evaluacin
La evaluacin dentro del ciclo de
intervencin de las polticas pblicas :

Mximos y mnimos

Hacia la evaluacin integral


Evaluacin ex ante
Durante
Evaluacin ex post
Las tendencias actuales y el propsito de la Agencia es que
la evaluacin est incluida en todos los momentos del ciclo
de intervencin pblica
LA EVALUACIN
EN EL CICLO DE INTERVENCIN PBLICA
La evaluacin puede referirse tanto a los procesos de diseo, como de
implementacin, desarrollo y finalizacin de una intervencin pblica.







PROBLEMAS
NECESIDADES
OBJETIVOS
INSTRUMENTOS
IMPLEMENTACIN
RESULTADOS
INTERMEDIOS
RESULTADOS
FINALES
IMPACTOS
DESTINATARIOS
INTERVENCIN
PBLICA
SOCIEDAD
Ev.
DIAGNSTICO
DISEO
Ev.
IMPLEMENTACIN
Ev.
RESULTADOS
Ev.
IMPACTO
Ex ante Intermedia Ex post
Ev. IMPACTO
NORMATIVO
PLANIFICACIN IMPLEMENTACIN RESULTADOS IMPACTO
IMPACTOS
RESULTADOS
PROCESOS
TEORA DE LAS POLTCAS Y PROGRAMAS
PBLICOS

Comprensin integral
* Diferencia con tcnicas afines ms parciales
ESTRATEGIA Y OPERATIVA
En base a unos objetivos
En base a unos objetivos

-Me podras indicar hacia dnde tengo que ir desde aqu?- pregunt
Alicia.
-- Eso depende de adnde quieras llegar - contest el Gato.
-- A mi no me importa demasiado a dnde... empez a decir Alicia.
-- En este caso da igual a donde vayas -interrumpi el Gato.
--... Siempre que llegue a alguna parte termin Alicia, a modo de
explicacin.
--Oh!, siempre llegars a alguna parte dijo el Gato- si caminas lo
suficiente.
(Lewis Carrol: Alicia en el pas de las
maravillas)

Mtodo
Preguntas
Hiptesis
Criterios + Estrategias
Indicadores

Metodologa
Y Herramientas
La lgica de la evaluacin
DISEO
DE LA EVALUACIN
BASE DEL TRABAJO DE EVALUACIN (1)
Dos modos de investigacin: anlisis terico y anlisis emprico.
Anlisis de la lgica de la intervencin que tiene por pretensin
profundizar en los fundamentos de la intervencin y constatar los
resultados que tena previstos a fin de contrastarlos con la situacin
actual
La lgica de la evaluacin: un sistema de razonamiento lgico
basado en interrogantes e hiptesis que nos ir proporcionando mayor
conocimiento de la intervencin con el fin de constatar las desviaciones
que se hayan producido y los resultados actuales.
Definicin de criterios de valor e indicadores que midan los
objetivos. Para establecer un juicio de valor sobre la intervencin
evaluada se debern establecer unos referentes, asimismo las
cuestiones que se quieran explorar debern traducirse en indicadores
para que puedan medirse.
Negociacin con los principales actores implicados para validar los
criterios de valor y
las necesidades informativas que requieran de la evaluacin
Seleccin de metodologa y herramientas. Estos aspectos deber
ponderarse en relacin con el objeto de estudio, tiempos de entrega de
la evaluacin y recursos.
BASE DEL TRABAJO DE EVALUACIN (2)
Observacin in situ. Es el conocido trabajo de campo en el que los
evaluadores, frente al trabajo de estudio que pueden realizar en el
despacho, deben conocer la intervencin en su lugar de origen y, de ser
preciso, en su desarrollo da a da.
Recopilacin rigurosa y sistemtica de los datos y su tratamiento
sometidos a criterios de validez. Esta es una fase sencilla pero que
debe llevarse a cabo con el mayor cuidado para que la informacin
recogida tenga validez y proporcione credibilidad.
Anlisis e interpretacin de datos. Esta fase permite analizar,
contrastar los datos con otros trabajos e interpretar que no manipular-
los datos obtenidos en relacin a la bsqueda que se plantea la
evaluacin.
Redaccin de conclusiones y recomendaciones: Informe. En
funcin de todo lo anterior, se redactarn las conclusiones y bien con
trabajos comparativos o con la mayor capacitacin de los evaluadores se
propondrn las recomendaciones que sean ms viables.
Preguntas e Hiptesis.
INTERROGANTES
Tipos de preguntas:

- Descriptivas: Qu es?
- Normativas: Cmo es respecto
a cmo deba ser?
- Causa-efecto: Cmo ha
cambiado algo a consecuencia de
la intervencin del programa?
HIPTESIS
Tipos de hiptesis:
- - Hiptesis causal:
- - Hiptesis de
- intervencin:
-
- - Hiptesis de accin.
No se trata de un proceso lineal sino iterativo, de aproxima-
ciones sucesivas de aciertos y errores.
Conoc. acumulativo
La pregunta es la unidad bsica de evaluacin
PREGUNTAS
El sistema con el que se ir creando la estructura lgica
de la evaluacin se basar en una serie de interrogantes e
hiptesis que permitirn hacer operativa la puesta en marcha
de una evaluacin.

Las preguntas sirven para concentrar el trabajo de evaluacin
en una serie de puntos clave a fin de permitir una informacin
ms acotada
Esta forma de razonamiento acta como un sistema circulatorio
que da vida a todo el proceso de evaluacin. En definitiva, se trata
de concretar el problema a investigar/evaluar hasta hacerlo
manejable. Y esto slo se hace a travs de la especificacin de las
preguntas.

Criterios de evaluacin
Son importantes porque determinan los referentes tcnicos
para establecer el juicio de valor.

Son variables que enfocan la evaluacin en un sentido.
Qu es lo que interesa averiguar?
Las preguntas se corresponden con criterios de valor
Los criterios son los referentes con respecto a los que
vamos a evaluar
Referentes: Estndar
Eficacia
Cobertura
Eficiencia
Pertinencia
Viabilidad
Otros: Sostenibilidad
Criterios de evaluacin (1)

EFICACIA EFICIENCIA
RACIONALIDAD
Y COHERENCIA
TRANSPAREN-
CIA
FLEXIBILIDAD
LEGITIMIDAD
CALIDAD
TCNICA/GESTIN
como instrumento para lograr mayor calidad
en la gestin pblica
Criterios de inters en el nivel gestor
Criterios de evaluacin (1)
Criterios en el nivel de polticas = nivel tecnico
+ Criterios de Gobernanza
APERTURA PARTICIPACIN

COHERENCIA
TRANSPAREN-
CIA
RESPONSABILIDAD
EFICACIA
CALIDAD
DEMOCRTICA
como instrumento para lograr mayor calidad
democrtica
Fundamento en el juicio de valor(1)
SIN JUICIO DE VALOR NO HAY EVALUCIN

ES EL EJE MEDULAR QUE LE DA TODO SU SENTIDO
Un juicio elaborado a travs de un proceso cognitivo riguroso, que implica
la movilizacin de un aparato crtico coherente y lo ms pertinente posible
Su originalidad est, precisamente, en ser un proceso
formalizado y respetuoso con una deontologa particular
que la distingue de trabajos afines.

No se basa en un lgica recriminadora o sancionadora,
sino en la propuesta de alternativas de mejora

Se basa en una lgica relacional y socializadora.
Fundamento en el juicio de valor (2)
Cuatro Niveles de anlisis:
Interpretaciones: explicaciones sobre los hechos y
datos.
Juicios: Valoraciones acerca de los hallazgos y sus
interpretaciones
Recomendaciones: sugerencias sobre posibles lneas
de accin. (Vnculo formal entre una evaluacin y su uso)
Hallazgos empricos. Hechos datos e informacin que
se recoge.
Conclusiones sobre la evaluacin en el
lenguaje profesional ?
El nfasis metodolgico propio de la evaluacin es la
diferencia con otros instrumentos de informacin y
valoracin de los que se sirven los decisores pblicos

Lo relevante de la evaluacin es construir sus juicios
apoyndose en una metodologa que ofrezca las mayores
garantas de credibilidad.

El proceso va encaminado a satisfacer las necesidades
informativas garantizando la fiabilidad de los datos, la
solidez de los anlisis, la credibilidad de los hallazgos, la
validez de las conclusiones y la utilidad de sus
recomendaciones.
TIPOLOGAS DE EVALUACIN
TIPOS DE EVALUACIN (1)
Segn el Paradigma
Ev de Objetivos
Ev Pluralista
Segn el Mtodo
Ev.Analtica
Ev. Descriptiva
Segn el propsito
Ev. Formativa
Ev.Recapitulativa
TIPOS DE EVALUACIN (2)
Segn el momento
Ev. Ex ante
Ev. Ex post
Segn los evaluadores
Externa
Mixta
Segn el propsito
Ev. Formativa
Ev.Recapitulativa
Ev. Durante/
Intermedia
Interna
TIPOS DE EVALUACIN (3)
Segn las fases o
el contenido
Ev. de necesidades
Ev. deEvaluabilidad
Ev de Implementacin
Ev de cobertura
Ev de Resultados Ev.Impactos
Ev. Conceptual
o de Diseo
Evaluacin de Objetivos
Evaluacin pluralista: Pluralidad de actores
Evaluacin participativa.
- Adems de pluralidad de actores, se crea un espacio para
negociar y atender las necesidades informativas de cada uno.
- Es muy importante ponerse de acuerdo sobre el valor de las
palabras.
- Laboratorio de pruebas para medir la capacidad negociadora y
aptitudes del evaluador.
- Se pactan los criterios de valor y eso garantiza que los juicios
sean ms aceptados
Segn el paradigma

Formativa: Se hace con la intencin de mejorar sobre la
marcha el diseo y la ejecucin del programa a evaluar.
Sumativa (Recapitulativa): Se hace una
recapitulacin del programa una vez implantado para
ofrecer una valoracin global y final del mismo.
Segn el propsito

Ex ante: Se realiza antes de que la intervencin se
ponga en marcha
Durante o intermedia: Se realiza durante la puesta en
marcha de la intervencin, por lo general, antes de su
implementacin final.
Ex post: Se realiza despus que el programa ya se ha
ejecutado
Segn el momento
en el que se encuentre la intervencin
Interna: Se lleva a cabo por parte de los responsables o
profesionales del programa o por una unidad interna de la
entidad que financia, planifica y/ o ejecuta el programa,
siendo en realidad una (auto) evaluacin.
Externa : Se realiza por parte de alguien ajeno al
progrma, y que no tiene nada que ver ni con su
financiacin,ni con su planificacin ni con su ejecucin.
Mixta: Se realiza por equipos internos y externos.
Segn los evaluadores
Diseo: Analiza y valora el diseo y conceptualizacin del
programa/poltica. Valora la coherencia, racionalidad y
pertinencia de la intervencin.
Evaluacin de Implementacin (Proceso): Analiza y
valora la puesta en prctica del programa/poltica, es decir
cmo se ejecuta , pone en prctica y funciona. Esta
evaluacin puede incluir o ser sustituida por la evaluacin de
procesos.
Evalucin de Resultados:
- De outputs o productos: Analiza y valora la calidad de lo
que produce un programa (actuaciones, actividades,
materiales, et).
- De outcomes o efectos: Analiza y valora los efectos que
son producidos por los outpus
Segn el contenido
Retroalimentacin y mejora gerencial
Control de responsabilidades y rendicin de cuenta
(accountability)
Herramienta estratgica para la toma de decisiones futuras
(enligtenment)

Utilidad de la evaluacin


Las polticas pblicas son una concatenacin de
actividades, decisiones y medidas, coherentes por lo menos
en su intencin, tomadas por los actores del sistema poltico-
administrativo de un pas con la finalidad de resolver un
problema colectivo. (Larrue, 2000). Alcance genrico
Los programas son elementos instrumentales en los que
se concretan las polticas pblicas.
Los proyectos son elementos an ms concretos del
despliegue de las polticas.

No siempre es fcil diferenciar entre grandes Programas y
Polticas y pequeos Programas y Proyectos.

Desde su origen, particularmente en el mundo anglosajn,
la evaluacin ha estado ligada a Programas.
Objetos a evaluar
El objeto polticas pblicas
Una poltica pblica se define como:

Una serie de decisiones o de acciones, intencionalmente
coherentes, tomadas por diferentes actores, pblicos y a veces
no pblicos cuyos recursos, nexos institucionales e intereses
varan- a fin de resolver de manera puntual un problema
polticamente definido como colectivo. Este conjunto de
decisiones y acciones da lugar a actos formales, con un grado de
obligatoriedad variable, tendentes a modificar la conducta de
grupos sociales que, se supone, originaron el problema colectivo
a resolver (grupos-objetivo), en el inters de grupos sociales que
padecen los efectos negativos del problema en cuestin
(beneficiarios finales)

(J.Subirats. y alt., 2008)
Lo complejo
El ncleo esencial de las polticas pblicas: lo complejo.
El nivel macro de la accin pblica apunta al ms alto grado de
complejidad del objeto de estudio evaluativo, evidenciando que el
ncleo esencial de la evaluacin de las polticas pblicas se
enmarca en el orden de lo complejo[1], y no slo de lo complejo
ordinario, sino de lo complejo emergente[2] que no que no deja
de generarse a gran velocidad.
Complejo es lo que est tejido en conjunto. De constituyentes heterogneos,
inseparablemente asociados. La complejidad es el tejido de acontecimientos,
interacciones, retroacciones, determinaciones, azares, que constituyen nuestro mundo
fenomnico. Y esa es, en la entraa de las polticas pblicas y esa la dificultad de
evaluar sus resultados netos y los impactos.

Los sistemas complejos emergentes son aquellos que no pueden ser explicados
totalmente de una forma mecnica y funcional. En ellos, alguno de los elementos
presentan caractersticas que no se encuentran en los sistemas ordinarios complejos
como individualidad, novedad, reflexividad, efectos a largo plazo, incertidumbre e
ignorancia, irreversibilidad de las acciones. El comportamiento de estos sistemas suele
implicar decisiones urgentes y presentar un nmero elevado de agentes involucrados.
Intervenciones y servicios pblicos.

D
i
s
e

o

I
m
p
l
e
m
e
n
t
a
c
i

n

Polticas/Programas
Servicios/Organizaciones
R
e
s
u
l
t
a
d
o
s

Diseo-Implementacin-Resultados
Diseo-Implementacin-Resultados
E
v
a
l
u
a
c
i

n

Preguntas
Criterios de
evaluacin
Preguntas Criterios estandarizados
Determinacin de niveles de rendimiento aceptables: estndares
Aplicacin de herramientas seleccionadas
Medicin
Anlisis e interpretacin
Juicio de Valor: Conclusiones
y recomendaciones
Valoracin: Puntos fuertes
y reas de mejora
Informe final de evaluacin
Metodologa
Metodologa: Modelos de referencia (EFQM,
EVAM, CAF......)
Enfoque Macro
Enfoque Micro
ANEXOS

Definiciones de evaluacin
Fichas Diferencias evaluacin
tcnicas a fines.


ANEXO 1

Recopilacin de definiciones de evaluacin


Definicion y significado (1)

1950. Tyler:( desde la perspectiva educativa), seala que la evaluacin de
programas es el proceso de deteminar en qu medida los objetivos de un
programa se han alcanzado
Centrada en los objetivos. Responde a la pregunta Qu evaluar?

1967. Scriven: Evaluar supone la estimacin del mrito de un objeto
Sucinta definicin que tiene el mrito de captar el significado bsico y natural
del trmino: diferenciar lo valioso de lo que no lo es. Deja sin aclarar tres
extremos: Qu supone mrito o valor?, Cmo habra de realizarse la
estimacin y, para qu habra de hacerse?

1971. Franco: Evaluar es fijar el valor de una cosa, para hacerlo se requiere
de un procedimiento mediante el cual se compara aquello a evaluar respecto
de un criterio o patrn determinado
Introduce importantes novedades respecto a las anteriores: Cmo hacerlo y
en base a qu criterios de valor?

Tiene en cuenta, el continuum de la accin, el mtodo, el juicio de valor, los diferentes
objetos de estudio, el nfasis en los resultados y la consideracin de la participacin de los
actores implicados.
Definicin y significado (2)

Tiene en cuenta, el continuum de la accin, el mtodo, el juicio de
valor, los diferentes objetos de estudio, el nfasis en los resultados
y la consideracin de la participacin de los actores implicados.

1980. Rutman: Supone el uso del mtodo cientfico en la medida de la
implementacin y de los resultados de polticas y programas.
Reconocimiento del mtodo cientfico en la gestin de resultados. No
considera su aplicacin en la fase de planificacin. Finalidad gerencial.

1982. Weiss: Evaluar es comparar los efectos de un programa con las
metas que se propuso alcanzar a fin de contribuir a la toma de
decisiones subsiguientes acerca del mismo y para mejorar as la
programacin futura. Utilidad estratgica para los decisores
pblicos.
1972. Ban: Evaluar es formar un juicio acerca de una accin o de la
concatenacin de acciones para establecer si su concepcin y desarrollo
corresponden a los objetivos deseados. La evaluacin en el mbito pblico,
implica la aplicacin de procedimientos sistemticos y rigurosos de recogida
de datos y de anlisis, pero diferencindose de sta en que debe emitirse
un juicio de valor sobre el objeto que se est evaluando, bien sea un
programa, una poltica determinada, una organizacin, sin olvidarnos que se
pone especial nfasis en los resultados y en la participacin de las partes
interesadas.
Tiene en cuenta, el continuum de la accin, el mtodo, el juicio de valor,
los diferentes objetos de estudio, el nfasis en los resultados y la
consideracin de la participacin de los actores implicados.
Definicin y significado (3)
OCDE-CAD
Apreciacin sistemtica y objetiva de un proyecto, programa o poltica en curso o
concluido, de su diseo, su puesta en prctica y sus resultados.
El objetivo es determinar la pertinencia y el logro de los objetivos, as como la
eficiencia, la eficacia, el impacto y la sostenibilidad para el desarrollo.
Una evaluacin deber proporcionar informacin creble y til, que permita
incorporar las enseanzas aprendidas en el proceso de toma de decisiones de
beneficiarios y donantes.
El trmino evaluacin designa tambin un proceso sistemtico y objetivo posible
por el cual se determina el valor y el alcance de una accin de desarrollo planeada,
en curso o concluida.

Dg Budget
Juicio sobre las intervenciones segn sus resultados, impactos y necesidades que
buscan satisfacer (The Communication on Evaluation: SEC (2000) 1051)
Los propsitos principales son los siguientes:
Contribuir a la concepcin de las intervenciones y aportar los elementos necesarios
para la definicin de prioridades polticas.
Velar por una utilizacin eficiente de los recursos.
Mejorar la calidad de la intervencin
Dar cuenta de los resultados de la intervencin (accountability)
Definicin y significado (4)
ANEXO 2

Diferencias de evaluacin y tcnicas afines


Diferencias con otras tcnicas afines
El seguimiento o monitoreo se trata de una actividad
sobre el progreso de los elementos de una poltica
o programa para obtener datos sobre su marcha en base
a un sistema de indicadores.

Es un sistema continuado en el tiempo y no puntual como
suele ser la evaluacin.
En general se realiza internamente por los gestores del
proyecto.
Tiene un carcter informativo y menos holstico que la
evaluacin.
Diferencias con otras tcnicas afines
La investigacin
La evaluacin difiere de otras modalidades de investigacin social,
no tanto en lo que se refiere a los diseos de investigacin y
mtodos de recopilacin de datos empleados, sino por los
problemas que aborda.
Los investigadores suelen indagar por iniciativa propia, sin un
cometido externo particular, los evaluadores, al contrario, trabajan
por encargo y para un fin prctico inminente.
Los plazos de tiempo, la retroinformacin y la utilizacin de los
resultados son mucho ms cruciales en evaluacin que en la
investigacin acadmica.
Diferencia fundamental con evaluacin: el juicio de valor.
Diferencias con otras tcnicas afines
La inspeccin: engloba varias actividades, ejercidas separadas
o simultneamente, que van del control y la supervisin de actividades
reglamentarias hasta el anlisis y la cualificacin de prcticas
individuales o de funcionamiento de sistemas.

La inspeccin se ejerce por cuerpos de competencia tcnica
particular, con autoridad especfica para el cumplimiento de
esta misin.

La inspeccin comprende trabajos de investigacin sobre piezas y lugar.
Puede desembocar en sancin
Comporta funcin de expertizaje, de anlisis de prcticas o de
organizaciones con la finalidad de validarlas, mejorarlas o promoverlas.
Diferencias con otras tcnicas afines
El control consiste en verificar el respeto a las normas (conjunto
referencial explcito, externo y cerrado). Se conocen por todos los
actores.
El que ejerce el control debe asegurar el respeto a las reglas. Debe
poseer un buen conocimiento de stas y guardarse de toda.
connivencia o empata respecto a las personas controladas.
El control constata mide las desviaciones con la norma y rinde cuenta.
Puede revelar irregularidades, disfunciones y poner en cuestin a las
personas.
Puede entraar sanciones
Diferencias con otras tcnicas afines
La auditora: comprende una parte del control de regularidad
y de conformidad y una parte de control de eficacia bajo
presupuestos de mejora.
Se rige por normas internacionales
El auditor ejerce su trabajo con independencia y sirve de
asesoramiento para mejorar el funcionamiento de la organizacin
auditada.
La auditora se ha extendido del dominio financiero a otros
campos la gestin de riesgos, procedimientos de control y
el management.
Puede ser externa o interna
El auditor emite su diagnstico y formula las
recomendaciones de mejora de la estructura o de los procesos.
CONCLUSIONES (1) La evaluacin en el
lenguaje profesional
El nfasis metodolgico propio de la evaluacin es la diferencia
con otros instrumentos de informacin y valoracin de los que
se sirven los decisores pblicos

Lo relevante de la evaluacin es construir sus juicios
apoyndose en una metodologa que ofrezca las mayores
garantas de credibilidad.

El proceso va encaminado a satisfacer las necesidades
informativas garantizando la fiabilidad de los datos, la solidez de
los anlisis, la credibilidad de los hallazgos, la validez de las
conclusiones y la utilidad de sus recomendaciones.
La evaluacin no trata ni puede sustituir la capacidad de
decisin de los Gerentes Pblicos. Se trata de
suministrar valoraciones tcnicas independientes, para
que quienes decidan lo hagan en mejores condiciones.

La evaluacin no es un mero seguimiento de medidas,
incorpora juicios basados en evidencias y seala
alternativas y riesgos.

La evaluacin precisa de la participacin activa tanto de
las Entidades Pblicas que sustentan los programas
como de los agentes sociales y econmicos a los que
afecta para propiciar su utilidad.

La evaluacin incorpora recomendaciones y tienen un
carcter a menudo formativo.
Conclusiones (2)
1- FAMILIARIZACION CON EL OBJETO DE LA
EVALUACIN. : Anlisis del encargo.Delimitacin del objeto de
evaluacin, diagnstico de la situacin evaluativa, identificacin de
stakeholders (actores implicados)y sus necesidades informativas.
Estudio del estado
2. ELABORACIN DEL DISEO. Criterios. Preguntas.
Indicadores.
Metodologa Eleccin de instrumentos y tcnicas de recopilacin
de informacin.
3. RECOPILACIN DE LA INFORMACIN
4. ANLISIS, TRATAMEINTO E INTERPRETACIN a la luz de los
criterios de evaluacin.
5. INFORME. Conclusiones y recomendaciones. Comunicacin de
resultados
FASES DEL PROCESO DE EVLAUACIN