TEMA 1

CONCEPTOS BSICOS EN EVALUACIN DE

PROGRAMAS
Contenidos
1. Definiciones
2. Qu es un programa
3. Componentes bsicos de la E.P.
4. Qu intenta responder la E.P.
5. Fases en la historia de la E.P.
6. Modelos tericos en E.P.
7. Evaluacin y tica
8. Aspectos polmicos en la E.P.
9. Evaluacin y otros estudios
10. El futuro de la E.P.

1. DEFINICIONES
Riecken, 1972

Es la medicin de las consecuencias deseables o indeseables de una accin

psicosocial ejecutada para facilitar la obtencin de metas perseguidas por el
sujeto
Perloff, Perloff y Sussna, 1976

Es la determinacin de la medida en que un programa logr uno o ms de

sus objetivos, las razones por las cuales no los alcanz y la relacin existente
entre los efectos del programa y una amplia diversidad de variables y
caractersticas del programa
Spaniol, 1975

Es un proceso sistemtico y continuo que proporciona informacin acerca del

efecto o impacto de un programa, con el objeto de contribuir a adoptar una
decisin poltica de trascendencia

Ato, Quiones, Romero y Rabadn (1989)

La evaluacin de programas es un proceso que consiste en valorar si un

programa consigui o no en alcanzar los objetivos para cuya consecucin fue
ideado
Fernndez Ballesteros, 1995

Es la sistemtica investigacin a travs de mtodos cientficos de los efectos,

resultados y objetivos de un programa, con el fin de tomar decisiones sobre
l.
Freeman y Rossi, 1993

Es la aplicacin sistemtica de procedimientos de investigacin social para

evaluar la conceptualizacin, diseo, implementacin y utilidad de los
programas de intervencin social
Rossi, Freeman y Lipsey, 1999

Es el uso de procedimientos de investigacin social para investigar

sistemticamente la efectividad de programas de intervencin social

Requiere:

Recoleccin de datos
Existencia de criterios de valoracin
Perspectiva de Fernndez-Ballesteros (1995):

Evaluacin forma de investigacin cientfica

Debe maximizar la objetivacin de resultados

Control, manipulacin adecuada y medicin garantas de trabajo

riguroso

El evaluador se sita como experto, frente a otros valoradores de la misma

realidad

2. PROGRAMA
Conjunto especificado de acciones humanas y recursos materiales, diseados
e implantados organizadamente en una determinada realidad social, con el
propsito de resolver algn problema que atae a un conjunto de personas

Caractersticas bsicas de un programa

Especificacin previa
Implantacin coordinada

Objetivos del programa

De forma general, mejorar alguna de las condiciones humanas

Objetivo de la evaluacin: mejorar el programa

3. COMPONENTES BASICOS DE LA EVALUACION DEL PROGRAMA

Programa

supone un tratamiento: Conjunto de manipulaciones que han sido

programadas

para

ser

implantadas

en

una

determinada

realidad

socioambiental.
se aplica a una serie de unidades: Conjuntos de sujetos a los que se ha
implantado una determinada intervencin.
pasa por la observacin de operaciones en las unidades en las que se ha

aplicado el programa: expresin de objetivos a cubrir con el programa o bien

efectos que el tratamiento ha producido en las unidades

la evaluacin se realiza sobre unos tratamientos, aplicados a unas unidades

en un contexto o situacin especficos.

4. QU INTENTA RESPONDER LA EVALUACIN DE PROGRAMAS

Respuestas externas en evaluacin

Certificacin de calidad / acreditacin externa al programa

Fundamentar decisiones de distribucin de recursos

Mejorar decisiones de futuros programas

Promover el conocimiento sobre qu y cmo se ha hecho

Proporcionar informacin pblica sobre los logros conseguidos

Respuesta a necesidades internas del programa

Comprobar la utilidad del programa

Servir de base para el mejoramiento continuo

Promover procesos de aprendizaje colectivo e individual sobre lo que se hace

y cmo se hace

Comprender los lmites y aciertos de un programa

5. FASES EN LA HISTORIA DE LA E.P (Cook, 1988)

1965-1975 Scriven y Campbell

Periodo asociado a teoras altamente objetivistas

Base: mtodo cientfico

1975-1982 La crtica

Descripcin vlida y comprensiva de cmo operan los programas

sociales

Ms uso de mtodos cualitativos que cuantitativos.

Evaluacin Bsqueda de efectos ms que la comprobacin de

hiptesis apriorsticas.

Autores: Weiss, Stake y Guba

Intentos de sntesis posteriores a 1980 (Cronbach)

Teoras de evaluacin prcticas

Menos limitadas tanto en mtodos, seleccin de cuestiones y rol del

evaluador

6. MODELOS TERICOS EN LA E.P

Chacn, Lpez y Prez, 1992.
Evaluacin centrada hacia los objetivos (Tyler, 1942)

Valora la coincidencia entre los objetivos del programa y los resultados

reales.

La evaluacin se considera un proceso recurrente: se reordenan los objetivos

en funcin de los resultados.

 No se explicita un diseo concreto.

Evaluacin responsiva (Stake, 1975)

Se ampla la perspectiva anterior, incluyendo el examen de antecedentes,

procesos, normas y juicios, adems de resultados.

Presenta un mtodo pluralista, flexible, holstico, subjetivo y orientado al

servicio.
Planificacin evaluativa (Cronbach, 1982)

Propone una evaluacin asentada en una planificacin previsora y flexible de

las actividades evaluativas.

Presenta el modelo de los UTOS.

Evaluacin orientada a la toma de decisiones (Stufflebeam, 1985)

La evaluacin es un proceso que proporciona informacin til para la toma

de decisiones.

Estructura bsica CIPP: Contexto, Entrada, Proceso, Producto.

Metodologa tanto cuantitativa como cualitativa
Mtodo cientfico de evaluacin (Campbell y Stanley, 1966; Cook y
Campbell, 1979)

Plantea que no hay diferencias metodolgicas entre evaluacin y mtodo

cientfico.

Utilizacin del mtodo quasi-experimental.

Modelo evaluativo orientado hacia el consumidor libre de metas
(Scriven, 1974)

El evaluador es un sustituto informado del consumidor.

El evaluador investiga todos los efectos del programa independientemente de
sus objetivos.

Diseos experimentales, pre-experimentales, anlisis de costes y mtodo

libre de metas.

EVALUACIN BASADA EN LA TEORA

Las creencias y supuestos que subyacen a un programa pueden expresarse

en trminos de una secuencia de causas y efectos, delimitada en fases
(Weiss, 1997)

Dificultades para explicar la teora subyacente

Percepcin de teora como algo abstracto y poco claro.

No obstante teora = conjunto de creencias y supuestos que rodean
las actividades de un programa.

La teora que se explicita puede no ser la nica que subyace al programa.

Los efectos pueden producirse por caminos distintos a los predichos en
la teora.
Cambio que se produce

Evaluacin

Cmo se produce el cambio

Confusin en los componentes de la teora

Teora
de
implementacin:
Retroalimentacin de cmo est
funcionando el programa
Teora del
cambio

Teora

del

programa:

Comprensin de cmo se logran

los efectos del programa

Fuentes bsicas de informacin

Dificultad para identificar o construir teoras de los programas.

Primer paso

Documentos

Poca
Informacin

de

los

participantes

Dificultad de articular
teoras

Teora de las Ciencias Sociales

Investigacin previa
Observacin de programas en
accin
Razonamiento lgico

Evaluacin basada en la teora:

Recoge datos en proceso y resultados, analizando las relaciones entre
ellos.
Busca especificar los mecanismos que logran el cambio, no las
actividades asociadas al cambio.

Impone grandes exigencias en datos y recursos

El evaluador debe recoger datos de todos los pasos que le sea posible
Se necesitan fuentes adecuadas.
Consume tiempo y es caro, pero produce buenos resultados para la
evaluacin.

Los resultados no pueden generalizarse.

Como en otros modelos de evaluacin, sta no puede aplicarse
mecnicamente a otros lugares.

 Sin embargo, aporta informacin sobre pequeas conexiones, que

pueden ser tiles para otros sitios.
Los decisores pueden analizar los hallazgos obtenidos y sus
explicaciones, tratando de averiguar los patrones que emergern en el
futuro.

Necesidad de comparacin
Las intervenciones a nivel comunitario hacen difcil las asignaciones
aleatorias.
Evaluacin basada en la teora

permite apoyar la existencia de

relaciones causales.
No obstante necesidad de estudios experimentales para garantizar la
causalidad.

Excesivo racionalismo
La labor evaluativa va dirigida a metas preestablecidas.
Tales objetivos a menudo cambian en el transcurso de la evaluacin.

La evaluacin no permite comprobar teoras.

Medida del error.

Problema general en ciencias sociales.
Se incrementa aqu: muchos constructos a medir.

Exigencias del anlisis de datos

Anlisis que permitan enlazar las teoras postuladas (anlisis de vas,
LISREL, anlisis de supervivencia).
Anlisis cualitativos y cuantitativos (emparejamiento de patrones

JUSTIFICACION DEL USO DE E. B. T.

Tipo de pregunta
planteada
Diseo de la evaluacin

En programas que se esperan resultados

positivos, negativos o inconsistentes
Recursos en costes y
tiempo

Cmo y por qu
a) Pocas intervenciones
b) Cambios a largo plazo
c) De complejidad
moderada
Descubrimiento de los
mecanismos
operativos

Diseadores del
programa

VENTAJAS PARA LAS DISTINTAS AUDIENCIAS

Tcnicos

Decisiones
ms
acertadas
Confrontan sus teoras de
cmo funciona el
programa

Destaca los aspectos ms relevantes

Evaluadores

Da informacin de logros parciales

Da sufiente informacin final para
permitir recomendaciones

Directivos

Directivos y
promotores de
otros programas

Polticos y
pblico

Permite determinar qu aspecto fracasa y

dnde

Ayuda a comprender qu, cmo y

por qu funciona un programa

Facilita explicaciones
ms comprensibles a
estas audiencias

7. EVALUACIN Y TICA
Necesario ofrecer guas sobre diversos aspectos: derechos de publicacin, a
quien dar la informacin, etc.

Dos guas en USA:

JOint Committee on Standars for Educational Evaluation public en 1994

los estndares para E.P.

American Evaluation Association

Guiding principles for evaluators

Estndares de calidad
Competencia
Respeto a los participantes
Responsabilidades para el bienestar general: articular la diversidad de
intereses y valores

8. ASPECTOS POLMICOS EN LA E.P.

Cualitativo - cuantitativo

Primer enfoque: cuantitativo

Las dificultades inherentes de la investigacin aplicada cuestionan la utilidad
de los mtodos cuantitativos

Metodologa cualitativa: una forma ms comprensiva de apresar la realidad

Alternativa: multiplismo :

Utilizar mltiples enfoques tericos

Probar mltiples modelos causales multivariados

Plantear mltiples hiptesis rivales

Establecer mltiples definiciones operacionales de las mltiples variables

implicadas

Plantear cuestiones valorativas procedentes de las mltiples audiencias

implicadas

Establecer objetivos mltiples que permitan mltiples anlisis de

resultados

Utilizar mltiples mtodos de evaluacin

Realizar mltiples anlisis de datos y contrastes de hiptesis.

Ciencia frente a poltica

La evaluacin de programas pretende maximizar el cientifismo de la

evaluacin

La Ciencia es un producto social

Mientras lo poltico interviene ms en las primeras fases del ciclo evaluativo,
los aspectos cientficos ganan prioridad en el diseo, planificacin,
implantacin y valoracin de los programas.
Lo poltico

En ocasiones, los resultados de una evaluacin tienen poco peso en las

decisiones en torno al programa

El poltico tiene un tiempo distinto al investigador, por lo que puede presionar

a este a entregar resultados antes de tiempo

La evaluacin tiene un objetivo prctico y poltico en su propia naturaleza

Si el problema es polmico, requerir rigor
Mudabilidad de los programas sociales

Los recursos, prioridades y la influencia de los financiadores de los

programas sociales tiende a ser dinmica

Pueden producirse cambios, a veces drsticos, en el curso del desarrollo del

programa

El evaluador debe estar preparado para asumir tales cambios

9. Diferencias entre evaluacin y otras actividades

Auditoria:

Cumplimiento de normas, regulaciones o estndares financieros

Contabilidad de recursos
Auditoria de gestin. Eficiencia
Imprescindible la independencia para asegurar la imparcialidad

Investigacin

Desarrollar conocimiento
Generalizacin de resultados
Realizado por y para la comunidad cientfica (principalmente)

Medicin de realizaciones

Procesos descriptivos
Estudios de validez y fiabilidad en el proceso de obtencin de informacin

Anlisis de polticas (Policy analysis)

Formulacin de polticas
Anlisis de viabilidad financiera
Anlisis de coste-beneficio

Plan estratgico

Estudio de las tendencias de evolucin posibles de la Institucin o la zona

geo-poltica para trazar:

Objetivos a corto, medio y largo plazo

Estudio de DAFO: Debilidades, amenazas, fortalezas y oportunidades
Concretar las metas a conseguir, estableciendo objetivos estratgicos
Sistematizar el conjunto de evidencias y parmetros de medicin que
permitirn verificar los resultados de la evolucin

Definir las reglas de adaptacin que nos permitirn cambiar de estrategia a lo

largo de todo el proceso.

Evaluacin

Proceso sistemtico de obtencin de informacin objetiva y til

Objetivo: apoyar el juicio de valor sobre un programa o intervencin
Finalidad:

Comprensin de los resultados obtenidos

Toma de decisiones sobre futuras actuaciones

Comparacin entre evaluacin y otras investigaciones

La evaluacin de programas debe cubrir

Estndares idneos de calidad de investigacin cientfica

Estar totalmente dedicado a las necesidades de informacin requerida por los
decisores del programa

En ocasiones, tales objetivos se vuelven contradictorios

Diferencias
Toma de decisiones: la investigacin se centra en la bsqueda de

conocimiento, la E.P. en la aplicacin

La evaluacin tiene en cuenta la opinin del decisor.
La evaluacin compara lo que es con lo que debera ser
La evaluacin se produce en un marco de accin, donde lo ms importante

que est ocurriendo es el programa.

Es frecuente que se produzcan conflictos entre roles.
Muchos informes evaluativos quedan sin publicar.

Semejanzas

La evaluacin trata de comprender la relacin entre variables y de

establecer una relacin causal.

Los mtodos evaluativos representan un compromiso entre lo ideal y lo

factible

El evaluador tiene que tener un amplio conocimiento de metodologa de

investigacin, y aplicarlo en el mundo real.

10. FUTURO DE LA E.P. (Chelimsky y Shadish, 1997)

Idiosincrasia en cada pas

Los evaluadores en cada pas del globo utilizan sus propias

infraestructuras para apoyar sus esfuerzos,

Global,

Los esfuerzos realizados trascienden y se difunden por el planeta.

Transnacional,

 Los problemas y los programas que han de evaluarse trascienden las

fronteras de una nacin, de un continente y de un hemisferio