Capitulo 1

La evaluación de programas: consideraciones generales
1.- La evaluación de programas:

consideraciones generales.
1.1 DIMENSIONES DE LA EVALUACIÓN.- ..................................................................................................11

1.2 EL PROGRAMA Y SU EVALUACIÓN.-...................................................................................................17
1.3 EL PROCESO DE EVALUACIÓN DE PROGRAMAS.-................................................................................22
1.4 LA PLANIFICACIÓN EN LA EVALUACIÓN DE PROGRAMAS.- .................................................................26
1.5 LA INSTRUMENTALIZACIÓN EN LA EVALUACIÓN DE PROGRAMAS ......................................................29
1.6 PROBLEMÁTICAS-DIFICULTADES EN LA EVALUACIÓN DE PROGRAMAS ..............................................31
1.6.1 Patologías generales y abusos de la evaluación como síntesis de las problemáticas-
dificultades............................................................................................................................36
1.6.2 Algunas alternativas para la superación de las dificultades-problemáticas en el proceso de
evaluación.-...........................................................................................................................38
José Tejada Fernández
José Tejada Fernández, UAB, 1998 10

1.1 Dimensiones de la evaluación.-

Es necesario considerar, aunque sea a título indicativo la concepción que sobre la
evaluación tenemos. En este caso solamente haremos alusión a la definición que
a lo largo de todo el texto implicamos. Con independencia de otras tantas
definiciones previas que podrían justificarla (Tejada, 1997:244-246),
conceptualizamos la evaluación como:
* un proceso sistemático de recogida de información, no improvisado,
necesitado de organizar sus elementos, sistematizar sus fases,
temporalizar sus secuencias, proveer los recursos, construir o seleccionar
los instrumentos, etc. En cualquier caso, desde planteamientos
multivariados en cuanto a los instrumentos, técnicas y métodos, así como
agentes.
* que implica un juicio de valor, que significa, a su vez, que no basta recoger
sistemáticamente la información, sino que ésta ha de valorarse, explicando
su bondad. Téngase en cuenta que la adjudicación de un valor no significa
tomar decisiones, por cuanto los evaluadores pueden realizar esta tarea y
otras personas, ajenos a ellos, pueden tomar las decisiones. Queremos
decir, que la función principal del evaluador está en la valoración, pero no
necesariamente en la toma de decisiones que puede corresponder a los
responsables del programa o de los objetivos a evaluar, políticos, u otros.
* orientada hacia la toma de decisiones. El proceso evaluativo ha de tener
una utilidad, en este sentido apuntamos entre otros a la toma de
decisiones orientada a la mejora de la práctica. Esto significa además, que
la evaluación ha de ser un medio pero no un fin en sí misma.
Ubicados en esta conceptualización, nos abocamos a la aplicación de la
evaluación. Esto exige reparar en múltiples dimensiones y variables, su selección
y su priorización, en un proceso que mezcla planteamientos desde lo
epistemológico, lo ideológico, hasta lo técnico. Por lo tanto, realizar una
evaluación implica previamente planificar dicha acción y elaborar el diseño
pertinente en relación con la realidad a evaluar. Por ello, se torna necesario
reparar en las dimensiones afectadas.
Un primer acercamiento a las dimensiones afectadas en la evaluación educativa
se concreta en el ideograma que presentamos (Gráfico 1). Un comentario sucinto
del mismo nos indica que:
a) El objeto de evaluación puede ser diverso, aunque la mayoría de autores
llegan a coincidir en torno a los alumnos, el personal docente y no docente, el
curriculum, los recursos, los planes y programas, los proyectos, las
estrategias metodológicas, las instituciones de formación y los contextos
entre otros con carácter general. Con posterioridad nos centraremos, desde la
óptica de evaluación de programas, en algunos de los citados. Para cada uno
de ellos, las fuentes de información, los protagonistas y estrategias de
evaluación, obviamente, pueden variar en su nominación, implicación y
diseño.

¿QUE?
OBJETO
Contexto
Necesidades
¿PARA QUÉ? Objetivos ¿CÓMO?
Contenidos
FINALIDAD Instituciones MODELO
Profesores Experimental
Alumnos Naturalista
Metodología Basado en demanda
Diagnóstica Recursos Basado en costos
Formativa ...... Toma de decisiones
Sumativa Verificación logros
........
Cuantitativa
Cualitativa
.....
EVALUACIÓN
Profesores
Alumnos
Equipo directivo
Observación .....
Inicial Entrevistas Usuario
Continua Cuestionarios Experto
Final Tests .....
Diferida Pruebas Objetivas Autoevaluación
Escalas Heteroevaluación
¿CUÁNDO? ...... Interna-externa ¿QUIÉN?
Validez
MOMENTO Fiabilidad EVALUADOR
Pertinencia
.......
¿¿CONQUÉ?
INSTRUMENTO
Adecuación a las
Coherencia con las Adecuación a Adecuación a los
REFERENTE finalidades definidas por
necesidades formativas
determinados principios participantes
del contexto inmediato
la política de formación psicopedagógicos (necesidades,
expectativas,
intereses
Gráfico 1.- Dimensiones básicas de la evaluación educativa (Tejada 1991:88).-
b) La finalidad perseguida por la evaluación (diagnóstica, formativa y sumativa)

aunque igualmente se podría hacer referencia a funciones más específicas
(De Ketele y Roegiers, 1995) relativas a las personas (su rendimiento: inicial,
procesal o final), relativas al sistema (gestión), relativas al conocimiento
(investigación). En la Gráfico 2 se especifican las mismas y más allá de entrar
en detalle en cada una de ellas, conviene, en este momento, centrarnos en la
evaluación diagnóstica, la formativa y sumativa, como aglutinadoras de las
mismas.

Funciones relativas a las personas Funciones relativas a un sistema
e) preventiva
f) prospectiva
c) formativa a) predictiva g) control calidad
d) certificativa b) reguladora
l) con.rentabilidad
m) est. viabilidad
h) descriptiva
k) desarrollo
i) verificación
j) heurística
Funciones relativas al conocimiento

Gráfico 2.- Las funciones de la evaluación (De Ketele y Roegiers, 1995:134)
La evaluación diagnóstica nos permite conocer la realidad en la que operará

un programa (evaluación de entrada), tanto en lo relativo al contexto como a
los destinatarios del programa; ello nos da pie tanto a posibilitar los recursos
y medios necesarios en el contexto para que el programa sea exitoso o bien,
teniendo presente las limitaciones contextuales, ajustar el programa a dicho
contexto. Por lo que se refiere a los destinatarios nos permite conocer sus
necesidades formativas, sus posibilidades para con el programa, etc., lo cual
da pie a tomar decisiones sobre admisión, orientación, establecimiento de
grupos de aprendizaje según niveles, etc.
La evaluación formativa tiene que ver con el desarrollo del programa
(evaluación de proceso) en un contexto determinado y su propósito esta
directamente relacionado con la mejora y optimización del mismo en el
transcurso de la acción formativa. Permite, pues, el ajuste racional de dicha
acción según las vicisitudes que la misma encuentra y afecta básicamente a
las estrategias de desarrollo (implementación de nuevos medios y recursos,
ajuste de la temporalización -acelerando o lentificando el ritmo previsto,
cambio de actividades y papel del formador, etc.)
La evaluación sumativa (evaluación de productos) nos muestra los
resultados obtenidos por el programa y en este sentido la toma de
decisiones se orienta a la certificación, promoción, en relación con los
destinatarios implicados en la acción formativa, a la vez que permite valorar
globalmente el programa permitiendo rechazarlo o aceptarlo en función del
éxito del mismo.
A continuación expresamos las relaciones e implicaciones entre estas dos
últimas dimensiones.

FINALIDAD MOMENTO OBJETIVOS DECISIONES A TOMAR

Diagnóstica Inicial -Identificar las características de los -Admisión, orientación,
participantes (intereses, necesidades, establecimiento de
expectativa). grupos de aprendizaje.
-Identificar las características del
contexto (posibilidades, limitaciones,
-Adaptación-ajuste e
necesidades, etc.)
implementación del
-Valorar la pertinencia, adecuación y programa
viabilidad del programa
Formativa Continua -Mejorar las posibilidades personales
de los participantes.
-Adaptación de las
-Dar información sobre su evolución actividades de
y progreso. enseñanza-aprendizaje
(tiempos, recursos,
-Identificar los puntos críticos en el
motivación estrategias,
desarrollo del programa.
rol docente, etc.,)
-Optimizar el programa en su
desarrollo
Sumativa Final -Valorar la consecución de los -Promoción,
objetivos así como los cambios certificación,
producidos, previstos o no. reconsideración de los
participantes.
-Verificar la valía de un programa de
cara a satisfacer las necesidades -Aceptación o rechazo
previstas. del programa.
Tabla 1. Relaciones entre finalidad y el momento evaluativo
c) El momento evaluativo, conectado con la finalidad, es otra de las dimensiones

básicas. Evaluación inicial con finalidad diagnóstica, al principio de una acción
formativa, evaluación continua con finalidad formativa, durante el periodo de
formación y evaluación final con finalidad sumativa, al final del periodo de
formación. Habría que añadir a estos tres momentos, ya clásicos, la evaluación
diferida que en la evaluación de programas toma capital importancia por las
repercusiones prácticas y sociales de la misma. Un programa no sólo es bueno
por cuanto se verifica la suficiencia de los participantes al final de la acción
formativa, sino también por cuanto a lo largo del tiempo tiene una repercusión
en la práctica, también denominada evaluación de impacto del programa.
Téngase presente que no siempre se evidencia el paralelismo establecido, por
cuanto podemos verificar en la práctica que muchas veces se realiza
evaluación continua con finalidad sumativa, en la medida que se recaba
información no tanto para optimizar el programa sino más bien sobre el alumno
para poderse asegurar mejor en su evaluación final; es decir, se van
registrando resultados parciales más que la evaluación del proceso formativo
mismo.
d) El modelo paradigmático seguido, que afectará al diseño a seguir. Este está
en íntima conexión con el referente (respecto a qué evaluamos). Condiciona la
interacción entre la variables implicadas Así por ejemplo, los criterios para
juzgar el valor o mérito de un objeto de evaluación puede ser la confluencia

entre los hechos (logros) y los objetivos -modelo de evaluación por objetivos-,
la identificación de las necesidades actuales y potenciales de las audiencias,
los ideales o valores sociales o el estándar de conocimientos estructurados por
los expertos u otros grupos relevantes. El tabla 2 muestra una breve síntesis
de los modelos más conocidos en evaluación de programas.
Además, el modelo de interpretación puede basarse en la racionalidad
positivista (científico-técnico), en la asignación de valores de la realidad
(interpretativo-fenomenológico) o enfatizar el sentido político que adopta
cualquier situación (sociocrítico).
e) La instrumentalización nos remite a las herramientas que han de servir para
obtener la información considerada como necesaria para la evaluación.
Instrumentos y técnicas de recogida de información estructurados,
semiestructurados o sin estructurar, susceptibles de tratamientos cuantitativos
o cualitativos según el objeto, pero en cualquier caso, válidos, fiables,
pertinentes, etc. como características técnicas exigibles a cualquiera de ellos.
En una palabra, complementariedad y triangulación de instrumentos.
f) El evaluador se convierte en un eje igualmente importante en el hecho
evaluativo. Además de los implicados en el proceso formativo, están los
expertos, lo cual nos puede permitir diferenciar entre evaluación interna y
evaluación externa, entre heteroevaluación y autoevaluación. Por la relevancia
de la problemática generada en torno a esta dimensión, con posterioridad
nuevamente repararemos sobre él.
Al margen de las ventajas e inconvenientes de una y otra, suelen combinarse
en la práctica y utilizarse como elemento de complementariedad. Con todo, lo
que se evidencia cada día con más fuerza es la necesidad de capacitación
técnica para poder evaluar. El conocimiento de técnicas, instrumentos,
metodologías, etc. en aras de una pretendida "objetividad" (intersubjetividad)
es un requisito formativo para los protagonistas de la evaluación.
g) El referente es la dimensión más diferenciadora de la evaluación. Fuente de
criterios e indicadores de evaluación, está conectada con el resto de las
dimensiones. En la evaluación de programas, no cabe duda que el referente
debe pasar por la coherencia con la política formativa, la contextualización, los
principios psicopedagógicos del aprendizaje adulto y la consideración de los
participantes como elementos nucleares dentro de los cuales existe toda una
gama de indicadores para la evaluación.

Modelo Verificación de logros E. respondente Toma de decisiones Sin referencia a metas E. iluminativa Crítica artística
Organizador previo -Objetivos -Problemas localizados -Situaciones decisivas -Necesidades y valores -Problemas y necesidades -Efectos
sociales localizados
Objetivo -Relacionar los resultados -Facilitar la comprensión -Proporcionar -Juzgar los méritos relativos -Estudiar del programa, -Ofrecer una representación
con los objetivos de las actividades y su conocimientos suficientes de bienes y servicios intentando clarificar y valoración de la práctica
valoración en una teoría y una base valorativa para alternativos cuestiones, ayudar al formativa y sus
determinada y desde tomar y justificar las innovador y a otras partes consecuencias dentro de su
distintas perspectivas decisiones interesadas a identificar los contexto
-Ayudar a los clientes procedimientos y aspectos
del programa que pueden
conseguir los resultados
deseados
Audiencia -Planificadores y directivos Comunidad y grupo de -Los que toman decisiones -Los consumidores -Innovadores y personas -Comunidad y grupo de
del programa clientes en zonas locales y involucradas clientes en zonas locales
los expertos
Cuestiones previas -¿Qué alumnos alcanzan ¿Cuál es la historia de un -¿Cómo planificar, ejecutar -¿Cuál es el valor de un -¿Cómo opera o funciona -¿Cuáles son las
los objetivos? programa , sus y reciclar para promover el programa, dados sus costes, un programa, cómo influyen características y cualidades
antecedentes, crecimiento y desarrollo a las necesidades concretas de en él los contextos donde de los fenómenos, cuáles
operaciones, efectos un coste razonable? los consumidores y los se aplica? son las cualidades
secundarios, logros valores de la sociedad en emergentes de una clase o
accidentales, resultados?. general? programa que se está
evaluando?
Metodología Cuantitativa Cualitativa -Cuantitativa Cuantitativo-cualitativa -Cualitativa -Cualitativa
-Planificación experimental -Descripción -Planificación experimental -Planificación experimental -Estudio de casos -Estudio de casos
-Comparación entre grupos -Estudio de casos -Valoración de -Evaluación sin metas
necesidades -Análisis de coste
-Observación -Comparación-
-Estudios piloto experimentación
Instrumentos y -Pruebas objetivas -Informes -Revisión de documentos -Listas de control -Observación -Crítica artística
técnicas -Tests estandarizados de -Entrevistas -Audiciones -Tests diagnósticos -Entrevista
rendimiento pedagógico Sociodrama -Entrevistas -Entrevistas
-Observación Observación -Tests diagnósticos -Informes, etc.
predeterminada -Visitas
-Escalas de autovaloración
Pioneros TYLER STAKE STUFFLEBEAM SCRIVEN PARLETT Y HAMILTON EISNER
Proceso -Establecer metas u -Descripción -Análisis de tareas -Valoración de necesidades -Observación -Descripción
objetivos .antecedentes, Plan de obtención de -Evaluación de metas -Investigación -Interpretación
-Definir los objetivos en transacciones, información -Comparación con otras -Explicación -Valoración
términos de resultados -Plan para el informe sobre alternativas
comportamiento resultados -Examinar según coste y
-Establecer o desarrollar -Juicio -Plan para la efectividad
técnicas e instrumentos . antecedentes, administración del estudio -Combinación de la
Recopilar datos transacciones, evaluación del personal con
Comparar los datos con los resultados la del programa.
objetivos
Tabla 2. Modelos de evaluación de programas (Tejada, 1989:114-116)

En el tabla 3 se presenta una breve ilustración de criterios e indicadores

obtenidos de estos cuatro referentes. Con posterioridad retomaremos la
problemática implícita más ajustados a realidades concretas o ejemplos
específicos, donde pueden operar algunos de ellos y/u otros según sea la
necesidad evaluativa.
CRITERIOS INDICADORES
Pertinencia:
adecuación de un programa con la política Nivel de coherencia: relación entre los objetivos
de formación y el contexto de formación. asignados y los objetivos propuestos.
Actualización:
adecuación de los objetivos del programa y Relación entre los objetivos propuestos y las
las necesidades reales (sociales e necesidades detectadas
individuales)
Objetividad:
adecuación a las leyes y principios Relación entre los objetivos asignados y
científicos contenidos (selección y secuenciación)
Aplicabilidad:
posibilidad de puesta en práctica de los Relación entre el programa y la inserción social
objetivos propuestos o laboral
Suficiencia:
grado con que un programa satisface las Nivel de exhaustividad, relación entre los
necesidades detectadas objetivos asignados y las necesidades
detectadas
Eficacia:
nivel de logro de los objetivos asignados Relación entre los objetivos asignados y los
objetivos alcanzados.
Eficiencia:
grado de implicación de recursos Relación entre los objetivos logrados y los
humanos, materiales y funcionales recursos implicados (ratio
formador/participante,
hora/formador/participante, etc.
Comprensividad:
grado de optimización alcanzado Relación entre el nivel de entrada y el nivel de
salida de un programa
Relevancia:
grado de importancia del programa para Relación entre objetivos propuestos y
cubrir las necesidades individuales y necesidades sociales e individuales (objetivos
sociales de formación-necesidades, expectativas,
intereses, cambio laboral, polivalencia laboral,
etc.
Coherencia:
grado de adecuación entre sí de distintos Nivel de relación entre los distintos
componentes-elementos de un programa componentes de un programas (necesidades,
objetivos, contenidos, estrategias, recursos,
sistema de evaluación)
Tabla 3. Criterios e indicadores de evaluación de programas (Tejada, 1997:255)
La complejidad de la evaluación, pues, se hace evidente a la vista de lo analizado

y justifica plenamente la afirmación de que una evaluación nunca es completa en
sí misma. Por este motivo, la planificación de la misma tiene que hacer énfasis en
la determinación de los aspectos más significativos de cada realidad y momento
evaluativo.
1.2 El programa y su evaluación.-

Una vez delimitadas las dimensiones de la evaluación, en las que ineludiblemente

hemos de reparar, es necesario considerar igualmente algunos aspectos
diferenciales en los programas de formación que hacen de los mismos adoptar
también distintas decisiones en la planificación de su evaluación, diferenciadas de
otros objetos de evaluación, al priorizar unos elementos específicos sobre otros.
Todo ello nos remite a una manera peculiar de evaluar, con una problemática
distinta por ejemplo, si se tratase de evaluación de centros o alumnos.
Hemos de partir, también en este caso, de un concepto de programa que, con
independencia de la polisemia del término en sí mismo, sea operativo y
clarificador para seguir avanzando. En aras a la brevedad, asumimos por
programa "cualquier propuesta estructurada para producir cambios en las
personas que se exponen a ellos" Gairín, 1993:80). Entendiendo como tal "desde
un diseño específico para la instrucción de un tema concreto de una materia
hasta el plan educativo que comporta el desarrollo de un curso completo; desde
la actividad docente de un profesor hasta la organización funcional de uno o
varios centros educativos; desde un proyecto experimental de enseñanza hasta
todo un sistema educativo formal" (Cabrera, 1987:101).
En este contexto particular, pues, la evaluación de programas ha de moverse y
como tal la consideramos como aquel proceso continuo, sistemático y
multidimensional de recogida de información relevante, válida y fiable que permite
tomar decisiones sobre el valor o mérito del mismo para mejorar su
funcionamiento.
Dichas decisiones, según Cabrera (1987:113-114), se refieren a distintos ámbitos
y pueden concretarse en:
* acerca de la implantación del programa
* relativas a la continuación, expansión o certificación del éxito del programa
* relacionadas con las modificaciones a introducir en el programa en desarrollo.
Además, hay que tener presente y como consecuencia de lo anterior, que existen
unas razones que justifican por sí mismas la evaluación de programas:
• cumplimiento de los requisitos de acreditación (cualificación personal)
• rendir cuentas (justificación de la inversión, costos)
• demandas de información
• elección-selección del mejor programa (satisfacer necesidades)
• asistir al equipo de gestión del programa en su desarrollo y mejora
• aprender-verificar acerca de los efectos secundarios (lo no planificado)
Cabe advertir, antes de proseguir, que la evaluación de un programa es un
proceso íntimamente ligado con el de su planificación, desarrollo y resultados,
pudiéndose verificar esta dependencia en los siguientes ideogramas, en los que

Informe Informe de Informe

inicial progreso final
DIAGNÓSTICA FORMATIVA SUMATIVA
Contexto Realización Resultados

Necesidades Desarrollo Productos
Viabilidad Resultados Impacto EVALUACIÓN
Destinatarios Gestión Costes
Diseño Evaluación
...... ...... ......
Inicial Continua Final/Diferida
REALIDAD
Resultados Final-Corto plazo-

Largo plazo
REALIDAD
Necesidad NUEVA
de Cambio Ajustes Ajustes Resultados
PROGRAMA DESARROLLO
PROYECTO PROGRAMA PLANIFICACIÓN
Gráfico 3.- Relación entre el nivel de planificación y evaluación de un programa

se evidencia, más allá de las tareas, actividades, tipologías de evaluación,

decisiones a tomar, etc. indiscutiblemente dicha conexión.
PLANIFICACIÓN/ DESA- EVALUACIÓN
RROLLO Y RESULTADOS
* Identificación de * Evaluación de necesidades
necesidades
* Programación, (diseño del * Evaluación del diseño

programa)
* Eval. implementación
* Puesta en marcha, * Eval. cobertura
desarrollo y gestión del * Eval. proceso
programa
* Resultados * Eval. producto

* Eval. impacto
* ...
Gráfico 4.- Relación entre planificación y evaluación de programas
Como puede observarse, ya se están apuntando los focos de atención en la

evaluación de programas, no obstante es necesario profundizar aún más en la
conceptualización del programa, por cuanto nos puede iluminar en dicho proceso
evaluativo. De hecho, como destaca Gairín (1993:82-83), la evaluación de
programas es en gran medida deudora de la manera como se confeccionaron y
de las concepciones implícitas o explícitas que asumen. En este sentido es
clarificadora la secuencia conceptual que nos propone el mismo autor, que en
síntesis nos remite a:
• Realidad sociocultural, política institucional y política de formación mantienen
entre sí un alto nivel de coherencia. De hecho, afirma, las instituciones y los
programas que realizan suelen responder habitualmente a las necesidades
socioculturales, de la misma forma que la política de formación se considera un
aspecto de la política institucional.
• La política de formación se concreta en la realización de programas que
buscan satisfacer determinadas necesidades. La priorización que se hace de
las necesidades a satisfacer (individuales o sociales; expresadas o percibidas;

etc.), determina claramente el tipo de objetivos que ha de perseguir el

programa, las acciones a realizar y la naturaleza de los procesos de
intervención.
SECUEN. ESTRUCTURAL SECUEN. CONCEPTUAL SECUEN. OPERATIVA
CONTEXTO SOCIO
-CULTURAL
DEFINIR:
POLÍTICA Finalidades
Grupo destinatario
INSTITUCIÓN
Grado Autonomía
EV. POLÍTICA
DIAGNO. FORMACIÓN
A.-
JUSTIFICACIÓN
DETECTAR
NECESIDADES
Instrumentalizac.
Necesidades Necesidades Necesidades Necesidades Configurar grupo
normativas Expresadas Percibidas Comparadas de incidencia
B.- DISEÑO
Objetivos
Acciones ESTRUCTURAR
Recursos EVAL. ELABORACIÓN Participación
Responsables ...
PLANIFI- DEL
Evaluación
CACION PROGRAMA
Temporalizac.
C.- Configurar grupo

diana.
OPERATIVA EVAL. DESARROLLO Establecer
Espacios PROCESO DEL mecanismos
Tiempos PROGRAMA seguimiento y
Profesorado control.
ESTABLECER
EVAL. EVALUACIÓN Receptores
RESULTADOS DEL información.
Núcleos de decisión
PROGRAMA
Gráfico 5.- Secuencia conceptual, estructural y operativa de la elaboración de programas de

formación (Gairín, 1993:84).

1.3 El proceso de evaluación de programas.-

El proceso de evaluación está estrechamente vinculado con el conjunto de las
fases que integran un programa de formación. Es más, la evaluación empieza
antes que un programa se implemente, en estrecha relación con todas las
actividades de planificación; es decir, empieza cuando han sido realizados los
juicios sobre la deseabilidad, necesidad del programa, cuando a partir de análisis
de necesidades se establece la política de formación en la institución formativa y
consecuentemente se establecen los planes y programas de formación, así como
sus objetivos, contenidos, actividades, recursos, etc. (Tejada 1989:90).
TIPO REFERENTE TAREA ÁMBITO

EVALUACIÓN APLICACIÓN
Del contexto/ territorio y estudio previo de la realidad: diagnóstico,
sociedad: problemas, necesidades, planificación y toma
necesidades
comunidad, grupos, recursos, conflictos, etc. de decisiones
sujetos, etc.
Del diseño expertos y análisis de criterios diseño y
profesionales en programáticos, justificación, planificación del
programar y coherencia y pertinencia del programa
planificar diseño
Del proceso profesionales y análisis del desarrollo del ejecución del
participantes en el programa: estrategias, programa
programa procedimientos, niveles de
ejecución, coordinación,
participación comunitaria
Del producto equipo evaluador valoración de los resultados obtención de
en relación con los objetivos conclusiones y
y necesidades: eficacia, toma de decisiones
eficiencia, etc.
Tabla 4.- Estructura metodológica de la evaluación en el desarrollo comunitario (Caride
1990)
En este primer momento, no es suficiente con atender a la deseabilidad y

necesidad del programa, siendo este el punto de partida en la evaluación de
programas (Caride, 1990; Tejedor, 1990). También hay que reparar en su
viabilidad; es decir, si las condiciones para el probable éxito del programa se dan
o debieran establecerse. Difícilmente se podrá desarrollar un programa si
previamente no se han eliminado sus obstáculos y ello sólo es posible con una
evaluación diagnóstica inicial del contexto de implementación. Además, esta
evaluación inicial comporta y posibilita igualmente la acomodación de dicho
programa a la situación misma, a las características del grupo destinatario, a los
propios recursos, a las características físicas y psicosociales de la institución, etc.
puesto que no siempre es susceptible desarrollar un programa de acuerdo a las
condiciones específicas y las variables que se tuvieron en cuenta en su
planificación. La contextualización del mismo es una tarea de capital importancia
para poder dar respuesta a aquellas demandas y condiciones del contexto donde
ha de implementarse. Consiguientemente, ello obliga a reparar en el propio

rediseño del programa, en los procedimientos, actividades, recursos y estrategias,

etc. de cara a conseguir los objetivos establecidos.
Funcionamiento de la
Institución tras el proceso
de formación
Mejora
Situación de
Funcionamiento “normal conseguida
materialización de los
“ de la Institución efectos de la acción
Situación previa a la Situación a la finalización

acción formativa de la acción formativa
PROGRAMA
• Decisión de formación
• Necesidades formación
• Fijación de objetivos
• Diseño de la acción
• Diseño de la evaluación POST 1 POST 2
Evaluación
formativa
Autoevaluación de la
situación previa de la Evaluación de Autoevaluación de
actividad formativa. efectividad resultados.
Auditoria PRE CAMPO POST de la actividad
Auditoria POST
Evaluación Evaluación
diagnóstica de gestión y
PRE de eficcia
Tabla 5.- Esquema básico de las implicaciones del proceso de evaluación de un programa
Respecto a su desarrollo, no sólo tendremos en cuenta el logro de los objetivos

planteados, siendo estos importantes, sino que interesarán igualmente los
procesos seguidos en su implementación, si se han introducido en el transcurso
del mismo modificaciones o mejoras, los cambios de actitudes tanto en los
formadores como en los participantes, etc. Con ello estamos apuntando
claramente los dos componentes de la evaluación formativa, valorando la
discrepancia entre lo diseñado y la realidad, por un lado; y la valoración del propio
proceso instructivo mientras se realiza, el progreso hacia los objetivos, etc. De
esta forma, continua y racionalmente estamos tomando decisiones sobre el
diseño o rediseño del programa en aras a su optimización.
Por último, ha de repararse sobre los resultados del programa una vez concluido,
si se han conseguido los objetivos -verificación de logros- de cara a acreditar,
certificar, etc. (evaluación sumativa) en relación con los alumnos, y también tomar
las decisiones necesarias sobre el programa de cara a su perfeccionamiento con
el correspondiente rediseño. El objetivo principal, pues, de esta evaluación final y
sumativa como indica Cabrera (1987:123) es proporcionar evidencias objetivas,
sistemáticas y completas del grado en que el programa ha conseguido los fines
que se proponía y el grado en que se han producidos otras consecuencias no

previstas, que una vez conocidas, sean también de interés para los responsables
y organizadores del programa.
Pero con ello no habríamos finalizado el proceso evaluativo. No bastaría con la
evaluación sumativa una vez concluido el programa. Habría que asegurar también
con una evaluación diferida, a corto-medio-largo plazo, la permanencia y
consistencia de los cambios producidos en los sujetos, la mejora de las prácticas
profesionales, los cambios institucionales, etc. según las metas del plan de
formación. La evaluación de los impactos del programa nos permitirá concluir
sobre la eficacia, eficiencia, comprensividad, validez y utilidad del programa, así
como sobre su rentabilidad profesional o social, según fuera el caso.
En cierta forma, estamos apuntando por un modelo de evaluación, cuya
representación gráfica reflejamos a continuación. Modelo que indiscutiblemente
integra elementos de otros modelos en la línea de los expuesto por Hamm
(1988:404-408) y que nosotros revisamos.
Como puede observarse, se integran elementos de los modelos de Scriven, Stake
y Stufflebeam. Los componentes de evaluación, tanto por lo que se refiere a un
programa o a los alumnos, quedan divididos en tres fases: antecedentes,
transacciones y resultados en la terminología de Stake (1976), con su correlato
en la subsiguiente división de contexto, input, proceso y producto de Stufflebeam
(1987).
El modelo permite como tal describir las intenciones y los acontecimientos en
cualquier fase, a la par que posibilita la toma de decisiones lo más racionalmente
posible a los responsables del programa respecto a la planificación y desarrollo
del mismo, tanto en lo que se refiere a la determinación de los objetivos como a la
determinación de los recursos, deficiencias y obstáculos observados antes y
durante su implementación con el consiguiente rediseño del programa.
Con todo ello, estamos asumiendo que no sólo interesan los resultados finales,
siendo estos importantes, sino que la implementación y desarrollo de un
programa, con las vicisitudes que entraña, cobran capital importancia. Esto nos
remite a la consideración de la evaluación formativa y sumativa de Scriven
(1967). Estando interrelacionadas, la finalidad de la primera apunta por la
optimización del programa, mientras que la segunda nos permite verificar su
eficacia, bien sea de una parte o en su totalidad.
Por último, cabe destacar igualmente el planteamiento de objetivos libres
descritos por Scriven (1973), en su modelo de evaluación sin referencia a metas.
Dentro de este planteamiento, el evaluador que aborda la evaluación de un
programa , debe evaluar, al margen de los objetivos del mismo, de manera que
pueda considerar todos los resultados del programa y no sólo los establecidos.
En síntesis, el modelo expuesto nos da una visión más completa, holística, sobre
la evaluación de programas, sus dimensiones, las decisiones sobre su
implementación y sus resultados, así como de los distintos implicados.

ANTECEDENTES TRANSACCIONES RESULTADOS

Contexto/input Proceso Producto
EVALUACIÓN EVALUACIÓN EVALUACIÓN

DIAGNOSTICA FORMATIVA SUMATIVA
contexto general programa actual cambio en:
EVALUACIÓN necesidades secuencia instructiva conocimientos
contexto instructivo temporalización destrezas
programa recursos actitudes
PROGRAMAS instrumentos dinámica autoconcepto,
medios y recursos, etc interacción, etc. etc.
mérito,
(REDISEÑO) (REDISEÑO) (REDISEÑO) EVALUACIÓN valor,
acontecimientos
ADECUACIÓN DEL PROGRAMA ADECUACIÓN DEL PROGRAMA ADECUACIÓN DEL PROGRAMA impactos,
SUMATIVA eficacia
eficiencia, etc.
datos biográficos relaciones conocimientos

conocimientos implicación actitudes
motivación participación motivación,
EVALUACIÓN actitudes interacciones autoconcepto,
destrezas motivación destrezas,
historia profesional actitudes etc.
DESTINATARIOS historia académica, etc. etc.
EVALUACIÓN INICIAL EVALUACIÓN CONTINUA EVALUACIÓN FINAL EVALUACIÓN DIFERIDA

Gráfico 6.- Modelo integrador de Evaluación de Programas (Tejada, 1991:92)

1.4 La planificación en la evaluación de programas.-

Este breve repaso del proceso evaluativo nos permite igualmente reparar en la
propia planificación de la evaluación, considerada la misma como una necesidad
de obligado cumplimiento en aras una mayor racionalidad, objetividad, validez y
pertenencia del hecho evaluativo, huyendo del libre albedrío o de la improvisación
a la hora de acometer la evaluación del programa que está funcionando o como
ocurre muchas veces está en sus fases finales.
Planificación que en los términos de Posavac (1989:27-38) hay que acometerla
considerando los siguientes puntos:
a.- Identificar la audiencia (personas relevantes, sponsor, director del
programa, clientes, destinatarios, etc.)
b.- Ajustar los encuentros preliminares con la audiencia con el propósito de fijar
qué tipo de evaluación, para qué y porqué de la misma, quien la realizará,
cuando se llevará a cabo y qué fuentes de información serán las relevantes
y válidas.
c.- Fijar la evaluabilidad del programa
d.- Revisar la literatura
e.- Determinar la metodología: estrategias, población y muestra, control-
comparación, selección-construcción de instrumentos, recogida de datos,
etc.
f.- Presentar una propuesta por escrito.
Al margen de las problemáticas que cada uno de los aspectos referidos entraña,
así como de su propia operativización, mas que fijar un plan de evaluación de
programas específico, preferimos reparar en los distintos tipos de evaluación
según el objeto, aportando pautas, procedimientos y criterios generales para
tenerlos en cuenta en la planificación de la evaluación de los mismos, ya que
cada realidad nos obligará a significar unos aspectos sobre otros, y de la toma de
decisiones que hagamos al respecto resultará el plan de evaluación de
programas concreto (Mateo, 1994).
Desde un punto de vista operativo, podemos concretar la secuencia a seguir
desde la idea del trabajo en equipo, dada la complejidad de dicho proceso y la
dificultad para abordarla desde la individualidad. Queremos decir con ello que por
muy experto o competente que se sea en evaluación, las exigencias del proceso
evaluativo nos manifiesta su insuficiencia y nos obliga al trabajo interdisciplinar,
consecuencia de la implicación de diferentes ámbitos y protagonistas. Además de
integrar el potencial de los distintos miembros del equipo de evaluación y obtener
con ello garantías suficientes para el conjunto de problemáticas que se
evidencian en el referido proceso, se advierte con ello también la virtualidad de la
triangulación, la intersubjetividad y la complementariedad entre evaluación interna
y externa, auto y heteroevaluación. Con posterioridad abordaremos las
implicación de este planteamiento.
FASE PROPÓSITO ACTIVIDADES QUE

IMPLICA
1. FORMULACIÓN DE Identificación y precisión • Definir la audiencia
LA EVALUACIÓN de la naturaleza de la
evaluación • Determinar el propósito
• Identificar los aspectos
relevantes
2. VALORACIÓN DE Análisis a priori de la • Listado de los
LA credibilidad y utilidad de componentes básicos:
EVALUABILIDAD la evaluación que se va a objetivos, resultados y
efectuar. efectos.
Reordenación de la • Elección de los más
misma relevantes.
• Análisis crítico de la
posibilidad de analizarlos a
través del estudio
evaluativo
3. PLANIFICACIÓN DE Implementación de la • Elección del modelo
LA EVALUACIÓN evaluación
• Determinación de la
metodología
4. EJECUCIÓN DE LA Ejecución del proceso • Elaboración del diseño.
EVALUACIÓN evaluativo
• Recogida de la
información.
• Análisis e interpretación de
la información.
5. UTILIZACIÓN DE Toma de decisiones a • Informe de evaluación
LA EVALUACIÓN partir de las conclusiones
elaboradas en el informe • Toma de decisiones
evaluativo y otros
aspectos a considerar
6. METAEVALUACIÓN Evaluación de la • Elección de los criterios
evaluación referenciales evaluativos
• Análisis y valoración
efectuada en base a
dichos objetivos.
Tabla 6.- El proceso de evaluación (a partir de Mateo, 1994:61).
También podemos diferenciar en el proceso de evaluación de programas y su

planificación, una doble exigencia. De un lado, el trabajo interno para el equipo,
implicando tareas o actividades relacionadas con el diseño, la documentación y
su análisis, la elaboración de instrumentos, el análisis de la información recogida
y su sistematización, para llegar a elaborar el informe final. De otro lado, el trabajo
externo o de campo, incluyendo acciones tales como la presentación del plan y su
negociación entre los diferentes implicados (expertos, esponsor, audiencias, etc.),
la recogida de la información y su ampliación o contrastación.

El siguiente ideograma ilustra claramente dicho procedimiento en la evaluación de

programas.
TRABAJO DE CAMPO TRABAJO INTERNO
IDEA DEL PROYECTO
R DISEÑO
E
F
L DOCUMENTACIÓN
E PRESENTACIÓN
PRESENTACIÓN
X
I COMPROMISO
NEGOCIACIÓN Ó
N
ANALISIS DE
DOCUMENTOS.
E INSTRUMENTALIZACIÓN
RECOGIDA DE LA N
INFORMACIÓN
ANÁLISIS DE LA
E INFORMACIÓN
AMPLIACIÓN Y Q
CONTRASTACIÓN U
I SISTEMATIZACIÓN
P ORGANIZACIÓN
O
ÚLTIMA PUESTA
EN COMÚN
INFORME FINAL
Gráfico 7.- Ideograma de flujo en evaluación de programas (a partir de Jiménez,

1996)

1.5 La instrumentalización en la evaluación de programas

Desde un punto de vista eminentemente práctico, la instrumentalización se erige
como una de las facetas o tareas más importantes en el diseño de la evaluación
de programas, por cuanto en ella concurren y se integran prácticamente el resto
de las dimensiones evaluativas. Es más, se ha evidenciado en la práctica, todo y
que se hayan acometido adecuadamente la dimensión conceptual y
metodológica, que el olvido o desconsideración de las exigencias que entraña
esta dimensión operativa, ha impedido realizar la evaluación del programa.
La importancia de esta dimensión y nuestra preocupación por ella la podemos
encontrar en el primer apunte de nuestra definición –proceso sistemático de
recogida de información-. Esta consideración nos indica que no toda o cualquier
información que podamos obtener es la pertinente para nuestros objetivos o
finalidades evaluativas. Es decir, dicha información está en estrecha dependencia
de QUÉ queremos evaluar (objeto) PARA QUÉ (finalidad) y e FUNCIÓN DE QUÉ
(referente-criterio) lo vamos a hacer básicamente. Dicho de otra forma, la
información depende de las necesidades evaluativas derivadas del objeto y de la
finalidad, siendo el criterio un operador básico que hay que integrar en este
momento, en la línea del segundo y tercer apunte de la definición –implica un
juicio de valor orientada a la toma de decisiones-. Las cuestiones de evaluación,
pues, con independencia en este momento del instrumento y la fuente de
información son la resultante de esta triple integración.
Esta preocupación nos obliga a reparar, aunque sea mínimamente en el objeto,
indicadores, criterios y referente evaluativo. Aparte de las consideraciones que ya
hemos realizadas sobre cada una de estas dimensiones de la evaluación al
comentar nuestro modelo conceptual (hexágono) de evaluación, cabe advertir
que el referente (política formativa, contexto de intervención, principios
psicopedagógicos de E-A y los propios participantes-destinatarios de la
formación) es una fuente tanto de criterios como de indicadores de evaluación en
la medida que del mismo se derivan, en parte, las necesidades evaluativas. Estos
hay que considerarlos como normas de referencia para valorar el objeto
evaluado. Con anterioridad hemos planteado y definido algunos de ellos, de ahí
que ahora eludamos mayor profundización en este particular
Los indicadores de evaluación, considerados en este momento como
concreciones del objeto, quedan afectados en su selección por el referente y los
criterios implicados para la valoración y toma de decisiones y por la propia
conceptualización del objeto a evaluar. En consonancia con Gairín (1993:94-95)
vendrían a ser la “concreción de un conjunto de fenómenos que definen y
delimitan aspectos de un programa, y como elementos que facilitan la
determinación de las modificaciones que se producen, resultan ser la parte más
definida de la evaluación”. Ello obliga a elegir-seleccionar los más idóneos, al
margen de otras consideraciones sobre su utilidad, validez, objetividad,
especificidad, transparencia que obviamos en este momento.
En resumen, objetos, indicadores, criterios y referente se constituyen en los
posibilitadores de la construcción racional de instrumentos de recogida de
información, con lo cual nos estamos acercando a la dimensión operativa de la
evaluación. De alguna manera son los elementos que posibilitan la elaboración
de cuestiones evaluativas. La conformación definitiva de las mismas en clave de

ítems dependerá de la tipología del instrumento, (abierto-cerrado) y de los propios

destinatarios de los mismos, realizando para ello la imprescindible tarea de
acomodación a sus propias características (vocabulario usual, dificultad-sencillez,
mecanismo de respuesta, etc.). El siguiente ideograma a partir de Gairín (1993)
puede ilustrar claramente lo dicho hasta ahora.
OBJETO INDICADORES CRITERIOS REFERENTES

Diseño del programa Objetivos Eficacia
Contenidos
Eficiencia
Actividades Política de
...... Pertinencia formación
Desarrollo del Estrategias
Idoneidad
programa Recursos Contexto
Clima Relevancia
Implicación Principios
Objetividad
....... Psicopedagógicos
Resultados del Logros Satisfactoriedad
programa Impacto Participantes-
Suficiencia
Costes Destinatarios
Cuestiones de evaluación
• ¿Los objetivos definidos son relevantes con la política de formación?
• ¿Los objetivos formulados son suficientes para satisfacer las necesidades de los
destinatarios?
• ¿La selección de contenidos es pertinente con el contexto?
• ¿La metodología permite la participación activa?
• ¿La duración de las sesiones se adecua a las necesidades del contexto?
• ¿Las prácticas realizadas satisfacen las necesidades de los participantes?
• ¿Nivel de los objetivos logrados?
• ¿Satisfacción de las expectativas de los participantes?
• ¿Nivel de cambio producido en la práctica profesional?
• ¿Suficiencia del presupuesto asignado?
..................
INSTRUMENTO
Abierto Extenso ........

Cerrado Limitado ........
Gráfico 8.- Proceso de instrumentalización
La primera cuestión respondería a la integración de objeto diseño del programa,

del indicador objetivos, del criterio pertinencia y del referente política de
formación. En la misma dirección se pueden analizar el resto de ejemplos de
cuestiones evaluativas. Posteriormente, concretaremos esta dimensión en los
distintos fragmentos del programa.

1.6 Problemáticas-dificultades en la evaluación de programas

Venimos sosteniendo en este capítulo inicial que la evaluación es un proceso
susceptible de planificación, que entraña organizar los distintos elementos,
sistematizar las fases en su desarrollo, temporalizar las secuencias planificadas y
proveer los recursos necesarios para que la misma pueda llevarse a cabo.
Todo ello supone, además de vencer las resistencias-obstáculos-dificultades que
genera su organización y su desarrollo, proveer de un organigrama evaluativo
(asignación de tareas y responsabilidades, competencia técnica) y propiciar los
instrumentos, técnicas y metodologías idóneas en cada momento, dentro de un
modelo, ajustado y coherente con los propósitos evaluativos.
Es en este contexto de referencia en el que queremos ubicarnos a la hora de
analizar las problemáticas y dificultades que entraña el proceso de evaluación,
tanto en su planificación como en su realización práctica. Se trata con ello de
evidenciar los elementos que deben ser objeto de atención en el proceso de
configuración y desarrollo de la evaluación y no tanto el justificar la dificultad de la
misma.
Conviene en primer lugar, antes de empezar y sin pretender ser exhaustivos,
tener un marco de referencia sobre el proceso de evaluación en el ámbito de la
evaluación de programas (aunque el mismo sea extrapolable a otros ámbitos:
centros, profesores, alumnos,...). Para ello retomaremos nuevamente, por ser
suficientemente ilustrativa, la síntesis que nos ofrece Mateo (1994:61) sobre el
proceso de evaluación, teniendo presente las fases, propósitos y actividades que
implica.
Cabe considerar en este momento que las posibles dificultades en el proceso de
evaluación de programas nos remiten a los conceptos ya acuñados de la
evaluación de la evaluabilidad o factibilidad de la evaluación, de tal forma que,
aunque las respuestas no puedan ser genéricas, en situaciones de graves
dificultades, la puesta en marcha de un programa se pone claramente en
entredicho.
También habrá que considerar que los programas son deudores de la forma
como se confeccionaron y de los objetivos y finalidades que se les asignaron.
Una indefinición de metas o la falta de claridad en las acciones que el propio
programa plantea es lógico que sean una fuente de problemáticas y, en último
extremo, una dificultad para la evaluación.
Al referirnos a las problemáticas en la evaluación de programas, estamos
aludiendo a aquellos obstáculos que podemos encontrar a lo largo del proceso
evaluativo, que afectan tanto a la viabilidad, factibilidad y utilidad de la misma, y,
por tanto, repercuten en el proceso de recogida de información, la emisión del
juicio de valor y en la consecuente toma de decisiones.
Dado que podría ser prolijo la especificación de cada una de ellas, procuraremos
concretarlas en torno a aquellas que tienen un carácter general y aquellas otras
que en el mismo proceso pueden considerarse específicas.

GENERALES • Teórico-conceptuales
• Sustantivas
• Metodológicas
ESPECÍFICAS • Diseño-implementación del programa
• Diseño de evaluación
• Desarrollo de la evaluación
• El evaluador/res como problema
• Los destinatarios y su participación
Tabla 7.- Clasificación de las problemáticas-dificultades
1.- Problemáticas-dificultades generales:

En este sentido, cabe diferenciar tres tipos: a) teórico-conceptuales, b)
sustantivos y c) metodológicos.
a) Problemáticas teórico-conceptuales: Hacen referencia al concepto de
evaluación y de programas que se utiliza y que justifica diferentes enfoques
que en la práctica se adoptan.
⇒ En primer lugar, hemos de referir una problemática global que se deriva
del abordaje paradigmático marcadamente exclusivista. Queremos
decir que la evaluación, en la línea de lo expuesto por Anguera (1990:83),
tiene un carácter científico y que puede considerarse como una debilidad
teórico-conceptual abordarla exclusivamente desde un sólo paradigma.
Todos, en síntesis, pueden ser complementarios. El posicionarse en uno
u otro afecta sobre todo al tipo de decisiones que pueden tomarse en
relación con las metodologías, instrumentos y técnicas de evaluación, así
como el papel del evaluador y a las finalidades evaluativas.
⇒ Considerar la planificación y la evaluación como esquemas
sucesivos y no simultáneos e interrelacionados: Así, como ejemplo, si
la planificación conlleva la identificación de necesidades o problemas, la
evaluación aporta procedimientos para detectarlos o, si se establece el
plan de actuación, la evaluación analiza la conceptualización subyacente
y la lógica del programa de intervención.
⇒ Diferenciar el proceso de recopilación y análisis de la información
del proceso de valoración.
⇒ Presentar como perspectivas contrapuestas la evaluación de
procesos y la evaluación de resultados o como sinónimos la
evaluación formativa y la evaluación de desarrollo.
b) Problemáticas sustantivas:
Referentes a las decisiones sobre el diseño de evaluación planificado y sobre la
forma como se ha de desarrollar. Al respecto, pueden citarse (Gairín, 1992:223):

⇒ Falta algún elemento en el diseño de evaluación: no se considera el

presupuesto, los recursos necesarios, etc.
⇒ Ambigüedad en la definición de los elementos, lo son de manera muy
general, de tal forma que se hace difícil evaluar la factibilidad de la
evaluación por la falta de concreción.
⇒ Incoherencia interna en el plan de evaluación; esto es, los elementos
considerados no se subordinan a los mismos objetivos, no se contemplan
todas ala actuaciones necesarias, la metodología es incoherente con la
naturaleza del objeto a evaluar o con los recursos existentes, la
temporalización no la imposibilidad de simultanear acciones, etc.
⇒ Inexistencia de mecanismos de control para evaluar los efectos “no
previstos” y “no previsibles”.
c) Problemáticas metodológicas:
Tienen que ver específicamente con la metodología a usar en el propio proceso.
En este ámbito podemos referir:
⇒ debilidad metodológica en los diseños-modelos de evaluación,
resultante de la falta de experiencia en evaluación. Se verifica, además,
en la práctica, que la misma está en relación o en consonancia con la
competencia profesional en función de la formación metodológica que
poseen los evaluadores.
⇒ No se aplican criterios de validez, fiabilidad y pertinencia,
particularmente los referidos a la determinación de la población y muestra
de estudio y los instrumentos de medida, que afectan a la validez interna
y externa de la propia evaluación.
⇒ la falta de tradición o cultura evaluativa. Consideramos, en todo caso,
que la evaluación como tal es joven, de ahí sus problemas. En la medida
que se incremente la cultura evaluativa, y exista experiencia, más allá de
lo burocrático, en la evaluación, estas dificultades irán menguando,
posibilitándose a través de dicha experiencia recursos para mejorar y
superar la debilidad metodológica.
2.- Problemáticas-dificultades específicas:
Teniendo presente las problemáticas generales, ya planteadas, presentamos a
continuación algunas otras específicas, con carácter complementario, y con el
objetivo de concretar aún más el proceso de evaluación desde esta óptica. En
este caso las organizamos también de acuerdo al programa, al propio proceso de
evaluación, para detenernos por último en los implicados en la evaluación.
a) Diseño e implementación del programa:
Como destaca Anguera (1990:85) afectan a la factibilidad de la propia evaluación.
En este particular, destacamos en consonancia con la autora referida:
⇒ Objetivos mal definidos (imprecisión, vaguedad, etc.), que a veces nos
remiten a reelaborar el propio programa de cara a su implementación.

⇒ Fines-objetivos generales no realistas-ilusorios-utópicos, por no atender a

las necesidades que ha de satisfacer el programa.
⇒ Falta de claridad en las tareas a realizar.
⇒ Inexistencia de organigrama de secuenciación de las acciones.
⇒ Falta de calendario o previsión temporal (cronograma).
⇒ Falta de monitorización-asesoramiento de los ejecutores del programa.
b) Diseño de la evaluación:
Básicamente afectan a su estructura y a la naturaleza de los elementos que en él
quedan definidos (Gairín, 1992:225). Se pueden concretar en:
⇒ Falta de la consideración del contexto y de los grupos destinatarios.
⇒ No partir del análisis de las demandas.
⇒ Falta de participación de los protagonistas (usuarios, técnicos,
responsables, “esponsors”, etc.).
⇒ Delimitación de objetivos deficientes (ambiguos, contradictorios o
utópicos).
⇒ Actuaciones no secuenciadas o excesivamente genéricas.
⇒ Ausencia de cronograma o previsión temporal.
⇒ No explicitación de los recursos necesarios.
⇒ Ausencia de organigrama o responsables del proceso (diferenciación
funcional).
Dado que estas problemáticas son estructurales, su modificación aumentaría la
validez interna del diseño, por contra, su presencia resta credibilidad a la propia
evaluación.
c) Desarrollo de la evaluación:
Tienen que ver con la ejecución de la evaluación. En esta fase podemos
encontrar:
⇒ Errores sistemáticos no previsibles de localización de destinatarios,
problemas sobre la cumplimentación de protocolos, desfases temporales,
mortandad experimental, etc.
⇒ No someter el proceso de evaluación a control, ya sea contrastando las
fuentes de información o evaluando el mismo proceso (metaevaluación).
⇒ Realización del informe parcializado, sin fundamentarlo adecuadamente a
las conclusiones (se olvidan los límites que han existido, se ignorar los
efectos secundarios o se basa la información en una sola persona o se
contaminan las valoraciones con sentimientos personales.
⇒ No se consideran adecuadamente las normas de evaluación. Al respecto
pueden servir de guía las publicadas en 1988 y actualizadas en 1998, por
el Joint Committee on Standars for Educational Evaluation y que hacen
referencia a normas de utilidad, factibilidad, legitimidad y precisión.

d) El evaluador/es como problema.

En este caso, los principales problemas que se presentan son:
⇒ la falta de competencia metodológica del propio evaluador. Este
necesita una formación específica para acometer las tareas que implica
tanto el diseño-planificación como la ejecución de la evaluación. Además,
aunque exista tal competencia, no siempre es una garantía para una
evaluación de calidad, sobre todo desde la óptica de la evaluación externa
como veremos.
⇒ la relación entre evaluadores y las demás personas implicadas en el
hecho evaluativo ("esponsors", docentes, gestores, etc. y la derivada de
la complementariedad entre evaluación interna y evaluación externa, para
evitar el sesgo unidireccional que puede producirse cuando se acometen
evaluaciones exclusivamente desde una u otra óptica. Los primeros
generan recelos, temores, suspicacias, con sus consabidas repercusiones
sobre la aceptación o inhibición de los segundos. Además, al no estar
implicados en el programa, no conocer todas las dimensiones y dinámicas
subyacentes que se originan o presentan durante el desarrollo del mismo.
Los segundos, por contra, dada su implicación afectiva, tienen “falta de
miras”, y deficiencias para evaluar por estar dedicando sus energías a
otros quehaceres, no propiamente evaluativas.
e) Los destinatarios y su participación. La participación en los procesos de
evaluación es hoy día una exigencia técnica (aporta validez a las variables,
preguntas, indicadores y criterios) y social (necesaria como garantía de la utilidad
y aplicabilidad de lo obtenido) pero no por ello ha de incidir en el intercambio de
papeles (Gairín, 1992:224).
Además de todo lo apuntado en el apartado anterior, existen puntos de fricción
entre los implicados en los procesos de evaluación que hay que tener presentes
igualmente como problemáticas y dificultades del propio proceso y que se pueden
concretar en torno a:
⇒ Diferencias de personalidad entre evaluadores, responsables, gestores,
etc. (evaluadores, como asépticos, neutrales, responsables-gestores como
extrovertidos, etc.)
⇒ Falta del diferenciación funcional (o de papeles en el propio proceso) entre
responsables, gestores, ejecutores, evaluadores.
⇒ Falta de definición nítida de los distintos papeles en el proceso.
⇒ Metas, valores, intereses, expectativas y marcos de referencia en conflicto.
⇒ Características institucionales (larga/corta historia, experiencia, conflictos
institucionales, cultura, clima organizacional, etc.).
Estos puntos de fricción se pueden concretar en acciones-tareas del proceso que
igualmente quedan afectadas en su desarrollo. En este sentido sencillamente
queremos puntualizar en torno a:
⇒ Recolección de datos

⇒ Cambios en los procedimientos para llevar registros (falta de univocidad de

criterios).
⇒ Selección de los participantes en el programa.
⇒ Elección de grupos (muestra: grupos experimentales y controles).
⇒ Retroalimentación de la información en el programa.
⇒ Rivalidad de rango
Ante tales situaciones no es de sorprender la presencia de las resistencias en los
afectados por la evaluación. Resistencias, consubstanciales al propio proceso,
que pueden concretarse entre otras por:
⇒ Miedo que las evaluaciones impidan el desarrollo del programa
⇒ Miedo a que el programa finalice.
⇒ Miedo a que la información puede ser abusiva, engañosa, mal utilizada,
etc.
⇒ Miedo a que se agoten los recursos del programa.
⇒ Miedo a que la comprensión cualitativa del proceso pueda ser suplantada
⇒ Miedo a pérdida de control del programa.
⇒ Miedo a que la evaluación tenga escaso impacto
Las mismas pueden patentizarse de distintas formas, entre otras destacamos la
falta de colaboración en la evaluación por parte de los usuarios-afectados, bien
sea por recelo u otras motivaciones, pero que posibilitan una información sesgada
o rechazo directo, no cumplimiento de protocolos o cualquier instrumento. etc.
1.6.1 Patologías generales y abusos de la evaluación como síntesis de las
problemáticas-dificultades
Este breve análisis nos permite llegar a las patologías de la evaluación, bien
ilustradas por Santos Guerra (1993:15-31) y que de manera sintética podemos
apuntar:
♦ Ev. unilateralmente (alumnos, resultados, conocimientos...)

♦ Ev. lo explícito, lo observable.
♦ Ev. negativamente
♦ Ev. descontextualizadamente
♦ Ev. lo pretendido.
♦ Ev. estereotipadamente (planes, instrumentos...)
♦ Ev. para controlar, para conservar
♦ Ev. sólo interna
♦ Ev. incoherentemente con el proceso E-A.

♦ Ev. competitivamente
♦ No evaluar éticamente.
♦ No realizar paraevaluación
♦ No realizar metaevaluación
♦ Ev. distemporalmente
♦ No se incluye autoevaluación
♦ No se integran diferentes informaciones.
Tabla 8.- Patologías de la evaluación (Santos Guerra, 1993).
En la misma dirección, podrían considerarse igualmente los abusos de la

evaluación, también expuestos por Santos Guerra (1993:45-56):
♦ Convertirla en un elogio a quien la patrocina o la realiza.
♦ Elegir sesgadamente algunas parcelas o experiencias que
favorezcan una realidad o una visión de la misma.
♦ Hacer una evaluación de diferente naturaleza y rigor para
realidades igualmente importantes.
♦ Convertirla en un instrumento de dominación, control y opresión.
♦ Ponerla al servicio de quienes más tienen o pueden.
♦ Atribuir los resultados a causas más o menos supuestas a
través de procesos atributivos arbitrarios.
♦ Encargarla a equipos o personas sin independencia o valor para
decir la verdad.
♦ Silenciar los resultados respecto a los evaluador o a otras
personas.
♦ Seleccionar aquellos aspectos que permitan tomar decisiones que
apoyan las iniciativas, ideas o planteamiento del poder.
♦ Hacer públicas sólo aquellas partes del informe que tienen un
carácter halagador.
♦ Descalificar la evaluación achacándole falta de rigor si los
resultados no interesan.
♦ Dar por buenos los resultados a pesar de la falta de rigor,
cuando esto no es lo que interesa.
♦ Utilizar los resultados para tomas decisiones clara o
subrepticiamente injustas.
♦ Aprovechar la evaluación para hacer falsas comparaciones entre
lo que es realmente incomparable.

♦ Atribuir los malos resultados no al desarrollo del programa sino a

la torpeza, la pereza o la mala preparación o voluntad de los
usuarios del mismo.
Tabla 9.- Abusos de la evaluación (Santos Guerra, 1993)
1.6.2 Algunas alternativas para la superación de las dificultades-

problemáticas en el proceso de evaluación.-
Como puede apreciarse, al margen de cualquier comentario específico, la falta
de cultura evaluativa se convierte en el principal problema de los procesos
evaluativos. Así pues, toda intervención que procure incrementar la cultura
evaluativa automáticamente, además de vencer las resistencias a la evaluación,
incidirá en la solución de las problemáticas apuntadas. Esto nos remite a insinuar
acciones que afecten al conocimiento de la estructura del programa, sus
destinatarios, objetivos, contexto de aplicación, recursos, etc.; a la estrecha
relación que se ha de establecer entre los evaluadores y los implicados por el
programa, bien sean los destinatarios directos de la acción, o bien los
responsables del mismo, en aras a la comunicabilidad necesaria para evaluar; al
establecimiento de la secuencia temporal, operativa, metodológica e instrumental
de la evaluación.
Todo ello incidirá tanto en la objetividad (intersubjetividad), como en factibilidad,
viabilidad y utilidad de la evaluación.
De manera más específica podemos precisar:
1. Estudio del diseño del programa: identificando sus componentes y
analizando las conexiones entre los mismos (institución que los financia,
informes anuales, presupuestos, recursos materiales, personal implicado,
contexto de funcionamiento, necesidades que pretende satisfacer, efectos
previstos, destinatarios, temporalización, etc.
2. Comprobación del proceso de implementación-desarrollo del
programa: recabando información sobre cómo se implementa, quienes son
los beneficiarios, quienes son los usuarios -implementadores-, recursos
implicados durante el desarrollo, problemáticas, obstáculos y resistencias,
seguimiento de la temporalización prevista, etc.
3. Disponer de un plan preciso, claro y negociado sobre la evaluación y
su proceso: El mismo debe reflejar con exactitud los objetos de evaluación,
finalidades y objetivos (claves para la toma de decisiones), momentos
(cronograma evaluativo), instrumentos (válidos, fiables, pertinentes), fuentes
de información (documentales o personales) y evaluadores (organigrama
funcional).
4. Complementar evaluación interna con la externa: como superadoras de
las deficiencias implícitas de cada una de ellas. En el tabla siguiente
presentamos las ventajas e inconvenientes de una y otra, asumiendo la
complementariedad.
EVALUACIÓN INTERNA EXTERNA

Conocimiento del programa +- -+

Conocimiento del contexto + -
aplicación - +
Experiencia técnica + -
Implicación afectiva + -
Evaluación formativa - +
Evaluación sumativa
Tabla 10.- Ventajas e inconvenientes entre evaluación interna-externa
5. Operar desde enfoques paradigmáticos no exclusivistas, sino más bien

complementarios: Esto afecto al diseño y desarrollo metodológico, los
instrumentos y técnicas de recogida de información, así como el papel del
evaluador y las finalidades evaluativas. En este sentido, derivado de la
propia conceptualización de la evaluación proponemos la gráfico siguiente
como superadora de tales reduccionismos.

PROBLEMA PARADIGMÁTICO
CIENTÍFICO POSITIVISTA INTERPRETATIVO-FENOMENOLÓFICO SOCIOCRÍTICO
Hecho Valor Acción
Medida Valoración Toma de decisiones
COMPLEMENTARIEDAD
EVALUACION
Gráfico 9.- Implicaciones paradigmáticas en la evaluación (Tejada 1995)
6. Disponer de consenso tanto en el diseño como desarrollo de la

evaluación entre los implicados en la misma: lo que obliga a las
pertinentes reuniones y negociaciones y cuya resultante es la unificación de
criterios evaluativos.
7. Trabajar en grupo (equipo de evaluación): superando las limitaciones
derivadas de los individualismos. Dada la complejidad del proceso
evaluativo es imposible que una única persona sea capaz de acometer con
garantías todas las tareas que el mismo entraña. Además, el equipo implica
un gran potencial, por cuanto la diferenciación funcional y competencial (si
las definiciones de los roles son claras) posibilita mayor riqueza y
posibilidades tanto en el diseño, ejecución y toma de decisiones.
8. Propiciar recursos y apoyo por parte de los administradores o
directivos: Lo que conlleva consecuencias organizativas -espacio y tiempo
para evaluar-. También ello puede afectar a la formación sobre evaluación,
como recurso necesario e imprescindible para que la misma sea acometida
con posibilidades de éxito.
9. Articular un sistema de retroalimentación del propio proceso, con
información útil y válida para la toma de decisiones respecto al seguimiento

y desarrollo del propio plan de evaluación, así como para los propios
implicadados tanto en la implementación-desarrollo del programa como en
la evaluación del mismo.
10.Incorporar la metaevaluación como herramienta de control y mejora de
los procesos de evaluación, dado que la propia complejidad del proceso
evaluativo exige este requisito para poderle ser riguroso, contrarrestando los
riesgos del mismo y poderle atribuir valor.
En síntesis, queremos concluir en la línea de Santos Guerra (1993:34-35) que
estas aproximaciones nos remiten a una evaluación más valiosa que se
caracterizaría por:
• Independiente y por ello comprometida.
• Cualitativa y no meramente cuantitativa.
• Práctica y no meramente especulativa.
• Democrática y no autocrática.
• Procesual, no meramente final.
• Participativa, no mecanicista.
• Colegiada, no individualista.
• Externa, aunque de iniciativa interna.

Capitulo 1

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Capitulo 1

Cargado por

Copyright:

Formatos disponibles

La evaluación de programas: consideraciones generales

1.- La evaluación de programas:

1.1 DIMENSIONES DE LA EVALUACIÓN.- ..................................................................................................11

José Tejada Fernández

José Tejada Fernández, UAB, 1998 10

1.1 Dimensiones de la evaluación.-

José Tejada Fernández, UAB, 1998 11

Gráfico 1.- Dimensiones básicas de la evaluación educativa (Tejada 1991:88).-

b) La finalidad perseguida por la evaluación (diagnóstica, formativa y sumativa)

José Tejada Fernández, UAB, 1998 12

Funciones relativas a las personas Funciones relativas a un sistema

Funciones relativas al conocimiento

La evaluación diagnóstica nos permite conocer la realidad en la que operará

José Tejada Fernández, UAB, 1998 13

FINALIDAD MOMENTO OBJETIVOS DECISIONES A TOMAR

c) El momento evaluativo, conectado con la finalidad, es otra de las dimensiones

José Tejada Fernández, UAB, 1998 14

José Tejada Fernández, UAB, 1998 15

Tabla 2. Modelos de evaluación de programas (Tejada, 1989:114-116)

José Tejada Fernández, UAB, 1998 16

En el tabla 3 se presenta una breve ilustración de criterios e indicadores

La complejidad de la evaluación, pues, se hace evidente a la vista de lo analizado

1.2 El programa y su evaluación.-

José Tejada Fernández, UAB, 1998 17

Una vez delimitadas las dimensiones de la evaluación, en las que ineludiblemente

José Tejada Fernández, UAB, 1998 18

Informe Informe de Informe

DIAGNÓSTICA FORMATIVA SUMATIVA

Contexto Realización Resultados

Inicial Continua Final/Diferida

Resultados Final-Corto plazo-

José Tejada Fernández, UAB, 1998 19

se evidencia, más allá de las tareas, actividades, tipologías de evaluación,

* Programación, (diseño del * Evaluación del diseño

* Resultados * Eval. producto

Como puede observarse, ya se están apuntando los focos de atención en la

José Tejada Fernández, UAB, 1998 20

etc.), determina claramente el tipo de objetivos que ha de perseguir el

SECUEN. ESTRUCTURAL SECUEN. CONCEPTUAL SECUEN. OPERATIVA

C.- Configurar grupo

Gráfico 5.- Secuencia conceptual, estructural y operativa de la elaboración de programas de

José Tejada Fernández, UAB, 1998 21

1.3 El proceso de evaluación de programas.-

TIPO REFERENTE TAREA ÁMBITO

En este primer momento, no es suficiente con atender a la deseabilidad y

José Tejada Fernández, UAB, 1998 22

rediseño del programa, en los procedimientos, actividades, recursos y estrategias,

Situación previa a la Situación a la finalización

Respecto a su desarrollo, no sólo tendremos en cuenta el logro de los objetivos

José Tejada Fernández, UAB, 1998 23

José Tejada Fernández, UAB, 1998 24

ANTECEDENTES TRANSACCIONES RESULTADOS

EVALUACIÓN EVALUACIÓN EVALUACIÓN

datos biográficos relaciones conocimientos

EVALUACIÓN INICIAL EVALUACIÓN CONTINUA EVALUACIÓN FINAL EVALUACIÓN DIFERIDA

José Tejada Fernández, UAB, 1998 25

1.4 La planificación en la evaluación de programas.-

FASE PROPÓSITO ACTIVIDADES QUE

José Tejada Fernández, UAB, 1998 26

También podemos diferenciar en el proceso de evaluación de programas y su

José Tejada Fernández, UAB, 1998 27

El siguiente ideograma ilustra claramente dicho procedimiento en la evaluación de

TRABAJO DE CAMPO TRABAJO INTERNO