TEMA 1: MODELOS, MÉTODOS E INDICADORES PARA EVALUAR PROGRAMAS E

INSTITUCIONES E INNOVACIONES EDUCATIVAS

1.- Introducción a la investigación evaluativa

La investigación evaluativa es considerada una forma de investigación aplicada porque es,

fundamentalmente, una actividad práctica, centrada en la recogida de información relevante para
un particular problema, programa o producto, currículo o una actividad en el aula.

Para Patton, el propósito de la investigación evaluativa es: informar a la acción, apoyar la

toma de decisiones y aplicar el conocimiento para resolver problemas.

La investigación evaluativa está orientada hacia la toma de decisiones, a diferencia de la

investigación académica clásica, que está orientada a las conclusiones.

La investigación evaluativa normalmente se realiza en entornos reales y a través de la

aplicación rigurosa de los métodos de investigación cualitativos o cuantitativos o ambos, pero
también con el sentido de responsabilidad y servicio hacia los futuros usuarios/beneficiarios de la
información.

2.- Concepto de evaluación de programas

La evaluación es un proceso para valorar el mérito o valor de algo. Comprende descripción
y juicio, con la finalidad de orientar la toma de decisiones de mejora de lo evaluado

A continuación expondré algunas definiciones sobre este concepto.

Ralph Tyler concebía la evaluación como "El proceso para determinar en qué medida los
objetivos educativos han sido realizados" (Tyler, 1950:69 en Martínez Mediano, 2007:58)

Para Scriven (1980:18), la evaluación, “es el proceso de determinar el valor y la calidad de

algo, siendo las evaluaciones el resultado de dicho proceso, concluyendo con un juicio
evaluativo”. Señala dos funciones de la evaluación:

Formativa durante la aplicación del programa

Sumativa sobre los resultados finales del programa

Cronbach et al. (1980:14), definen la evaluación de programas como un: "examen

sistemático de los acontecimientos que ocurren durante el proceso de aplicación de un programa
y las consecuencias que se derivan del mismo, con el fin de ayudar a su mejora y a la de otros
programas con similar propósito y características".

Una importante aportación de este autor en el diseño de la evaluación es la pertinencia

de contar con un amplio grupo de métodos, estrategias y técnicas de investigación dirigidas a la
toma de decisiones.
 Para Stufflebeam y Shinkfield (1987:166), "la evaluación es un proceso mediante el cual se
proporciona información útil para la toma de decisiones”. Señalan tres etapas en el proceso de
evaluación para Identificar, obtener y proporcionar información sobre el programa valorándolo
sobre sus metas, planificación, realización e impacto con el objetivo de: tomar decisiones,
proporcionar información y contribuir a su comprensión con el criterio de su valor y su mérito”.

Según Pérez Juste (2000) es "el proceso sistemático de recogida de información rigurosa
(valiosa, válida y fiable) orientado a valorar la calidad y los logros de un programa, como base para
la posterior toma de decisiones de mejora tanto del programa como del personal implicado".

Martínez Mediano (2007:39), considera la evaluación de un programa como “la recogida de

información sistemática sobre la calidad del propio programa, en sus fundamentos, estructura y
coherencia interna; sobre su planificación para su puesta en acción, considerando los recursos de
la organización, incluidos los personales, materiales y de información; sobre el programa en su
desarrollo en la acción; sobre sus resultados inmediatos y sobre su impacto a medio y largo plazo,
con el objetivo de comprobar y valorar el grado y calidad con el que el programa ha sido
elaborado, planificado, implementado, y los resultados conseguidos, de acuerdo con las metas
pretendidas y si ha logrado otros valores y contribuir al desarrollo y comprensión de los
programas.

Sintetizando, son tres los propósitos que aparecen en las definiciones anteriores:

1. Emitir juicios sobre el valor de un programa.

2. Asistir al responsable de la toma de decisiones.
3. Cumplir una función social.

Existe un amplio consenso en definir la evaluación de programas como una actividad

rigurosa que comprende descripción y juicio sobre el mérito o valor de algo, orientada a las
decisiones de mejora de lo evaluado, incluidos los programas, las organizaciones y las personas.

La evaluación se ha constituido en una disciplina necesaria para conocer el funcionamiento

de los programas de cualquier ámbito de la actividad humana: político, económico, social,
sanitario, educativo, de las instituciones, de las organizaciones y de los grupos que los desarrollan.

3.- Funciones de la evaluación de programas.

Las funciones fundamentales de la evaluación son las señaladas por Scriven: la formativa y
la sumativa.
La evaluación formativa tiene como objetivo la recogida de información útil, y a tiempo, de
los efectos del programa y de las necesidades de introducir cambios de mejora. Se realiza durante
el inicio y desarrollo del programa e informa a la sumativa sobre el funcionamiento del programa.

La evaluación sumativa recoge información sobre los resultados finales y sobre el valor y
mérito del programa, una vez que ha terminado el programa o en determinados momentos clave.
 Señalar también otras funciones como la función psicológica o sociopolítica para motivar
una conducta deseada, promover apoyo público… la función administrativa para aplicación de
normas de funcionamiento de organizaciones…

La evaluación interna o autoevaluación, realizada por los miembros de una organización

con fines diagnósticos y de mejora, la evaluación externa realizada por expertos externos a la
organización con fines de rendimiento de cuentas.

La autoevaluación, referida a las instituciones, es la herramienta fundamental que utilizan

los modelos de evaluación global de las organizaciones, como los modelos de excelencia,
entendida como un examen global y sistemático de los proyectos, actividades y resultados de una
organización que se compara con un modelo de excelencia. Busca realizar un diagnóstico sobre su
situación actual, señalando los puntos fuertes y las áreas de mejora. A partir de dicho diagnóstico
se elaborarán planes de mejora concretos, realistas y evaluables, introduciéndose en la
organización una dinámica de mejora continua, o lo que es lo mismo, la gestión de la calidad.

4.- Nuevas funciones de la evaluación

Las políticas globales han traído una serie de tendencias que están transformando la
sociedad a gran velocidad. Dentro de estas tendencias nos encontramos: las nuevas tecnologías,
los grandes movimientos migratorios, la economía global, los problemas de terrorismo y .las
guerras…

Estos grandes cambios provocan que en la evaluación aparezcan nuevos actores (p.e. los
auditores), nuevos temas y nuevos sistemas de evaluación, así como nuevos propósitos,
perspectivas y métodos para la realización de dichas evaluaciones.

Los diferentes propósitos para la realización de evaluaciones pueden quedar integrados

dentro de las siguientes tres perspectivas generales:

 Evaluación para el rendimiento de cuentas, por ejemplo, medida de

resultados o eficacia. Implica proporcionar información para los que toman
decisiones.
 Evaluación para el desarrollo, por ejemplo, proporcionar ayuda mediante la
evaluación para el fortalecimiento de las instituciones. Se realiza para
mejorar el rendimiento institucional.
 Evaluación para el conocimiento que se realiza para generar comprensión y
explicación. Por ejemplo, las realizadas por los investigaciones en las
universidades.

4.1. El contexto político de la evaluación y su incidencia para el desarrollo de la

evaluación.

El futuro de la profesión de evaluador parece muy diferente de lo que se planteaba hace

unos años. La expansión de la práctica evaluativa ha incrementado el uso de la evaluación para
orientar las mejoras de programas o proyectos aplicados a una gran diversidad de ámbitos por lo
que, el trabajo conjunto de evaluadores, analistas políticos, auditores e investigadores, implicados
en el desarrollo del conocimiento y su difusión, es cada vez más frecuente.

Es por ello, que hoy en día, los evaluadores deben formarse de un modo completo para
abordar las múltiples funciones de la evaluación, la comprensión de la lógica y la teoría que
subyace en los programas y los métodos de la investigación para la evaluación, incluidos los
contables y los organizativos, para la recogida y análisis de datos y la elaboración de informes.

Resumiendo, podemos decir que hay seis importantes tareas en las cuales se deben
implicar los evaluadores:

 Elaboración de informes de evaluación creíbles y defendibles.

 Independencia y libertad de presiones políticas.
 Difusión de los hallazgos importantes de las evaluaciones.
 Desarrollo de vínculos entre disciplinas y con la investigación básica.
 Conseguir un mejor acceso a la información.
 Introducir el realismo político dentro de la formación en evaluación

5.- Modelos de evaluación de programas educativos.

5.1.- Modelo de evaluación de Scriven. La evaluación orientada al consumidor.

El modelo propuesto por Scriven parte de una crítica a otros enfoques excesivamente
centrados en alcanzar los objetivos de los participantes, mientras que según este autor se deben
satisfacer prioritariamente las necesidades de los consumidores. Define la evaluación como "la
determinación sistemática y objetiva del valor o el mérito de algún objeto". Por ello defiende la
objetividad de los criterios de valoración, el desarrollo de la lógica probativa, para culminar el
proceso en la emisión de juicios y recomendaciones a los consumidores. Asimismo concede una
gran importancia a las necesidades sociales para la ciencia del valor postulada.

Para Scriven la evaluación cumple dos funciones básicas: la formativa (ayuda a desarrollar
programas) y la sumativa (determina el valor del objeto una vez que se ha desarrollado); que van a
dar origen a los conceptos evaluación formativa y evaluación sumativa empleados por el autor.

La evaluación formativa centrará su cometido en la determinación de las actividades y

resultados sobre la marcha o durante el proceso, a la vez que nos indica hasta qué punto están
funcionando o han funcionado bien los procesos y los procedimientos para alcanzar o satisfacer
determinados objetivos. En general proporciona ayuda al personal para alcanzar el
perfeccionamiento.

La evaluación sumativa se puede llevar a cabo al finalizar una unidad, un semestre, un

curso o un ciclo. En ella se analizan todos los efectos de los objetos y se comparan con las
necesidades de los consumidores para tomar las decisiones oportunas. Suele ser realizada por un
evaluador externo, además se toman como base las aportaciones de la evaluación formativa. En
síntesis proporciona valoraciones independientes que nos permiten comparar los costes, los
méritos y los valores de los distintos programas.
 Scriven prefiere una propuesta de evaluación sin metas, Evaluación Libre de Metas, lo que
lleva al evaluador a analizar todos los efectos del programa y no solo aquellos que traten de
ratificar o no la consecución de unos objetivos, este enfoque se considera menos intrusivo, más
adaptable a los cambios, fomenta el hallazgo de efectos secundarios, más estimulante
profesionalmente y más equitativa en la visión social de los valores. Además se concede una gran
importancia a la valoración de las necesidades y las repercusiones que ello puede tener sobre el
desarrollo del programa, lo que le permitirá juzgar los resultados del mismo como buenos, malos o
indiferentes, ello implica una gran complejidad práctica.

El enfoque de evaluación orientada al consumidor es, predominantemente, una evaluación

sumativa, sugiriendo Scriven una serie de criterios, recogidos en su Lista de claves de control para
la evaluación (LCE) que ha tenido diversas actualizaciones en los últimos años.

Las guías estandarizadas desarrolladas para recoger y comunicar la información evaluativa

sobre cualquier producto educativo se dirigen a los siguientes cuatro aspectos:

1.- Los procesos educativos

2.- Los contenidos

3.- La transferencia.

4.- La efectividad

5.2.-Modelo de evaluación de Stake..

Stake considera la evaluación de programas como un servicio para quienes están

directamente implicados en ellos, defiende la preponderancia de la evaluación con fines de
aplicación local y presenta interés por las metodologías de la investigación cualitativa y el valor del
método del estudio de caso para dichas evaluaciones.

5.2.1.- El modelo de evaluación de la figura de Stake

Esta evaluación se caracteriza por una serie de matrices comprensivas para la recogida de
datos, una matriz de descripción y otra de valoración o juicio, que ayudan al evaluador a saber que
datos reunir, no sólo en relación con las metas pretendidas y sus resultados, sino también en
relación con los procesos, los antecedentes e incluso a los juicios,

Las funciones básicas del modelo son: Descripción y Valoración o Juicio.

El evaluador debe:

 Proporcionar información justificativa de los fundamentos del programa y descubrir la base

racional del mismo, incluyendo sus necesidades.
 Mencionar intenciones de entrada, antecedentes, recursos, condiciones existentes…
 Recoger información a través de la observación.
  Explicitar normas, criterios, expectativas y recoger juicios emitidos por la gente.
 Análisis de información de la matriz descriptiva atendiendo a la congruencia entre lo
pretendido y lo observado.

5.2.2.- Las evaluaciones respondientes de Stake.

El término evaluación respondiente tiene su origen en el término inglés “responsive”, es

decir, sensible a las necesidades de los participantes y beneficiarios de los programas.

Es un enfoque que sacrifica alguna precisión de medida con la esperanza de incrementar la

utilidad de los hallazgos para las personas que participan y rodean el programa (Stake, 1980:76, en
Shadish et al., 1991:275).

Un estudio de evaluación respondiente pretende descubrir el mérito y las deficiencias de

un programa, proporcionando los evaluadores una serie de datos descriptivos que recogen los
juicios de todos los grupos de modo que los lectores del informe puedan elaborar sus propios
juicios sobre el valor del programa. Es decir, aparece el papel del evaluador como facilitador más
que como descubridor o investigador.

Las evaluaciones respondientes se caracterizan por la utilización de las metodologías

cualitativas, mediante el uso de técnicas del trabajo de campo como la observación, la toma de
notas descriptivas y la flexibilidad. Stake menciona doce actuaciones a realizar en las evaluaciones
respondientes:

1. Hablar con los clientes del programa (explicación de la evaluación en sí).

2. Identificar extensión y alcance del programa
3. Revisar actividades del programa (cómo debe funcionar y cómo funciona).
4. Descubrir propósitos y preocupaciones del personal y grupos interesados.
5. Contextualizar temas (análisis de contenido: temas clave)
6. Identificar necesidades de datos o temas (recogida de datos: cuestionarios,
entrevistas, observación…)
7. Seleccionar observadores (tutores, padres,…)
8. Observar antecedentes, transacciones y resultados
9. Tematizar, preparar descripciones, estudios de caso.
10. Validar, confirmar, tratar de desconfirmar
11. Presentar resultados a las audiencias: informes, resúmenes, reuniones…
12. Adaptar al uso de los interesados: papel, informático (pps).

La anterior propuesta de pasos y actividades secuenciadas no tienen por qué verse

necesariamente siguiendo un orden lineal; sino que algunos pueden presentarse a la vez y en
ocasiones es preciso volver sobre otros. La propuesta estratégica general formulada por Stake
hemos de buscarla en términos de utilidad y legitimidad, por ello opina que sirve tanto a la
evaluación formativa como a la sumativa. A la vez que reconoce que las valoraciones de la
evaluación preordenada son más objetivas y exactas. No obstante, por encima de otras
consideraciones, estima que toda evaluación debe ser adaptable y la evaluación respondiente es
claramente superior en el cumplimiento de este principio.
 La evaluación centrada en el cliente o respondiente busca ofrecer un servicio útil y valioso
a personas específicas, su característica fundamental es la sensibilidad hacia los temas esenciales,
especialmente los que ayuden a los colectivos en su entorno inmediato. Por ello resalta que las
evaluaciones no serán útiles si los evaluadores no conocen suficientemente tanto el lenguaje
como los intereses de las personas implicadas y si los informes de evaluación no se ajustan a ese
lenguaje.

Uno de los puntos básicos de la propuesta radica en la diferenciación entre la evaluación

preordenada y la respondiente; así mientras la primera resalta las metas del programa como
criterio de evaluación, utilizando los datos para la comprobación de los objetivos y las normas para
juzgar los programas, realizando informes tipo de la investigación, es decir, se basan en un plan
apriorístico; la evaluación centrada en el cliente se orienta hacia las actividades del programa,
responde a necesidades de información de las audiencias y toma en consideración los diferentes
valores de las personas interesadas en el programa cuando juzga su adecuación. Las propuestas y
los métodos no son impuestos, sino que emergen desde la observación del programa durante el
desarrollo de la evaluación.

5.3.- La teoría y la práctica evaluativa de Stufflebeam y su modelo de evaluación

de programas CIPP.

Stufflebeam y Shinkfield (1987:183) definen la evaluación del siguiente modo:

"La evaluación es el proceso de identificar, obtener y proporcionar información útil

y descriptiva acerca del valor y mérito de las metas, la planificación, la realización y el
impacto de un objeto determinado, con el fin de servir de guía para la toma de decisiones,
solucionar los problemas de responsabilidad y promover la comprensión de los fenómenos
implicados".

Estos autores desarrollaron el modelo CIPP, cuyas siglas representan los cuatro tipos de
evaluación del modelo: Contexto, Input, Proceso y Producto.

Evaluación del contexto: Se basa en la valoración del estado global del objeto, proyecto,
programa, personal, instituciones y/o sistemas educativos a evaluar, para la identificación de sus
deficiencias y sus virtudes. Es decir, trata de caracterizar el marco en el que se desarrolla el marco
a evaluar. Exige una toma de decisiones de planificación.

Su metodología es la característica de la investigación tipo encuesta, y utiliza instrumentos

tales como las entrevistas, reuniones, lecturas de informes, etc. para la recogida de información,
destinada a generar hipótesis acerca del programa que se pretende intervenir para solucionar sus
necesidades.

Evaluación de la entrada: orientada a detectar los recursos disponibles y los necesarios, así
como las estrategias alternativas para desarrollar un plan de mejora del programa. Implica tomar
decisiones de organización o de estructura.
 Evaluación del proceso: Informa de cómo se está realizando el plan y revisiones para
mejorar la aplicación del programa. Decisiones de implementación o realización.

Evaluación del producto: Aporta información sobre los resultados obtenidos, indicando
como las necesidades se reducen en intensidad, adecuación, calidad… y orienta sobre qué hacer
con el programa tras su aplicación. Decisiones de reciclaje.

En general, estas cuatro partes de la evaluación de programas deben responder a las

siguientes preguntas: ¿Qué se necesita hacer? ¿Cómo debe ser hecho? ¿Cómo está siendo
realizado? y ¿Tuvo éxito en términos de efectividad, impacto, sostenibilidad y transferencia?

Para proporcionar información a quienes toman decisiones fueron identificados los

principales tipos de decisiones que afrontan, para, de acuerdo con ellas, crear las estrategias
evaluativas necesarias. De este modo, se identificaron y concretaron los cuatro tipos de decisiones
siguientes:

 Decisiones de planificación: Elegir las metas señalando lo que queremos conseguir y

concretarlo en un programa.
 Decisiones de estructura: Medios para alcanzar las metas.
 Decisiones de realización: Realización de proyectos o programas planificados. Es
necesario estar en continua colaboración con las personas implicadas.
 Decisiones de reciclaje: Decidir si continuar con el programa, no usarlo, combinarlo
con otro…

5.3.1.- La lista de control para la evaluación.

La lista de control es una herramienta ajustada al Modelo CIPP de evaluación, teniendo

como finalidad ayudar a los evaluadores y responsables de aplicar los programas en la evaluación
de programas y organizaciones con el objetivo de conseguir mejoras sostenibles a largo plazo.

La lista de control está integrada por diez componentes. El primero relacionado con los
acuerdos contractuales para realizar la evaluación, seguido por los componentes de la evaluación
de contexto, entrada, procesos, impacto, efectividad, sostenibilidad, y transferencia. Los dos
restantes tienen que ver con la meta-evaluación y el informe de síntesis final.

El concepto de evaluación que subyace al Modelo CIPP y a su lista de control, es que la

evaluación debe valorar e informar a una entidad sobre su mérito, valor y significado con que
funciona. Es decir, debe ser útil, factible, ética y exacta, requisitos fundamentales para que la
evaluación cumpla con su objetivo primordial: la toma de decisiones para la mejora de lo
evaluado.
5.4. La evaluación de programas educativos de Pérez Juste.

Partiendo del concepto de evaluación de programas apuntado al comienzo de la exposición

cabe resaltar como notas básicas de esa definición la idea de proceso incardinado en algo más
amplio que lo meramente medicional, además sistemático lo que implica una planificación,
diseñado de forma intencional y técnica, esto es, reconociendo explícitamente el papel del
evaluador y las exigencias técnicas de esta tarea. La recogida de información supone una
superación de los modelos restrictivos de prueba y ampliar los datos a efectos no planeados
inicialmente, además esta información deber ser rigurosa (exige planteamientos científicos),
válida (riqueza de datos) y fiable (precisa en sus aportaciones). El concepto incluye el juicio de
valor lo que nos lleva a explicitar tanto los criterios como las referencias para analizar la calidad y
los logros del propio programa educativo. Todo ello dirigido al objetivo último de la toma de
decisiones que repercutan sobre la mejora no solo centradas en el programa educativo sino en el
personal implicado en su realización, lo que repercutirá de forma positiva sobre el grupo social
sobre el que se está trabajando.

La propuesta del modelo evaluativo recoge tres momentos que a su vez comprenden unas
dimensiones con unos objetos concretos que precisan de los correspondientes criterios e
indicadores de evaluación. En dicha propuesta se pone de relieve la importancia de la evaluación
integral de todos los elementos que intervienen en el proceso educativo e integrada en un marco
de referencia más amplio como es el centro escolar o el propio sistema educativo.

De forma esquemática los puntos propuestos por Pérez Juste en su modelo son los siguientes:

Momento inicial: Evaluación del programa en sí mismo

Comprende tres dimensiones:

 Calidad intrínseca del programa:

Contenido del programa.

Calidad técnica.
Evaluabilidad.

 Adecuación al contexto.

Respuesta a necesidades y carencias.

Priorización.

 Adecuación a la situación de partida:

Viabilidad
Momento procesual: Evaluación del desarrollo de los programas:

La evaluación de los procesos encierra, al menos, dos propósitos: 1) Facilitar la toma de

decisiones inmediatas de mejora, a partir de los resultados de la evaluación formativa , y 2)
acumular información para posteriores decisiones, una vez validado el programa, para la
evaluación sumativa.
Para la evaluación de procesos, Pérez Juste propone utilizar una metodología basada en el
“Principio de complementariedad metodológica” que permite el contraste con técnicas de
triangulación, así como utilizar métodos cualitativos y cuantitativos y diferentes técnicas:
observación, diálogo y entrevistas formales, cuestionarios, inventarios, escalas, etc.

Comprende dos dimensiones:

 Implantación:

Actividades.
Secuencias.
Tiempo.
Flexibilidad.

 Marco:

Clima.
Coherencia.

Tercer momento: Evaluación de los resultados del programa

Comprende tres dimensiones:

 Medida y logros:

Constatación.
Contraste.

 Valoración:

Criterios.
Referencias.

 Continuidad:

Decisiones.
Incorporación de las mejoras.
Cuarto momento: Institucionalización
Planes de mejora
Plan de seguimiento.

Esta propuesta es muy ambiciosa en sus planteamientos, si bien como el mismo autor
reconoce, no se trata de llevarla a cabo en un contexto determinado de forma exhaustiva, sino
que, puede ofrecer unas pautas rigurosas de actuación a los evaluadores en el marco escolar.
Quizá una de las aportaciones principales a destacar radica en el rigor con que se trata la
evaluación inicial (el programa en sí mismo), ello permitirá conocer, antes de someter a aplicación,
las virtualidades y los posibles defectos del programa, de tal forma que se puedan tomar
decisiones de mejora del mismo. Por ello, destacaríamos el marcado matiz pedagógico del
modelo, traducido a lo largo de toda la propuesta y de forma más explícita en la formulación de
los criterios e indicadores de la evaluación formulados para cada uno de los momentos y
dimensiones.