Ev. de Programas Mis Apuntes, SFP

Sonia Fernández Peña Evaluación de programas 2020-2021
TEMA 1: La evaluación de programas educativos. Teoría de la evaluación de programas. Concepto y funciones de la evaluación de
programas. .......................................................................................................................................................................................... 6
1. Introducción ............................................................................................................................................................................ 6
2. Introducción a la evaluación de programas ............................................................................................................................ 6
La evaluación como disciplina del conocimiento .......................................................................................................... 6
La evaluación de programas y la investigación educativa............................................................................................. 6
Los métodos en la evaluación de programas ................................................................................................................ 7
De los métodos a la teoría de la evaluación de programas .......................................................................................... 7
La naturaleza de la teoría de programas y de la evaluación de programas .................................................................. 8
3. El concepto de evaluación de programas y los criterios y las referencias para la evaluación ................................................ 8
Concepto de evaluación de programas ......................................................................................................................... 8
Los criterios y las referencias para la evaluación de programas ................................................................................... 9
3.2.1. Criterios para la evaluación de programas ............................................................................................................... 9
3.2.2. Las referencias para la evaluación de programas ................................................................................................... 10
4. Ejemplos de relación entre criterios y referencias ............................................................................................................... 10
5. Funciones de la evaluación de programas ............................................................................................................................ 11
La evaluación formativa y sumativa ............................................................................................................................ 11
La evaluabilidad y su aplicación para la evaluación de programas ............................................................................. 11
La metaevaluación y su función formativa y sumativa ............................................................................................... 11
La evaluación para el rendimiento de cuentas ........................................................................................................... 12
6. El objeto de evaluación ......................................................................................................................................................... 12
La evaluación de los aprendizajes de los estudiantes ................................................................................................. 12
La evaluación de la calidad de los centros educativos y conceptos específicos ......................................................... 12
El profesional de la evaluación de programas .................................................................................................................. 13
5.2.1. La evaluación de la gestión de la calidad de los centros educativos. Los principios de la gestión de la calidad total.
Las organizaciones que aprenden ......................................................................................................................................... 13
5.2.2. El aseguramiento de la calidad ............................................................................................................................... 13
5.2.3. Evaluación de programas y auditoría ..................................................................................................................... 14
5.2.4. Funciones del evaluador según si relación con la organización evaluada y el enfoque de evaluación utilizado ... 14
7. Propósitos de la evaluación de programas ........................................................................................................................... 14
Preguntas test. Tema 1 ..................................................................................................................................................................... 15
Ejercicios del foro. TEMA 1 Items, Criterios y estándar o referencia ................................................................................................ 17
TEMA 2: Michael Scriven. La evaluación como la ciencia de la valoración. La evaluación orientada al consumidos. La lista de las
claves de control para la evaluación y la meta-evaluación. .............................................................................................................. 19
1. Introducción .......................................................................................................................................................................... 19
2. La teoría de la evaluación de Scriven .................................................................................................................................... 19
2.1 La evaluación como la ciencia del valor ...................................................................................................................... 19
2.1.1 Algunas definiciones ............................................................................................................................................... 19
2.2 Las necesidades sociales y la ciencia de la valoración ................................................................................................ 20
2.3 La evaluación libre de costes ...................................................................................................................................... 20
2.4 La evitación de los prejuicios ...................................................................................................................................... 21
2.5 La evaluación libre de metas ....................................................................................................................................... 21
1
2.6 La evaluación formativa y sumativa ............................................................................................................................ 21

2.7 La meta-evaluación ..................................................................................................................................................... 22
2.8 La lógica de la evaluación y la práctica evaluativa ...................................................................................................... 22
3. La evaluación orientada al consumidor ................................................................................................................................ 24
4. La evaluación como la multiplicidad de lo múltiple .............................................................................................................. 24
5. La lista de claves de control para la evaluación y meta-evaluación (LCCE) .......................................................................... 25
Parte A: Preliminares y metodología ................................................................................................................................ 25
Parte B: Fundamentos. Aplicación de la LCE ..................................................................................................................... 25
Parte C: Sub-evaluaciones ................................................................................................................................................. 25
Parte D: Las conclusiones e implicaciones ........................................................................................................................ 25
6. Tabla resumen del enfoque de evaluación de programas de Scriven .................................................................................. 26
Preguntas test. Tema 2 ..................................................................................................................................................................... 27
TEMA 3: El modelo CIPP de Daniel Stufflebeam: la evaluación orientada a la toma de decisiones para la mejora de los programas
y de las organizaciones ..................................................................................................................................................................... 29
1. Introducción .......................................................................................................................................................................... 29
2. Antecedentes del modelo CIPP. Las recomendaciones del comité PDK ............................................................................... 29
3. La teoría evaluativa y los tipos de decisiones que orienta la evaluación en el modelo CIPP................................................ 29
3.1 El concepto de evaluación de programas ................................................................................................................... 30
3.2 Los cuatro tipos de evaluación del modelo CIPP......................................................................................................... 31
3.3 Funciones formativa y sumativa de la evaluación de contexto, de entrada, de proceso, de producto ..................... 32
3.4 Componentes esenciales de valor del modelo CIPP ................................................................................................... 33
3.5 Filosofía y códigos éticos del modelo CIPP.................................................................................................................. 33
3.6 El modelo CIPP como un sistema para la mejora de los programas y de las organizaciones ..................................... 33
4. La práctica evaluativa y las decisiones que orientan los tipos de evaluación del modelo CIPP............................................ 33
4.1 La evaluación del contexto. Decisiones de planificación ............................................................................................ 34
4.2 La evaluación de entrada (insumos). Decisiones de estructura .................................................................................. 34
4.3 La evaluación del proceso. Decisiones de realización ................................................................................................. 34
4.4 La evaluación del producto. Decisiones de reciclaje. .................................................................................................. 35
8. EJEMPLO CIPP. Para evaluar un programa de Educación para la Salud para estudiantes del primer curso de educación
primaria. ........................................................................................................................................................................................ 36
4.5 Tabla síntesis de los cuatro tipos de evaluación CIPP (Stufflebeam y Shinkfield, 2007) ............................................. 38
5. La lista de control para la evaluación .................................................................................................................................... 39
6. Resumen del modelo CIPP de evaluación de programas ...................................................................................................... 42
Pregunta test. Tema 3 ....................................................................................................................................................................... 43
TEMA 4: El Modelo de Evaluación de Programas Educativos de Ramón Pérez Juste ....................................................................... 45
1. La teoría evaluativa de programas ........................................................................................................................................ 45
1.1. Educación y evaluación ............................................................................................................................................... 45
1.2. La evaluación integral, integrada e integradora ......................................................................................................... 45
1.3. El concepto de evaluación de programas ................................................................................................................... 45
1.4. Características de los programas educativos .............................................................................................................. 47
1.5. Función esencial de la evaluación: la mejora .............................................................................................................. 47
2. El modelo evaluativo para la práctica evaluativa .................................................................................................................. 48
2
2.1 Primer momento: Etapa inicial: Evaluación del programa en sí mismo...................................................................... 48

2.2 Segundo momento: Etapa procesual: evaluación del desarrollo del programa ......................................................... 49
2.3 Tercer momento: Etapa final: Evaluación de los resultados de los programas .......................................................... 49
2.4 Cuarto momento: Institucionalización de la evaluación ............................................................................................. 49
3. EJEMPLO PÉREZ JUSTE Pautas para la mejora la evaluación de programas educativos. ...................................................... 50
4. Problemas que afectan a la disciplina ................................................................................................................................... 51
5. Resumen del modelo de evaluación de programas de Pérez Juste ...................................................................................... 51
Pregunta test: Tema 4 ....................................................................................................................................................................... 52
TEMA 5: Los modelos lógicos como marco teórico y de organización para el diseño, aplicación y evaluación de programas
educativos ......................................................................................................................................................................................... 53
1. Introducción .......................................................................................................................................................................... 53
2. Los modelos lógicos para el diseño y evaluación de programas........................................................................................... 53
2.1. Los modelos lógicos como secuencias para atender a unas necesidades .................................................................. 53
2.2. Marco teórico y de organización orientado a la consecución de los resultados ........................................................ 53
3. La evaluación del programa .................................................................................................................................................. 56
9. Importante para el caso práctico. Modelos LOGICOS ........................................................................................................... 57
4. Los criterios de calidad.......................................................................................................................................................... 58
5. Las metodologías de investigación a utilizar para la evaluación de programas ................................................................... 58
5.1. Las metodologías de investigación mixtas para atender la complejidad .................................................................... 58
5.2. La elaboración de instrumentos para la recogida de información.............................................................................. 59
10. La elaboración de los informes de la evaluación de programas ........................................................................................... 59
Compromiso con el rigor y la responsabilidad en la investigación evaluativa ............................................................ 61
11. Utilización de los resultados de la evaluación ...................................................................................................................... 61
12. Estructura del informe de evaluación ................................................................................................................................... 61
TEMA 6: Las normas de calidad del Comité Conjunto para la evaluación de programas educativos ............................................... 63
1. Introducción .......................................................................................................................................................................... 63
2. Características y conceptos de los estándares para la evaluación de programas ................................................................ 63
2.1. Características de las Normas en su tercera edición .................................................................................................. 63
2.2. Los responsables de los programas en los centros educativos ................................................................................... 64
2.3. Conceptos y definiciones sobre los estándares para la evaluación de programas. .................................................... 64
2.3.1. Estándar .................................................................................................................................................................. 64
2.3.2. Programa Educativo y Proyecto Educativo ............................................................................................................. 65
2.3.3. Audiencia ................................................................................................................................................................ 65
2.3.4. Evaluación de Programas (o cualquier objeto de evaluación) ................................................................................ 65
3. Las Normas para la evaluación de programas del Joint Committee ..................................................................................... 66
3.1. Normas de Utilidad ..................................................................................................................................................... 66
3.2. Normas de viabilidad y factibilidad ............................................................................................................................. 66
3.3. Normas de probidad o adecuación legal y ética ......................................................................................................... 67
3.4. Normas de precisión o exactitud ................................................................................................................................ 67
3.5. Normas de responsabilidad de la evaluación.............................................................................................................. 67
3
4. Utilización de las Normas del Joint Committee para el desarrollo de los programas, de su evaluación y de su responsabilidad
pública ........................................................................................................................................................................................... 68
5. Listas de control de las Normas para la comprobación de su aplicación en la evaluación de programas ............................ 68
6. A modo de síntesis ................................................................................................................................................................ 70
TEMA 7: Técnicas e instrumentos para la recogida de información en la evaluación de programas ............................................... 72
1. ¿Cómo garantizar la calidad en los programas? ................................................................................................................... 72
1. Introducción .......................................................................................................................................................................... 72
2. La evaluación de necesidades ............................................................................................................................................... 72
3. La observación ...................................................................................................................................................................... 73
3.1. La observación sistemática y la observación participante .......................................................................................... 73
3.2. Los sistemas de recogida de información en la observación ...................................................................................... 74
3.3. Cuestiones sobre el muestreo y las fuentes de error en la observación .................................................................... 74
3.4. Instrumentos para el registro de la información ........................................................................................................ 75
13. EJEMPLO DE REGISTRO INDIVIDUAL (OBSERVACIÓN) .......................................................................................................... 75
14. EJEMPLO DE REGISTRO NARRATIVO ABIERTO (OBSERVACIÓN) ........................................................................................... 75
15. EJEMPLO REGISTRO DE OBSERVACIÓN PARTICIPANTE ........................................................................................................ 76
3.5. Características de la observación participante ........................................................................................................... 76
3.5.1. La función del observador en la observación participante ..................................................................................... 76
3.5.2. El diseño para la realización de la observación participante .................................................................................. 76
3.5.3. El proceso de recogida de datos en la observación ................................................................................................ 76
3.5.4. El análisis en la observación participante ............................................................................................................... 77
3.5.5. La elaboración del informe de la observación participante ................................................................................... 77
4. La evaluación de necesidades ............................................................................................................................................... 77
5. El cuestionario....................................................................................................................................................................... 77
Ejemplo validez de contenido del cuestionarios ......................................................................................................... 78
Ejemplos de cuestionarios .......................................................................................................................................... 79
6. La entrevista .......................................................................................................................................................................... 80
7. El análisis de contenido ......................................................................................................................................................... 81
8. Técnica Delphi ....................................................................................................................................................................... 82
9. Los grupos de discusión ........................................................................................................................................................ 82
16. Ejemplo: Evaluación de un Programa de Escolarización Combinada entre un centro de educación especial y un centro de
educación ordinaria ...................................................................................................................................................................... 83
Preguntas test del tema 7 u otros: ................................................................................................................................................... 84
Ejercicios del FORO DE LA ASIGNATURA ........................................................................................................................................... 86
1. TEMA Conceptos y funciones de la evaluación de programas educativos ........................................................................... 86
1.1. Elaboración de indicadores, o ítems, para la recogida de información evaluativa para cada una de las dimensiones
que ahora mencionamos (el programa en sí, su aplicación, implicación de los padres) de la evaluación de programas,
atendiendo al criterio y estándar de cada indicador indicado. ................................................................................................. 86
1.2. Define un concepto de evaluación de programas. Justifica su elección. ¿Cómo aplicarías el concepto elegido a la
evaluación de una actividad dirigida a promover un programa de educación par a la salud en primer curso de Educación
Infantil? 87
2. TEMA 2 Las teorías evaluativas de Michael Scriven. La evaluación como ciencia de la valoración ...................................... 88
4
2.1. Cómo plantearíais la planificación de la evaluación de una actividad concreta a desarrollar en un aula, para atender
un objetivo de aprendizaje, con la lógica de la evaluación de Scriven. Poned un ejemplo y mencionar los 4 pasos, incluida la
síntesis evaluativa, o juicio valorativo. ..................................................................................................................................... 88
2.2. Os pido que señaléis, mediante una tabla, los paralelismos entre la lógica de la evaluación de Scriven y el proceso de
investigación científica .............................................................................................................................................................. 89
3. TEMA 3: El modelo CIPP de Daniel Stufflebeam. La evaluación orientada a la toma de decisiones para la mejora de los
programas ..................................................................................................................................................................................... 90
3.1 Os pido que realicéis la aplicación del marco de trabajo del modelo CIPP a una lección, o a un tema, en el que tengáis
interés, incluyendo los 4 tipos de evaluación del modelo CIPP, en su actuación proactiva . Poner sobre la tabla su título (Tabla
1). Y sustituir la información general de la tabla por contenidos referidos a la actividad o tema a evaluar, de un modo concreto
y preciso. ................................................................................................................................................................................... 90
3.2. Os pido que señaléis, mediante una tabla, los paralelismos entre el proceso de investigación general y el proceso de
investigación con el modelo CIPP. ............................................................................................................................................ 92
4. TEMA 4: Pérez Juste .............................................................................................................................................................. 93
4.1. Elaboración de ítems para la recogida de información evaluativa con el modelo de Pérez Juste.............................. 93
5. TEMA 5: Modelos Lógico ....................................................................................................................................................... 94
5.1. Qué destacaríais del enfoque del modelo lógico para la evaluación de programas. Argumentar vuestras respuestas
94
6. TEMA 6: Joint Committee ..................................................................................................................................................... 95
Lalala Sale en los apuntes de Catalina o lo ha comentado

Lalala Han salido en los test
Lalala Comentarios de catalina
5
TEMA 1: La evaluación de programas educativos. Teoría de la evaluación de programas. Concepto y funciones de la evaluación
de programas.
1. Introducción
La evaluación de programas es más que una metodología aplicada, requiere de sus propias bases teóricas que justifiquen y den
sentido a lo que un evaluador hace, cómo y para qué lo hace. Su propósito es informar a la acción, apoyar la toma de decisiones
y aplicar el conocimiento para resolver problemas humanos y sociales; cuando se realiza de manera sistemática y empírica
mediante una cuidadosa recogida de datos y análisis rigurosos, se está realizando investigación evaluativa. La investigación eva-
luativa utiliza las metodologías de investigación de las Ciencias Sociales. Es considerada una forma de investigación aplicada.
Las funciones educativas clásicas de la evaluación de programas (evaluación formativa y sumativa), junto con las funciones psi-
cológicas y administrativas de la evaluación, se han visto enriquecidas con otras nuevas que actualmente se han conquistado con
el desarrollo de la gestión de la calidad de las organizaciones orientadas a la mejora continua, la innovación y la responsabilidad.
2. Introducción a la evaluación de programas
La evaluación como disciplina del conocimiento
La disciplina de la Evaluación se centra en el estudio y aplicación de procedimientos para hacer evaluaciones objetivas y sistemá-
ticas.
De acuerdo con Scriven, una disciplina ha de poseer cuatro elementos:
1. Reconocimiento explícito de que algo nuevo está emergiendo y existe una definición de ese algo. Su concepto, delimitado de
otros, como área de investigación aplicada.
2. Identificación y desarrollo de una metodología apropiada: un grupo de procedimientos e instrumentos para generar resultados
útiles en el nuevo campo.
3. Desarrollo del campo consistente en una amplia producción de investigaciones, de informes, de descripciones, de ilustraciones
y de principios y teorías generales.
4. Desarrollo de una metateoría de la disciplina que proporcione un método de trabajo para la práctica, basado en premisas,
criterios, para verificar los valores relevantes que orientan la evaluación.
Los límites de la Evaluación como disciplina es que se considera un área de investigación aplicada. La defensa de la Evaluación
como disciplina descansa en sus características científicas en contraste con las evaluaciones subjetivas o no sistemáticas. La eva-
luación es esencial para distinguir la ciencia de la pseudociencia al evaluar la calidad de la evidencia científica, la calidad de los
diseños de investigación, de los instrumentos de medida, etc. La Evaluación es considerada una transdisciplina: una disciplina
instrumental que sirve a otras disciplinas. Dos componentes de la evaluación:
- La Evaluación no es solo una mera acumulación y síntesis de datos relevantes para la toma de decisiones.
- Los criterios evaluativos verifican los valores relevantes y las normas elegidas para la realización de la evaluación.
El paso fundamental para que la evaluación se constituya en una disciplina científica, comienza identificando normas que gobier-
nen cómo deben hacerse las evaluaciones. Se han de desarrollar los procesos lógicos de las evaluaciones y el desarrollo de las
teorías de programas y las evaluativas.
La evaluación de programas y la investigación educativa
Se han hecho muchos intentos para distinguir la evaluación de la investigación. La evaluación:
- Es considerada investigación: cuando es realizada de un modo sistemático con miras a ampliar el conocimiento práctico y
teórico . - Es considerada evaluación: cuando su finalidad es resolver un problema concreto, dentro de una situación particular.
Para otros especialistas, tanto la evaluación como la investigación evaluativa suponen la aplicación sistemática de procedimien-
tos rigurosos para que los resultados y conclusiones sean fidedignos de la situación en la que se pretende resolver el problema.
La evaluación de programas es considerada una forma de investigación aplicada siendo, fundamentalmente, una actividad prác-
tica, centrada en la recogida de información relevante para un particular problema, programa o producto, currículo o una acti-
vidad en el aula, con la finalidad de informar cómo han sido atendidos los problemas y orientar las decisiones de cambio y
mejora para aplicación sucesivas.
La evaluación de un programa debe ser realizada de modo sistemático, mediante una cuidadosa recogida de información y datos
y análisis rigurosos, para que los resultados y conclusiones sean fidedignos de la situación que se estudia.
La evaluación de programas adopta un enfoque sistémico1 de recogida y análisis de datos2, contextualizado, de modo que en la
valoración de sus resultados siempre debe considerar su entorno, sus recursos, las personas implicadas, tanto los que lo aplican
como los que se benefician de ellos, los resultados, en el inmediato, medio y largo alcance, o su impacto.
1
Todos los elementos se relacionan
2
Sobre el programa en sí, la necesidad que origina el programa, medios, y recursos, las personas que lo aplican, quienes lo reciben
los resultados; durante el proceso, al final y más allá (el impacto).
6
Abarca diversos grupos de actividades, sucesivas, según se trate de:3

- El estudio de la conceptualización y diseño de las intervenciones mediante programas.
- La valoración de la puesta en marcha del programa.
- La valoración de sus resultados, su utilidad y de su impacto.
La evaluación es un proceso y un resultado.
Enfoque holístico: aporta evidencias para demostrar qué es lo que funciona y qué no.
Lo que subyace a la evaluación de un programa es un modo de pensamiento: Ante la necesidad de intervenir para solucionar un
problema, reflexionamos sobre cómo intervenir, qué resultados debemos conseguir tras nuestra intervención, cómo pueden ser
conseguidos, qué datos o evidencias serán necesarios para informar de lo conseguido y proponer acciones futuras, de modo que
dichos resultados puedan ser mejorados. Esto se llama pensamiento evaluativo, y en su esencia está el diálogo, la reflexión, el
aprendizaje, la mejora y la innovación. Utiliza métodos científicos, tanto cuantitativos como cualitativos, imponiéndose la utili-
zación de métodos mixtos, la complementariedad de metodológicas de investigación.
Los métodos en la evaluación de programas
La utilización del método científico en la investigación educativa y social supone un intento sistemático dirigido a cuestionar y
resolver problemas a través de la recogida y análisis de datos primarios con el propósito de describir, explicar, generalizar y
predecir, siendo las características propias del método científico la repetibilidad, la estabilidad y la comunicabilidad.
Cronbach, en 1982, argumentaba que el uso exclusivo de los métodos cuantitativos basándose en su rigurosidad, lleva a que una
evaluación sea rígida y estrecha en su alcance. Estaba interesado en ampliar la evaluación de programas a los procesos en los
contextos y en las organizaciones para facilitar una toma de decisiones plural; su enfoque utiliza tanto métodos cuantitativos y
cualitativos.
El uso de una metodología u otra para la evaluación de un programa dependerá de los propósitos de la evaluación, del estado de
madurez del programa, de los recursos disponibles, de los intereses y necesidades de los patrocinadores y de los evaluadores y
del medio político y organizativo. Así:
- Cuando un programa está desarrollándose, el estudiar su eficacia mediante un diseño experimental carece de sentido puesto
que pasaría de puntillas sobre los procesos y los contextos.
- Del mismo modo, utilizar los métodos cualitativos, en exclusividad, puede no ser lo más adecuado para valorar la eficacia de un
programa de amplio alcance, elaborado para aplicarlo a toda la población de un país.
Cook (1985) ha adoptado una perspectiva postexperimental, de «multiplicidad crítica» ya que defiende que la perspectiva del
paradigma experimental debe transformarse en otra más comprehensiva que pueda adaptarse mejor a los aspectos políticos y
organizativos de la evaluación de programas.
La teoría de programas debe proporcionar orientaciones para identificar qué temas son los más importantes en una evaluación,
qué métodos son los más relevantes, y sugerir cómo aplicarlos para alcanzar los objetivos propuestos en la evaluación.
Este enfoque de complementariedad metodológica deriva del pragmatismo. Aplica métodos de investigación tanto cuantitativos
como cualitativos para atender a las necesidades y propósitos para cada fase de la investigación. Defienden la complementariedad
y uso de metodologías mixtas, centrando su atención en el problema de la investigación. La complejidad de los fenómenos edu-
cativos sólo podrá ser captada y explicada mediante la utilización de enfoques flexibles, mixtos o complementarios.
En la evaluación de programas se impone el uso de métodos mixtos, de complementariedad metodológica, la multiplicidad
crítica y la metodológica.
La evaluación de programas o investigación educativa abarca diversos grupos de actividades según se trate de:
- El estudio de la conceptualización y diseño de las intervenciones de programas.
- La valoración de la puesta en marcha del programa
- La valoración de su utilidad y de su impacto
La evaluación de programas realiza evaluaciones integrales, globales, contextualizadas, comprehensivas (Rossi y Freeman)
De los métodos a la teoría de la evaluación de programas
La teoría es crucial para la investigación. Proporciona orientaciones para analizar un fenómeno y un esquema para comprender
el significado de los resultados de la investigación.
La teoría permite:
- Comprobar si los resultados del programa se deben a como se ejecuta el programa, a la conceptualización propia del mismo o
a ambos.
- Ayuda a clarificar si un programa está siendo desarrollado siguiendo los criterios explicitados en el mismo y en las condiciones
adecuadas.
3
Es un trabajo completo (al realizar las tres actividades de la tabla)
7
- Puede usarse para especificar los efectos intermedios de un programa que podría llegar a evidenciar los aspectos positivos y
negativos del mismo antes de que los resultados finales puedan manifestarse, proporcionando posibilidades de mejora del pro-
grama antes de que se haya concluido el programa.
- Fortalece la información de los evaluadores para clarificar las metas del programa, para observar los procesos y para atender
las necesidades de los patrocinadores y de los participantes y beneficiarios, y para orientarles en la realización de las diferentes
decisiones alternativas de mejora.
La evaluación es, a menudo, considerada como una ciencia práctica, que requiere de su propia teoría.
La naturaleza de la teoría de programas y de la evaluación de programas
La evaluación desde la teoría normativa (prescriptiva) requiere de la consistencia entre la estructura teórica del programa y la
estructura de funcionamiento del programa para ser valorada. Es insuficiente por sí misma para comprender si el programa
consigue las metas para las cuales ha sido diseñado o para conocer las consecuencias no intencionadas del programa.
Una evaluación que se rige por la teoría causativa (descriptiva) proporciona información sobre el impacto generado por el pro-
grama y sobre cómo dichos impactos fueron generados. Cuando es proyectada en detalle la evaluación puede:
- conocer las debilidades de los mecanismos causales que subyacen en el programa,
- identificar los factores contextuales e intervinientes que dificultan o facilitan los procesos del programa y sus resultados,
- sugerir posibles estrategias para ocuparse de mejorar sus programas e introducir los cambios necesarios para ello.
Ambas teorías, normativa y causativa, son necesarias y constituyen las dos subteorías de la teoría de la evaluación de programa
3. El concepto de evaluación de programas y los criterios y las referencias para la evaluación
Concepto de evaluación de programas
Ralph Tyler (1950:69), considerado el fundador de la evaluación aplicada a los programas educativos, concebía la evaluación como
«El proceso para determinar en qué medida los objetivos educativos han sido realizados».
Los criterios que orientan la evaluación de los programas son los objetivos que los programas pretenden conseguir. Los progra-
mas educativos son creados para atender a unas necesidades rigurosamente evaluadas y definidas, siendo ese el objetivo que
pretenden conseguir.
La evaluación debe comprobar que los programas están diseñados al servicio de los objetivos que pretende conseguir, —los cri-
terios— y que estos objetivos, tras la aplicación del programa, se consiguen con suficiencia, con calidad —el mérito—. Y esta
comprobación debe ser hecha mediante la recogida de información de modo sistemático, riguroso, válido y fiable.
La evaluación es un proceso para valorar el mérito o valor de algo: un proyecto, un programa, un material didáctico, una organi-
zación, un centro educativo.
Para Scriven4 , la evaluación «es el proceso de determinar el valor y la calidad 5de algo, siendo las evaluaciones el resultado de
dicho proceso». La evaluación comprende descripción y juicio6, y concluye con la emisión de un juicio evaluativo con la finalidad
de orientar la toma de decisiones de mejora de lo evaluado.
Para Stufflebeam y Shinkfield7, la evaluación es un proceso para identificar, obtener y proporcionar información acerca de un
programa, valorado en sus metas8, en su planificación, en su realización y en su impacto, con el propósito de guiar la toma de
decisiones, proporcionar información y contribuir a su comprensión, con el criterio de su valor (respuesta a las necesidades) y su
mérito (calidad).
Pérez Juste 9define la evaluación como el proceso sistemático de recogida de información rigurosa (valiosa, válida y fiable) orien-
tado a valorar la calidad y los logros de un programa, como base para la posterior toma de decisiones de mejora tanto del pro-
grama como del personal implicado.
La evaluación de programas es una actividad compleja y global que necesita un trabajo en equipo. La finalidad es orientar las
mejoras.
4
Scriven: Evaluamos para ver si un programa está sirviendo para lo que dice servir y en qué grado lo hace.
5
Valor: si sirve. Calidad el grado en que funciona.
6
Descripción: del programa y como está funcionando. Valoración = cuál es el grado de calidad con el que está funcionado ese
programa.
7
Stufflebeam: Orientar para mejorar en respuesta a las necesidades.
8
Metas: atender unas necesidades y ver la calidad de esas necesidades (lo que pretende conseguir)
9
Pérez Juste: Énfasis en la calidad y las metas
8
Tres ideas subyacen a la definición de evaluación de programas: (Informar sobre le programa, sus criterios de evaluación y su
finalidad)
1) El proceso de identificar, obtener y proporcionar información sobre el programa, lo que presupone una metodología
de investigación.
2) Los criterios a utilización para realizar las valoración del programa, de su planificación, realización y de sus resultados,
recogiendo información de modo sistemático y rigurosos, acerca de las características y realizaciones del programa en su
contexto.
3) El propósito de utilización de los resultados en aquéllos aspectos señalados por la evaluación. Utilizar la información
basada en hechos y datos para orientar a los responsables, a todos los implicados, en la toma de decisiones sobre sus
mejoras, continuidad y expansión, y las repercusiones en las organizaciones, en las personas y en la sociedad (rendición
de cuentas)
De este modo, la evaluación proporciona información basada en hechos y datos, recogidos de modo sistemático y riguroso,
acerca de las características y realizaciones del programa en su contexto, y orienta a los responsables en la toma de decisiones
sobre sus mejoras, continuidad y expansión. (propósito: informar para la mejora y rendición de cuentas)
Todos los autores coinciden en que la evaluación de programas es:
PROCESO:
• Describe, identifica, lo que se hace, en sus metas (cómo pretende atender las necesidades), en su planificación, en su realización
y en su impacto10 y concluye en sus resultados. (Stufflebeam y Shinkfield, Scriven).
• Sistemático de recogida de información (de evidencias). (Pérez Juste, Stufflebeam y Shinkfield).
CRITERIOS DE CALIDAD de la evaluación:
• Determina el valor y la calidad, y el mérito del programa, mediante el contraste entre lo que pretende y lo que consigue.(Scri-
ven, Stufflebeam y Shinkfield).
• Como investigación sistemática, descriptiva, rigurosa (valiosa, válida y fiable). (Stufflebeam y Shinkfield, Pérez Juste).
PROPÓSITO: Utilidad de los resultados (que la evaluación sirva, que sus resultados sirvan en función de las necesidades recursos,
medios, tiempos):
• Emisión de un juicio evaluativo. Significado de la evaluación, contextualizadas. (Scriven).
• Orientar la toma de decisiones de mejora de lo evaluado. (Stufflebeam y Shinkfield).
• Toma de decisiones de mejora del programa, de la institución, del personal implicado. (Pérez Juste).
Finalidad = propósito. Informar y mejorar, Necesita describir y necesita criterios para contrastar lo que pretende y lo que con-
sigue. Orientar la toma de decisiones para la mejora.
Calidad sinónimo de valor
Los criterios y las referencias para la evaluación de programas

3.2.1. Criterios para la evaluación de programas
Criterio11: Condición que debe cumplir una determinada actividad, actuación, proceso o programa para ser considerada de cali-
dad. Y calidad se define como la adecuación de un producto o servicio a las características especificadas.
Los criterios de la evaluación son los fines de la educación, son los objetivos de los programas, sus dimensiones. La evaluación
debe asegurar que sean de calidad, que sean coherentes con las necesidades y que se cumplan. Los criterios guiarán la realización
de las metas de los programas y la comprobación será que dichos resultados sean conseguidos.
Ejemplos:
Si los fines de un programa, curso, de inglés para profesionales que atienden a personas en un aeropuerto, es que comprendan
y hablen en un elevado nivel Inglés, si el programa lo consigue, ha cumplido con el criterio.
Si los fines de un sistema educativo son formar a la ciudadanía de un país para su desenvolvimiento en la sociedad, en los
ámbitos personales, sociales, profesionales, los criterios guiaran la realización de las metas de los programas y la comprobación,
será que dichos los resultados sean conseguidos.
Evaluar implica valorar de acuerdo con unos criterios, y determinar el mérito y la calidad de lo que consigue el programa.
La comparación entre los criterios y la aplicación del programa, durante su proceso y tras su aplicación para valorar sus resulta-
dos, nos permitirá atribuir valor sobre el propio programa, su aplicación y sus resultados, aportando información sobre lo eva-
luado, teniendo en cuenta las condiciones del contexto, y todo ello nos permitirá elaborar recomendaciones. Scriven denomina
estos elementos como el «mérito, valor y significación de lo evaluado».
10
Impacto=resultados
11
Criterio = Objetivos que pretende conseguir el programa
9
Lo que la evaluación dice que es adecuado y positivo, es lo que orienta a mantener los fines de la educación, los objetivos, o
cambiarlos. Los principales criterios que se utilizan para la evaluación de la calidad de los programas son los siguientes:
— Pertinencia o Adecuación: la medida en la cual un programa responde a una o más necesidades concretas de la población o
grupo al que atiende. Es el criterio más importante y fundamental, está elaborado para las necesidades que pretende
— Eficacia: la medida en la cual existe prueba de que los objetivos establecidos por el programa se han conseguido. La evaluación
de la eficacia tiene como finalidad comprobar el grado en que los objetivos pretendidos por un programa han sido conseguidos.
Relaciona los objetivos con los resultados conseguidos.
— Eficiencia: es la medida del logro de los resultados en relación con las actividades para conseguirlos y los recursos que emplea.
Relación entre los recursos utilizados y los resultados conseguidos. (mejor uso de los recursos al servicio de los objetivos)
— Efectividad: la medida en la cual un programa ha alcanzado una serie de efectos . Indica la cualidad del programa para conse-
guir los efectos para los cuales se ha elaborado. Eficacia y efectividad es prácticamente lo mismo.
— Satisfacción al final del programa, que se añade a la conseguida a lo largo del programa en relación con las expectativas sobre
el programa. Relación entre las expectativas sobre el programa y lo que se consigue. Grado en que un programa ha dado respuesta
a las expectativas (medidad de percepción subjetiva)
— Impacto, que son los efectos posteriores a la terminación del programa originados por el programa. Los criterios para valorar
la eficacia y el impacto son los objetivos declarados que pretende conseguir el programa para resolver determinadas necesida-
des. El impacto son los resultado que se consiguen al final del programa.
Los criterios de eficacia, eficiencia, efectividad y satisfacción se consiguen de una manera parcial a lo largo del programa y al final
del programa
Los criterios de calidad de los programas inciden en la relación entre las necesidades, las aplicaciones y los logros
Los criterios se miden mediante indicadores o ítems representativos del criterio y variable a medir. La medición busca comprobar
el grado en la relación entre la definición teórica y la realización empírica. Estándar: Que sirve como modelo, norma, patrón,
referencia. La medición del logro del criterio se basará en indicadores de realización de aquellas dimensiones necesarias para
lograr el estándar, incluidos en instrumentos de recogida de información y datos.
3.2.2. Las referencias para la evaluación de programas
Las referencias o los estándares de la evaluación guardan relación con los criterios y definen cómo deben cumplirse los criterios
para poder emitir un juicio positivo sobre la intervención del programa. Deben ser realistas, señalando una graduación en su
consecución. Son tres las referencias que se utilizan: la referencia criterial, la normativa y la idiosincrática.
- La referencia idiosincrática: la referencia se toma en relación con el punto de partida. Se centra en el progreso conseguido. El
punto de partida pueden ser los resultados de la evaluación última, pudiendo decir que los resultados conseguidos con las mejoras
introducidas en el programa y su aplicación, mejoran los resultados en relación con los que el programa conseguía en el período
anterior. Puede ser una mejora muy buena, pero no conseguir el dominio pretendido
EJEMPLO
Si un programa consigue mejorar los conocimientos de un alumno o grupo, al comparar los resultados con el punto inicial, es
una mejora a la medida, personalizada
- La referencia normativa: en relación con otros programas, o con otros centros que utilizan el mismo programa. Se centra en
conocer si los resultados han sido superiores, inferiores o iguales que los conseguidos por otros programas u otros centros.
- La referencia criterial: en relación con un dominio. Se compara lo que el programa ha conseguido con lo que pretendía conseguir
a un nivel absoluto, centrado en el logro del dominio. Dominar bien lo que se pretendía conseguir. Es la referencia más importante
4. Ejemplos de relación entre criterios y referencias
La medición del logro 12del criterio se basará en indicadores de realización de aquellas dimensiones necesarias para lograr el
estándar, incluidos en instrumentos13 de recogida de información y datos.
EJEMPLOS
—Pertinencia o adecuación: Los objetivos del programa atienden las necesidades identificadas. El programa concreta las acti-
vidades a realizar, de acuerdo con las necesidades detectadas.
— Eficacia: El programa se adapta a las necesidades del alumnado (Ref. idiosincrática)./ Los responsables del comedor, tras la
charla de los expertos, realizan menús adecuados a las edades de los escolares (Ref. criterial)./ El programa de Educación para
la salud se fundamenta en las recomendaciones de la OMS (Ref. criterial)
— Eficiencia: Los recursos económicos asignados a formación han sido utilizados para invitar a un especialista en nutrición (Ref.
criterial).
12
Logro: grado en que se consigue el criterio
13
Ejemplo de instrumentos: Cuestionario (por ítems), Observación (por elementos que dan información)
10
— Satisfacción: Los estudiantes participan con entusiasmo en las actividades deportivas en los recreos. Los padres felicitan a
los profesores por las charlas sobre nutrición celebradas en el centro. (Ref Criterial)
La recogida de evidencias en cualquiera de las dimensiona va a venir orientada por los criterios y lo indicadores
Los indicadores para recoger evidencias de los programas se deben centrar en las dimensiones y diseño del programa que res-
ponda a las necesidades. Ejemplo: si las actividades son adecuadas, si se adaptan al nivel inicial del alumno, el uso de los recursos,
los resultados inmediatos (todo orientado por los criterios y las referencias)
5. Funciones de la evaluación de programas
Son varias las funciones que cumple la evaluación dependiendo del propósito de la misma, del tipo de datos y del momento en
el que se realiza.
En el momento de la planificación de una evaluación es importante determinar las funciones específicas que cumplirá la evalua-
ción, debiendo informar de ellas a los implicados en la evaluación.
La evaluación formativa y sumativa
Scriven (1967) formuló dos importantes funciones de la evaluación:
- Evaluación formativa: para la mejora del programa mientras se desarrolla. Es realizada desde el inicio del programa y durante
su desarrollo con el fin de recoger información útil y a tiempo de los efectos del programa y de las necesidades con el fin de
introducir cambios para mejorar 14el programa y sus resultados
- Evaluación sumativa: valorando la eficacia del programa en su totalidad, cuando ha terminado. Es realizada una vez que ha
terminado el programa, o en determinados momentos clave, y su objetivo principal es recoger información sobre los resultados
finales y sobre el valor y mérito del programa. Sirve al rendimiento de cuentas y a la mejora de los programas en su totalidad.
Informar, una vez que ha terminado el programa, de los resultados que ha obtenido.
Ambas contribuyen a la mejora de los programas y de las organizaciones.
La función fundamental de la evaluación es la mejora basada en la información. Puedes ser formativa, a lo largo del proceso, o
sumativa, al final.
La evaluabilidad y su aplicación para la evaluación de programas
El concepto de evaluabilidad es definido como la medida en que un programa puede ser evaluado.
La evaluabilidad es una actividad previa a la evaluación y determina si el programa está adecuadamente diseñado, sus fines
están claramente definidos y en coherencia con las necesidades y su aplicación es coherente con el programa para que pueda
conseguir los fines pretendidos. Nos indica si un programa puede ser evaluado, si es aconsejable o no evaluarlo.
Si el programa no estuviera bien definido, su aplicación tuviera poco que ver con el programa o los fines de la evaluación no
estuvieran claramente determinados en coherencias con las necesidades y los implicados en el programa no participan y colaboran
en la evaluación, podría hacer no aconsejable la realización de la evaluación del programa. Y la evaluabilidad del programa,
basándose en la revisión del mismo y de cómo se está aplicando, valorará si procede realizar su evaluación.
La evaluabilidad se interesa por el tipo de información y datos que deben y pueden recogerse en la evaluación del programa, los
momentos en los que debe recogerse y la finalidad de la evaluación, de acuerdo con los intereses de los grupos implicados en la
evaluación y el uso de los resultados de la evaluación.
El cometido de valorar la evaluabilidad del programa es aconsejar si procede o no realizar la evaluación del programa.
EJEMPLO:
Un programa no es aconsejable evaluarlo cuando las persona que están aplicando el programa rechazan la evaluación y no
están dispuestas a aportar información, ni informes. O cuando un programas para atender a las necesidades no se ha aplicados
en su totalidad
La metaevaluación y su función formativa y sumativa
La meta-evaluación, término acuñado por Scriven, se define, por analogía con el término evaluación, como una investigación
sistemática encaminada a emitir un juicio valorativo acerca de la calidad y los méritos de una evaluación. La meta-evaluación
debe utilizarse como imperativo profesional, con el fin de asegurar la calidad y honradez, precisión y veracidad del trabajo de
evaluación realizado reflejado en sus informes, con transparencia.
Para Stufflebeam (1987:52) El objetivo de la meta-evaluación es asegurar la calidad de los servicios evaluativos, evitar, o enfren-
tarse a las prácticas ilegales o a los servicios que no son de interés público, señalar el camino para el perfeccionamiento de la
profesión y promover una mayor comprensión de la actividad evaluativa.
Incorporan la meta-evaluación en su modelo CIPP de evaluación de programas. La meta-evaluación también está incorporada en
los estándares para la evaluación de la calidad de los programas educativos del Joint Commitee on Standars for Educational
Evaluation (JCSEE), en su grupo 5 de responsabilidad de la evaluación, así como en las listas de control que utilizan diferentes
modelos educativos.
14
Introducir mejoras a tiempo
11
La meta-evaluación constituye una función estratégica que debe salvaguardar los procedimientos seguidos en la evaluación, sus
fines y sus resultados.
EJEMPLO:
La metaevaluación se hace cuando un evaluador ha realizado la evaluación de programas y emite un informe. Puede haber una
metaevaluación externa que diga “vamos a ver el informe que ha aportado el evaluador, vamos a ver si los propósitos están
bien definidos, cómo ha recogido la información, si se ha fijado en la eficacia, en la eficiencia, en la adecuación, si ha tenido en
cuenta la opinión de las personas implicadas”.
La metaevaluación es la evaluación de cómo ha sido realizada la evaluación de un programas.
La evaluación para el rendimiento de cuentas
El incremento del énfasis dado en la evaluación de programas al rendimiento de cuentas se debe al compromiso de los respon-
sables de los programas de informar sobre sus resultados a quienes tienen derecho a saber: los implicados en su aplicación, los
que lo reciben, los padres, la administración y la sociedad.
El rendimiento de cuentas en evaluación tiene que ver con el ejercicio de la responsabilidad como complemento al ejercicio de
la autonomía para desarrollar programas educativos en instituciones apoyadas económicamente con fondos estatales o fondos
externos. Tiene que ver con la transparencia sobre cómo se desarrollan los programas educativos y los resultados que consiguen.
Consiste, básicamente, en informar a quienes tienen derecho a saber acerca de cómo ha funcionado una institución para desa-
rrollar lo que tenía encomendado.
Esta necesidad de rendir cuentas —accountability—, o de garantizar o asegurar la calidad de lo que se hace —quality assurance—
, ha creado la necesidad de conocer y utilizar los conceptos y funciones de la evaluación de programas, sus metodologías y
procedimientos en las auditorías.
Por otro lado, los expertos en evaluación de la calidad de las instituciones suelen utilizar el término «gestión» para la medida y
valoración del funcionamiento y rendimiento institucional, y de la satisfacción de los beneficiarios directos e indirectos con ese
rendimiento.
Rendir cuentas es cuando un programa está dotado de presupuesto y se pide a los que lo van a aplicar, a realizar y a diseñar, que
elaboren un informe de cómo ha sido aplicado, las dificultades que han tenido, las ventajas, los inconvenientes, los resultados que
ha conseguido y en qué grado. Realizar un informe riguroso para rendir cuentas. Los centros educativos, también, tienen que
rendir cuentas.
6. El objeto de evaluación
Tradicionalmente el objeto de evaluación han sido los alumnos, pero también los programas, los centros educativos, los sistemas
educativos, políticas educativas… pueden ser objeto de evaluación.
La evaluación de los aprendizajes de los estudiantes
La evaluación del estudiante es el área de la evaluación más utilizado y desarrollado con anterioridad al desarrollo teórico y de
aplicación de la evaluación de programas, lo que le ha permitido prestar una gran ayuda a la evaluación de programas.
En la evaluación del rendimiento de los alumnos, se plantea el problema del criterio o la norma a utilizar para interpretar ade-
cuadamente el progreso en el aprendizaje que logra el alumno tras un determinado período instructivo.
El criterio es el aprendizaje que el estudiante debe dominar frente al cual se compara el rendimiento alcanzado, y los estándares
(referencias); el referente frente al cual se compara el rendimiento alcanzado con unos niveles previamente fijados y nos per-
mite emitir un juicio evaluativo sobre el aprendizaje logrado por el estudiante de suspenso, aprobado, notable, sobresaliente o
matrícula de honor.
En la evaluación referida a norma, el aprendizaje logrado por un alumno se determina comparándolo con el obtenido por un
grupo de referencia pudiendo ser el grupo de compañeros de su aula, o de su curso.
Y si nos referimos a la evaluación del estudiante:
- Evaluación criterial: si se relaciona el aprendizaje que ha conseguido con el dominio de aprendizaje que debe aprender.
- Evaluación normativa: si se relaciona el aprendizaje conseguido con el conseguido por el grupo.
- Evaluación idiosincrática: si se relaciona el aprendizaje conseguido con el nivel de partida.
La evaluación de la calidad de los centros educativos y conceptos específicos
El programa tiene que tener unas actividades, objetivos, contenidos, modos de evaluar el aprendizaje, y todo ello es objeto de
evaluación. Los evaluadores ven la globalidad y la relación entre todas las dimensiones y los momentos evaluativos. Se centran
en la totalidad del programa y los elementos que contribuyen a que ese programa sea de éxito.
La evaluación de programas, y sus modelos, persiguen evaluar un programa diseñado y aplicado para atender unas necesidades
previamente diagnosticadas que es necesario subsanar.
Un programa educativo, dentro de un currículo, busca desarrollar unas determinadas habilidades, conocimientos, actitudes, com-
petencias. Y se basa en la legislación educativa acordada por los expertos, basándose en estudios de necesidades de educación
de nuestros estudiantes de acuerdo con la sociedad en la que vivimos.
12
Los programas buscan lograr unos resultados mediante su aplicación en organizaciones educativas, con unos recursos económi-
cos y equipos de profesores formados para aplicar dichos programas a determinados grupos de alumnos sobre los que se preten-
den conseguir unos cambios; y para conseguirlo toda la institución debe estar al servicio de una adecuada aplicación de los pro-
yectos y programas educativos.
La evaluación de programas no se limita a evaluar únicamente el programa, sino que debe tener en cuenta el contexto en el que
se desarrolla, las necesidades que motivan los programas, la organización, las personas que los aplican y las personas que los
reciben.
EJEMPLO:
Cuando se evalúa un programa educativo que se aplica en un centro educativo, muchas veces, para mejorar ese programa, la
dirección, la organización se tiene que implicar y a lo mejor ese programa conseguiría mejores resultados con una hora más a
la semana, con unos recursos que necesitan y no los tiene, con un horario más adecuado.
De modo que la mejora de los programas puede ayudar a mejorar la organización y el resultado del centro educativo.
La actividad evaluativa está integrada en las organizaciones educativas. La evaluación debe centrarse en comprobar la calidad
del propio programa y su aplicación, junto con los elementos necesarios para que el programa consiga los cambios que pretende,
en las actitudes, en los conocimientos y en la formación de los que aplican el programa.
La evaluación de programas no puede estar aislada de la mejora de la calidad de las organizaciones educativas y de la calidad de
la educación en general. No se puede aislar de su contexto, de sus responsables, de sus principales actores, sin tener en cuenta
las metas de la organización, sus recursos, sus beneficiarios, la legalidad vigente, la transparencia, la información fundamentada
para su utilización para mejorar el programa en sucesivas aplicaciones, al servicio de los programas y de sus beneficiarios, alumnos,
profesores y sociedad.
El profesional de la evaluación de programas
La evaluación de programas y de los centros corresponde al profesional de la evaluación de programas y de centros. Puede ser
realizada por el profesor o por un equipo de profesores integrado en una unidad de calidad, con conocimientos especializados
sobre evaluación. También, puede y debe hacerse por un evaluador profesional externo al centro para ofrecer objetividad y
transparencia a los resultados de la evaluación.
El profesional de la evaluación de un programa requiere formación en cuestiones tales como:
• Fundamentos sobre los programas para la intervención educativa y social.
• Conocimientos de metodología de investigación para la elaboración de indicadores sobre los programas y su funcionamiento,
que nos permita recoger evidencias, analizarlas e interpretarlas.
• Decisiones sobre los criterios a utilizar, adecuación a las necesidades que pretende resolver –mérito- y calidad con la que el
programa lo consigue – valor-, para formular los juicios de valor.
• Decisiones sobre el uso que se le va a dar a los informes de los resultados de la evaluación.
5.2.1. La evaluación de la gestión de la calidad de los centros educativos. Los principios de la gestión de la calidad total.
Las organizaciones que aprenden
La evaluación de programas guarda relación con la evaluación de los sistemas de gestión de la calidad. La gestión de la calidad se
orienta siempre hacia el logro de lo que la institución pretende conseguir, recogiendo evidencias sobre cómo lo hace y lo que
consigue, orientada a la mejora continua (nada es tan bueno que no pueda mejorarse). Una finalidad de la gestión de calidad es
la mejora continua de las organizaciones hacia la excelencia.
Los modelos de gestión de la calidad contemplan la «responsabilidad social» como uno de los conceptos fundamentales y se
diseñan en función del contexto histórico social en el cual se circunscriben y se desarrollan.
En todos los modelos subyacen los principios básicos de la calidad total:
- una dirección o liderazgo para establecer políticas y coordinar esfuerzos,
- una dirección estratégica con objetivos anuales,
- un equipo de personas motivadas y formadas para implementar la estrategia,
- unos recursos necesarios,
- unos procesos determinados con metodología propia orientada hacia la satisfacción de las expectativas de los clientes, de mar-
keting y venta del producto o servicio
- y unos beneficios o resultados de rendimiento.
Las organizaciones inteligentes o las organizaciones que aprenden utilizan la evaluación para mejorar
5.2.2. El aseguramiento de la calidad
El aseguramiento de la calidad, o garantía de la calidad, es un proceso sistemático diseñado para identificar, analizar y eliminar
variaciones en los proyectos, procesos y resultados. Asume unas normas o estándares métricos, así como el análisis de las me-
jores prácticas en su ámbito.
El aseguramiento de la calidad se orienta a la «satisfacción de las necesidades y expectativas del cliente».
13
En su aplicación en los ámbitos de las organizaciones educativas, como por ejemplo en la educación superior para la evaluación
de su calidad, utilizando modelos sistémicos, que incorporan estrategias para la mejora continua propias de las filosofías de la
Calidad Total.
5.2.3. Evaluación de programas y auditoría
Comparación entre la auditoria y la evaluación de una organización:
Auditoria Evaluación
Tipo pre- Saber si lo que se ha hecho está conforme con lo que se Comprender que es lo que produce ciertos efectos,
guntas debía haber hecho. Respuesta al “¿Qué?” deseados o no. Respuestas al “¿Por qué?”
Compro- Defender la transparencia y el derecho a saber. Reformular lo que se está haciendo, buscar soluciones y
miso Incrementar el control. ver los problemas de otro modo. Incrementar el control.
Enfoques Métodos retrospectivos, contrastando el manual de ca- Metodologías retrospectivas y prospectivas.
lidad y los objetivos pretendidos con los resultados.
Finalidad Detectar errores, incumplimientos, no conformidades, Detectar a qué se han debido los incumplimientos y pro-
en relación con lo que se dice que se va a hacer en el poner nuevas vías para conseguir las metas pretendidas
manual de calidad. junto con nuevas metas valoradas de interés.
Forma- Formación específica con unas características amplia- Equipos de expertos para manejar los problemas con
ción mente aceptadas por las agencias nacionales e interna- maestría, relacionados con las metodologías de investi-
cionales de auditoría. gación y con los fundamentos de los programas educat.
Planifica- Planifican de un modo pragmático para su realización en Diseñan con modelos de investigación social, recurren a
ción y di- unas pocas jornadas de trabajo y utilizan herramientas la teoría sustantiva, recogen información con diversas
seño de recogida de información funcionales. técnicas, elaboran informes útiles para la organización y
el desarrollo de teorías
5.2.4. Funciones del evaluador según si relación con la organización evaluada y el enfoque de evaluación utilizado
Evaluación interna o autoevaluación: la evaluación es realizada por los miembros de una organización, con fines diagnósticos y
de mejora. La autoevaluación es la herramienta fundamental que utilizan los modelos de evaluación global de las organizaciones,
entendida como un examen global y sistemático de los proyectos, actividades y resultados de una organización que se compara
con criterios facilitadores y de resultados del modelo de excelencia.
Evaluación externa: la evaluación es realizada por expertos externos a la institución, con fines de rendimiento de cuentas.
La evaluación institucional presupones las dos funciones de la evaluación:
- la evaluación interna, o autoevaluación, para aportar información para introducir mejoras inmediatas
- la evaluación externa para informar, como rendimiento de cuentas ante quienes tienen derecho a saber sobre el funcionamiento
de la institución, o para optar a un reconocimiento
7. Propósitos de la evaluación de programas
— Emitir juicios sobre el valor de un programa, fundamentados, basándose en un análisis comprensivo del programa, de cómo
se aplica y los resultados que consigue.
— Asistir al responsable de la toma de decisiones, para la mejora, aportando un feedback del propio programa y su aplicación,
considerando los recursos personales, materiales y las propias estrategias y actividades para la aplicación del programa.
— Cumplir una función social, y política, asumiendo responsabilidades, rindiendo cuentas (accountability) tanto en relación con
los aspectos económicos como sociales y políticos.
El propósito de la investigación evaluativa es informar a la acción, apoyar la toma de decisiones y aplicar el conocimiento para
resolver problemas humanos y sociales.
14
Preguntas test. Tema 1

1. La evaluación como disciplina, descansa en sus características:
a. Transdisciplinares
b. Integradoras
c. Científicas
2. La evaluación de programas:
a. Analiza los problemas mediante la observación
b. Se centra en todos los elementos relacionados con los programas
c. Se sirve de la multiplicidad crítica y metodológica
3. La complejidad de los fenómenos educativos objeto de la evaluación de programas requieren del uso de metodologías:
a. Mixtas
b. Cuantitativas y descriptivas
c. Naturalistas y cualitativas
4. La evaluación de programas requiere del uso de metodologías
a. Complementarias
b. Cuantitativas y descriptivas
c. Naturalistas y cualitativas
5. Los criterios en la evaluación de programa son:
a. Los recursos para aplicar el programa
b. Los objetivos del programa
c. La satisfacción de los beneficiarios del programa
6. Tres ideas subyacen en la definición de evaluación de programas:
a. Aplicar los estándares, evaluar el programa y mejorar el programa
b. Informar sobre el programa, sus criterios de evaluación y su finalidad
c. Orientar a los responsables sobre sus mejoras, continuidad y expansión
7. El concepto de evaluación de programas de Stufflebeam incluye como términos clave:
a. Planificación, proceso y juicio PEC
b. Identificar, obtener y proporcionar información
c. Describir, observar y tomar decisiones
8. La evaluación de programas comprende:
a. Procedimientos y resultados
b. Descripción y juicio
c. Objetivos y criterios
9. Para la realización de la evaluación es esencial:
a. La acumulación y síntesis de evidencias
b. Los criterios para verificar la calidad de los programas
c. El seguimiento de la aplicación de programas
10. Para la realización de la evaluación es esencial: PEC
a. La recogida de evidencias fidedignas.
b. Los criterios, y sus indicadores, para verificar la calidad de los programas.
c. Los objetivos para valorar los resultados de la aplicación del programa.
11. Las referencias para la evaluación del programa son:
a. Normativas, idiosincráticas y objetivas
b. Idiosincráticas, personalizadas y normativas
c. Criteriales, normativas e idiosincráticas
12. La comparación entre los criterios y los resultados que consigue el programa nos permitirá:
a. Aportar información sobre las condiciones del contexto
b. Atribuir valor a los resultados que consigue el programa
c. Elaborar recomendaciones para mejorar la aplicación del programa
13. El criterio de satisfacción en la evaluación de programas relaciona:
a. Los medios utilizados con los resultados
b. Las expectativas con los resultados conseguidos
c. Las necesidades con el logro de objetivos
14. La evaluación formativa, en relación con el programa, se centra en:
a. Los resultados que consigue
b. Supervisar el progreso
15
c. El valor y el mérito del programa

15. La evaluación sumativa, en relación con el programa se centra en:
a. Supervisar el progreso
b. Hacer correcciones a tiempo
c. Mejorar la calidad del programa
16. La metaevaluación según Sttufflebeam, debe aplicarse para asegurar la:
a. Calidad de la evaluación del programa
b. La idoneidad del evaluador
c. Calidad del programa
17. La metaevaluación, según Scriven, debe aplicarse para asegurar la:
a. Idoneidad del evaluados
b. Profesionalidad del evaluador
c. Responsabilidad del evaluador
18. La metaevaluación actúa principalmente para garantizar:
a. La calidad del programas
b. La idoneidad del evaluador
c. Los procedimientos, fines y resultados de la evaluación
19. La finalidad de la evaluación para el rendimientos de cuentas es
a. Un ejercicio de transparencia
b. Una evaluación con respecto a la norma
c. Una evaluación integral para todos
20. Entre los propósitos de la evaluación de programas se encuentra el de:
a. Proporcionar información para la mejora PEC
b. Realizar un análisis comprensivo del programa
c. Aportar información comprensiva rigurosa y fiables
a. Resolver problemas humanos
b. Emitir juicios fundamentados sobre el valor de un programa
c. Elaborar nuevas propuestas
a. Cumplir la función social de rendir cuentas
b. Realizar un análisis comprensivo del programa
c. Recoger información rigurosa, valida y fiable
23. Los propósitos de la evaluación de programas son:
a. Mejorar, emitir juicios e informar
b. Valorar, emitir juicios y ayudar a los responsables
c. Describir, informar y mejorar
24. La evaluación criterial es aquella que se realiza frente a:
a. A los resultados conseguidos por un grupo de estudiantes PEC
b. A los criterios del experto en evaluación
c. Lo que pretende conseguir un programa
25. Cuando se valora el impacto que ha tenido un programa educativo, estamos hablando de:
a. Fiabilidad
b. Eficacia
c. Adecuación
26. La evaluación para el rendimiento de cuentas se basa en la:
a. Evaluación sumativa
b. Evaluación formativa
c. Evaluación criterial
16
Ejercicios del foro. TEMA 1 Items, Criterios y estándar o referencia

1. Elaboración de indicadores, o ítems, para la recogida de información evaluativa para cada una de las dimensiones que
ahora mencionamos (el programa en sí, su aplicación, implicación de los padres) de la evaluación de programas, aten-
diendo al criterio y estándar de cada indicador indicado.
Dimensiones y variables Ítem Criterio Estándar
El programa y sus metas
El programa y sus fundamentos
El programa y sus estrategias de
aplicación
La aplicación del programa
La implicación de los padres
Para la formulación de los ítems, hay que tener en cuenta:
1º Identificar el objetivo del cuestionario
2º Definición de las variables medidas para cada una de las dimensiones
3º Revisar los contenidos que son relevantes y representativos de cada una de las dimensiones
4º Formulación de los ítems, es importante:
- cada ítem debe centrarse en un solo contenido
- la claridad de la redacción
- la representatividad, es decir, todos los aspectos de la dimensión deben estar representados
- los ítems deben ser sencillos y comprensibles
- deben ser variados
- se deben evitar tecnicismos, negaciones, dobles negaciones y enunciados ambiguos
- cada uno de los ítems se debe referir exclusivamente a una cuestión
- adaptar el lenguaje a la población a la que va dirigido
Formular un ítem por cada dimensión/variable. No repitáis los ítems, y elaboradlos atendiendo a las indicaciones que se os dan.
RESPUESTA
El programa y sus metas El programa atiende las metas di- Adecuación Criterial
rigidas a que los niños se intere-
sen por una alimentación saluda-
ble, la actividad física, el cuidado
de la higiene, y las relaciones con
los compañeros del grupo de
clase.
El programa y sus fundamentos El diseño del programa se funda- Adecuación Criterial
menta en los principios de Educa-
ción para la salud, para la dad in-
fantil, recogidos en la OMS, y en
las recomendaciones de sanidad
del Ministerio y la Consejería.
El programa y sus estrategias de El programa incluye actividades Adecuación Criterial
aplicación diseñadas de acuerdo con las (calidad téc-
orientaciones didácticas y expe- nica del pro-
riencias bien valoradas, de bue- gramas, según
nas prácticas, adecuadas a las el modelo de
edades de 3 a 6 años. Pérez Juste)
La aplicación del programa El desarrollo del programa se Eficacia Criterial
efectuó siguiendo las actividades (cumplimiento
y tiempos establecidos en su di- del plan, según
seño. el modelo de
Pérez Juste)
Las metodologías aplicadas tie- Eficacia

nen en cuenta las necesidades de Criterial
higiene bucal de los menores
17
La implicación de los padres Los padres colaboraron apor- Eficacia Criterial

(comunicación, resultados) tando información para el diseño
realista de las actividades.
Los padres colaboraron apor-
tando información sobre las me-
joras que se iban consiguiendo
con la aplicación del programa.
La implicación de los padres en

las actividades planificadas
ayuda a conseguir los resultados Eficacia Criterial
pretendidos por el programa.
Resultados del programa Han adquirido conocimientos Eficacia Criterial

básicos respecto a la higiene bu-
codental
Los niños y niñas han adquirido Eficacia Criterial

conocimientos básicos respecto a
la higiene bucodental.
(no es el programa en sus metas,
es en sus resultados)
18
TEMA 2: Michael Scriven. La evaluación como la ciencia de la valoración. La evaluación orientada al consumidos. La lista de las
claves de control para la evaluación y la meta-evaluación.
1. Introducción
Scriven es uno de los primeros teóricos de la evaluación moderna y ha influido más que ningún otro en cómo se habla en evalua-
ción. Introdujo los términos evaluación sumativa y evaluación formativa, la evaluación libre de metas y la meta-evaluación, y
evaluand y la evaluación libre de costes. El desarrollo de las listas de las claves de control para la evaluación también es una
contribución suya.
Scriven ha sido el gran impulsor para el desarrollo de la Evaluación como disciplina de conocimiento. Una disciplina es un cons-
tructo intelectual organizado, siendo su esencia su práctica, junto con su concepto general y su meta-teoría.
La evaluación es el nombre de una disciplina autónoma con su propia clasificación en la Biblioteca del Congreso de los Estados
Unidos (Scriven, 1991:141). Esta disciplina se refiere al estudio y aplicación de procedimientos para hacer evaluaciones objetivas
y sistemáticas.
Cuatro elementos caracterizan a una disciplina:
• Su concepto, delimitado de otros, como área de investigación aplicada.
• Su metodología, procedimientos e instrumentos para generar resultados útiles.
• Su producción de investigaciones, principios, modelos y teorías generales,
• Su metateoría, que proporciona un método de trabajo para la práctica, no como mera acumulación y síntesis de datos, sino
basado en premisas, criterios, para verificar los valores relevantes que orientan la evaluación.
La evaluación debe proporcionar información para los que toman decisiones, y debe determinar el mérito y el valor de lo que se
evalúa. Para Scriven, la evaluación es la ciencia de la valoración.
2. La teoría de la evaluación de Scriven
Para Scriven, la evaluación es la valoración sistemática del valor y mérito 15de lo que se evalúa. Es una actividad profesional que
incluye procedimientos sistemáticos para la recogida de información, que debe culminar con juicios bien fundamentados sobre
el valor y el mérito de los programa y recomendaciones objetivas.
2.1 La evaluación como la ciencia del valor
La evaluación es un proceso y un resultado, y el juicio sobre el objeto evaluado es una de las funciones a realizar por el evaluador.
Los evaluadores deben juzgar las metas en sí de los programas, pero no limitarse por ellas. Deben identificar todos los resultados
que consigue un programa y valorar si han dado respuesta a las necesidades y a las expectativas de los beneficiarios del programa
y si añaden valor.
La evaluación como ciencia de la valoración se basa en criterios de la valoración objetivos.
Scriven argumenta que el valor, el mérito, la calidad son constructos procedentes de variables observables.
Se declara neopositivista reconociendo que ningún científico observa la realidad sin distorsionarla. Por ello, la utilización de múl-
tiples perspectivas ayuda a construir un cuadro más amplio y completo de la realidad y llama a esto perspectivismo (necesidad
de múltiples contrastes de la realidad).
Desarrolla una lógica probativa (modelo de razonamiento sencillo y sistemático) para aplicarla a la lógica evaluativa. Probativo
significa contribuir hacia una prueba que no ha sido probada de un modo lógico por su complejidad. La ciencia de la valoración
debe atender más a la lógica probativa del razonamiento práctico para admitir la aprobación de sus hallazgos sobre el valor,
que adherirse a un método particular.
Scriven concede una importancia central al hecho de asignar significados de valor, sobre la calidad, a los resultados en los estu-
dios evaluativos.
La evaluación, de acuerdo con Scriven es multicampo, multidisciplinar, multinivel… La evaluación es la multiplicidad de lo múltiple.
2.1.1 Algunas definiciones
CALIDAD es definida como la adecuación de un producto o servicio a las características especificadas. Por ejemplo: cómo es capaz
un programa para atender unas necesidades. Para que un programa educativo sea de calidad debe atender a las necesidades y
expectativas para las que se ha creado.
Es la propiedad o conjunto de propiedades inherentes a algo, que permiten juzgar su valor.
Es la totalidad de las características de una entidad (proceso, producto, organismo, sistema o persona), que le confirieren una
aptitud para satisfacer las necesidades establecidas o implícitas. (ISO).
Un programa es de calidad si lo que dice que va a conseguir y cómo lo va a hacer, lo cumple.
15
Valor = calidad. Mérito = grado con el que lo consigue
19
VALOR: Grado de utilidad o aptitud de las cosas para satisfacer las necesidades o proporcionar bienestar o deleite. (RAE,2019).
Un programa cumple con el criterio de valor, si responde a las necesidades, si satisface las necesidades. Valor es sinónimo de
Calidad
MÉRITO: Acción o conducta, intervención, que la hace digna de premio o alabanza dependiendo de cómo se realice. (RAE, 2019).
Un programa tiene mérito, en diferente grado, si es realizado de acuerdo con unos estándares, unas normas de realización.
El valor está asociado al mérito, al grado de calidad con que consigue atender las necesidades
2.2 Las necesidades sociales y la ciencia de la valoración
La evaluación aporta información sobre los distintos elementos del programa en respuesta a unas necesidades especificadas de
su contexto, de su aplicación y de sus resultados.
Scriven considera la evaluación como la ciencia de la valoración y considera que la sociedad demanda la existencia de esta ciencia
para utilizarla como un procedimiento sistemático y libre de prejuicios para evaluar los productos y servicios, el personal y los
programas e informar si son adecuados para las personas que se van a beneficiar de dichos productos y servicios, y lo llama
«Evaluación orientada al consumidor».
Ve la evaluación como un servicio para los intereses de quienes están afectados por la entidad que va a ser evaluada. La evalua-
ción debe cumplir una función de servicio al consumidor.
El juicio sobre el objeto evaluado es una de las funciones inexcusables a realizar por el evaluador. Una vez realizada la evaluación,
el evaluador tiene una idea clara sobre lo que ha evaluado:
- ¿Sirve para lo que pretendía servir? Su valor para atender a las necesidades.
- ¿Merece la pena que se siga utilizando? El grado en que lo consigue.
- ¿Se está aplicando bien el programa?
- ¿A qué se debe que no consiga los resultados pretendidos?: ¿Al programa? ¿A quiénes lo aplican? ¿A quiénes lo reciben? ¿Por
qué?
- ¿En qué debería cambiar para que de verdad fuera útil para resolver los problemas o conseguir los objetivo que pretendía
conseguir?
Todo esto va aportando información valorativa, juicios de valor sobre los distintos elementos del programa, de su contexto, de
su aplicación, de sus resultados, pero, esos juicios deben ser «objetivos», fundados en la realidad, probados.
El juicio del evaluador puede ser: este programa atiende a las necesidades para las que se ha creado y lo hace cumpliendo con los
estándares de realización, por lo que merece la pena mantenerlo y extenderlo a otros contextos, usuarios, beneficiarios. Pero esas
valoraciones deben estar documentadas. Y de ese modo sirven a la formación del responsable del programa, de quienes lo
aplican y de sus beneficiarios.
La legislación demanda rendir cuentas a las organizaciones del uso que se hace de los fondos y de la confianza que en ellos
deposita la sociedad mediante evaluaciones independientes. No hacerlo, podría suponer un perjuicio para los destinarios de esos
fondos, de esos programas.
El evaluador, debe determinar si los programas son adecuados, tienen capacidad para satisfacer las necesidades establecidas, y
en qué grado cumplen con los estándares de realización especificados.
La evaluación que cumple esta función la denomina «Evaluación orientada al consumidor», siendo esencial que todas las partes
afectadas por lo que está siendo evaluado, sus necesidades y expectativas sean tenidas en cuenta, e informadas de los resultados
de la evaluación.
2.3 La evaluación libre de costes
La expresión «evaluación libre de costes», también atribuida a Stufflebeam, Scriven la justifica así: «Si bien el interés público
demanda evaluaciones, éstas no se justifican en todos los casos». Las evaluaciones deben realizarse con un equilibrio de coste-
beneficio positivo, pero no solo en términos económicos.
La evaluación debe ser rentable, beneficiosa para quienes están implicados y relacionados con ella. La información y los benefi-
cios sociales que aporta, también, son de interés.
La evaluación debe ser beneficiosa para quienes están implicados y relacionados con ella.
Las evaluaciones que crean más problemas que beneficios deben ser desaconsejadas, y por eso, el análisis de la
evaluabilidad 16de lo que se pretende evaluar, sirve para aconsejar cuándo es adecuado realizar una evaluación y cuándo no.
Para realizar una evaluación se debe dar una relación de coste-beneficio positiva, pero no solo en términos económicos. La
información y los beneficios sociales que aporta, también son de interés, tanto o más que los beneficios económicos.
16
Análisis de la evaluabilidad: Analizar beneficios y gastos, los pros y los contras.
20
2.4 La evitación de los prejuicios

No siempre los prejuicios pueden ser evitados por lo que el evaluador debe hacerlos explícitos y establecer alertas contra la
existencia de prejuicios.
Así, se debe luchar contra la idea de que algunos evaluadores consideren más importante los intereses de los directivos que los
de otros grupos de interés, como son los que aplican los programas y los que los reciben.
Las soluciones para evitar prejuicios implican la conveniencia de llegar a acuerdos de modo que se garantice la independencia
del evaluador.
En la realización de evaluación es necesario garantizar la independencia del evaluador, la transparencia de los resultados y el
derecho a la información de todos los implicados e interesados en el programa.
Los beneficiarios de la evaluación, son los profesores, los alumnos, las familias, la sociedad, la administración; todos están in-
teresados en conocer cómo se diseñan, aplican y desarrollan los programas, y los resultados que consiguen, y tienen derecho a
saber.
2.5 La evaluación libre de metas
Un prejuicio frecuente es la tendencia a juzgar el programa usando las metas afirmadas del programa. El evaluador debe hacer
evidentes tanto las metas explícitas como las implícitas de los programas. Los evaluadores deben juzgar las metas en sí mismas
de los programas, su calidad, pero no limitarse por ellas.
Con el programa se pueden esperar unos resultados pero puede que se produzcan resultados no esperados que vayan más allá.
Esto es el valor añadido = efecto no pretendido. El evaluador debe aconsejar la utilización de los efectos no pretendidos a otros
programas
El trabajo del evaluador, de acuerdo con Scriven, es identificar cualquier efecto del programa, pretendido o no, que ayude a
resolver los problemas y mejorar los programas y sus desarrollos aplicativos. Aconseja a los evaluadores que realicen evaluacio-
nes libres de metas (evaluaciones con referencia a las necesidades a las que el programa pretende dar respuesta o resolver).
La evaluación libre de metas hará que el evaluador trabaje con empeño y sin prejuicios por encontrar cualquiera o todos los
efectos del programa. Debe relacionar los efectos con la necesidades de a quienes afecta el programa y para cuya resolución ha
sido diseñado.
Es decir, los evaluadores deben juzgar las metas en sí de los programas, pero no limitarse por ellas. Deben identificar todos los
resultados que consigue un programa, no solo los relacionados con los objetivos propuestos, y valorar si dan respuesta a las
necesidades y a las expectativas de los beneficiarios del programa y si añaden valor.
2.6 La evaluación formativa y sumativa
La evaluación puede ser hecha para proporcionar información a las personas que intentan mejorar algo (evaluación formativa),
o para proporcionar información para los que toman decisiones, preocupados por crear, terminar o cambiar algo (evaluación
sumativa) (Scriven, 1980)
La evaluación formativa es fundamental para la mejora continua de lo que se está evaluando (útil para mejorar a tiempo). Debe
hacerse desde el comienzo del programa e informar y estar al servicio de la evaluación sumativa. Es fundamental para comprobar
cómo se está desarrollando la aplicación del programa, si está consiguiendo los objetivos que pretendía, si está atendiendo a todos
los grupos, si está comprendiendo y mejorando aquello que deben mejorar.
La evaluación sumativa debe ser holística y global. Resume, sintetiza los resultados aportados en la evaluación de un programa,
y esa información ayuda a tomar de decisiones de mejora del programa en su totalidad.
La función de la evaluación siempre es la mejora, ya sea durante el proceso o una vez que ha terminado el programa, para
aplicaciones futuras de ese programa.
LA EVALUACIÓN SUMATIVA Y FORMATIVA EN LA EVALUACIÓN DE PROGRAMAS
DIMENSIONES Evaluación formativa Evaluación sumativa
Propósito Comprueba y mejora la calidad con la que se aplica Prueba la calidad del programa una vez aplicado.
el programa. Proporciona información que puede ser utilizada
Proporciona información que puede ser compartida para demostrar con fundamentos a los patrocinados
rápidamente por aquéllos que están aplicando el y a la comunidad, los resultados del programa.
programa, para mejorarlo a tiempo. Genera el informe final.
Genera informes periódicos. Informar para la mejora del programa y de la organi-
Informar para la evaluación sumativa del programa. zación y sus miembros, para el siguiente ciclo de apli-
cación del programa.
Audiencia Administradores y personal del programa. Usuarios actuales y potenciales del programa.
Quién la hace Evaluador interno. Evaluador interno y externo.
21
Cuestiones Se centra en las actividades del programa, compro- Se centra en los resultados inmediatos del programa
que hace bar que se aplica lo planificado, las metas y resulta- y en su impacto. Si bien los datos pueden ser recogi-
dos que consigue en el corto plazo, con propósitos dos a lo largo del desarrollo del programa, su propó-
de supervisar el progreso y hacer correcciones sito es determinar el valor y el mérito del programa
cuando se necesite. centrándose en los resultados.
Aportaciones Ayuda a aportar sugerencias, datos fehacientes sobre Ayuda a describir la calidad y la eficacia del programa
el funcionamiento del programa, para sugerir mejo- mediante la documentación de sus resultados sobre
ras del programa y su aplicación, e informar al perso- los participantes y la comunidad, una vez terminado
nal que lo aplica, y a sus responsables. el programa. Ayuda a mejorar el programa en suce-
sivas ediciones
2.7 La meta-evaluación
La meta-evaluación se define como una investigación sistemática, rigurosa, encaminada a emitir un juicio valorativo acerca de la
calidad y los méritos de una evaluación. La metaevaluación se refiere a la calidad con la que ha sido realizada la evaluación.
Según Scriven, la metaevaluación debe aplicarse para garantizar que la evaluación cumple con los criterios de transparencia.
Scriven señala que la metaevaluación puede servirse tanto de listas de control específicamente elaboradas para la realización de
una meta-evaluación concreta, como de los estándares consensuados por la comunidad científica, del Joint Committe que orien-
tan la planificación y realización de la evaluación y la metaevaluación.
La meta-evaluación puede ser:
- Formativa: Orienta la planificación y realización de la evaluación
- Sumativa: Evaluación de la evaluación, una vez realizada. Aporta evidencias independientes sobre la competencia del evaluador
y de sus informes.
La metaevaluación es interna si es realizada por los propios evaluadores, y externa si es realizada por evaluadores externos a la
evaluación, como ejercicio de transparencia.
Si conocemos los criterios que se van a aplicar para valorar un programa y sus resultados, deben guiar su concepción, su diseño
y su realización.
La metaevaluación pretende asegurar la calidad, utilidad, honradez, adecuación, precisión, responsabilidad y transparencia del
trabajo del evaluador. Sus informes fomentan la transparencia y orientan el aprendizaje de la comunidad científica. Ayudan a
mejorar el diseño, planificación y realización de la evaluación de los programas, y como consecuencia, la mejora del diseño y
aplicación de los programas, y sus resultados. Los informes de la metaevaluación son ejemplos, modelos de cómo deben ser
realizadas las evaluaciones. Orientan el aprendizaje de aquellos que están iniciándose en la evaluación.
La evaluación se centra en la calidad del programa. La metaevaluación se centra en la calidad de la evaluación del programa.
2.8 La lógica de la evaluación y la práctica evaluativa
Para Scriven "La evaluación, comúnmente, implica determinar los criterios del mérito de lo que se evalúa, normalmente desde
las necesidades de mejora(metas y objetivos que se quiere conseguir), y las normas de mérito, frecuentemente como resultado
de buscar una comparación apropiada entre lo que se pretende conseguir (objetivos) y lo que consigue (resultados) el programa
tras su aplicación, y después, comparará la práctica del objeto evaluado con las normas dadas"
Esta definición de evaluación sugiere cuatro actividades claras:
1. Determinación de los criterios del mérito o calidad del programa: Son las metas y los objetivos que pretende conseguir
un programa (adecuación, eficacia, eficiencia, efectividad, satisfacción, impacto)
2. Determinación de las normas sobre el mérito: Grado en que los objetivos deben ser conseguidos. Fijación de normas
claras sobre lo que debe conseguir la práctica para considerar conseguidos los criterios de mérito de los programas.
Supone señalar cómo deben realizarse esas metas y objetivos para poder considerar que el programa ha trabajado bien
para conseguir lo que el programa pretendía desarrollar.
3. Durante la aplicación del programa comparar lo que pretende conseguir el programa y lo que consigue, mediante la
recogida de información, de evidencias. Comparar el modelo a conseguir con la realización empírica de la aplicación.
4. Tras su aplicación, el análisis de la información recogida permitirá comparar la práctica del objeto evaluado (si está
cumpliendo a un nivel fijado17) con las normas dadas y se elaborará el informe, que culminará en un juicio valorativo.
17
Nivel fijado = representativo del contenido: ¿son los ítems suficientes para valorar los criterios y en el grado de realización del
estándar?
22
5. Sintetizar todo en un juicio de valor: La comparación entre lo deseable, lo posible y lo conseguido nos permitirá realizar
la valoración, o juicio evaluativo, basándonos en las necesidades, el contexto, el proceso y los resultados.
Finalmente se debe informar de los resultados y de los juicios evaluativos realizados por el evaluador mediante la realización del
informe de evaluación hecho de tal manera que sea comprendido por todos aquellos que deban recibir la información (la direc-
ción del centro educativo, los profesores, los alumnos, la asociación de padres y la sociedad).
La lógica de la evaluación de Scriven es, quizás, la única aproximación de una "metateoría" de la. Metateoría de la evaluación, en
el sentido en que pueda ayudar a realizar y evaluar evaluaciones.
Los criterios (Pertinencia. Eficacia. Eficiencia. Efectividad. Satisfacción al final del programa. Impacto.) son los objetivos que pre-
tende el programa, para atender las necesidades clave.
Para medir los criterios se utilizan indicadores centrados en el grado de realización, integrados en los instrumentos de recogida
de información como puede ser la observación, medida de rendimiento, cuestionarios, entrevistas, grupos de discusión, etc. Los
criterios en un nivel superior pueden ser considerados variables, o dimensiones principales de aquello que queremos conseguir.
Y se concretan en indicadores, ítems o elementos que permiten la medición de esas variables definidas de modo empírico. Y
deben cumplir las características técnicas de los instrumentos de medida en los se incluyen, y tras su análisis, para su interpreta-
ción, se vuelven a integrar en las variables o dimensiones que dan sentido al estudio.
Los estándares referidos al grado de realización del criterio, así el rendimiento en un programa conseguido por un estudiante, se
valora en España con número del 1 al 10, estableciendo el punto de corte de aprobado en el 5. O podríamos establecer una escala
en dos puntuaciones. 0 suspende, 1, pasa.
El análisis de la información recogida nos permitirá describir la calidad del programa, de su aplicación y de los resultados que
consigue.
Atendiendo a:
• Las necesidades, las situaciones,
• Las metas y los objetivos, las concepciones y las teorías del programa,
• Los recursos y costes de todo tipo, incluyendo los de personal,
• Los procesos, las actividades, los rendimientos, los resultados, los beneficios, los logros y los impactos
Dicha información nos permitirá, tras su análisis, realizar una valoración, o juicio evaluativo sobre el programa, que se incluirá en
el informe, para atender las necesidades de información de todos los implicados en el programa.
Las cuestiones a las que debe atender el evaluador, aportando información tras la evaluación de un programa, son:
• ¿Sirve para lo que pretendía servir? Valor para atender a las necesidades.
• ¿Se está aplicando bien el programa? Cumplimiento del plan de aplicación.
• ¿A qué se debe que no consiga los resultados pretendidos: Al programa, a quiénes lo aplican, a quienes lo reciben? ¿por qué?
• ¿Merece la pena que se siga utilizando?
• ¿Qué cambios deberían introducirse para que fuera útil para resolver los problemas, o conseguir los objetivo que pretendía
conseguir?
La lógica de la evaluación muestra la estructura subyacente y el razonamiento asociado con la investigación evaluativa (una
investigación aplicada).
EJEMPLO DE CÓMO SE APLICA LA LÓGICA DE LA EVALUACIÓN PARA MEJORAR LA EDUCACIÓN
En un centro educativo están preocupados por diversos problemas que persisten en los estudiantes y que han sido analizados
por los profesores, los padres, expertos, concluyendo tras la evaluación y priorización de necesidades, en las siguientes:
• bajo rendimiento
• dificultades especiales,
• dificultades para el aprendizaje de la lectura, o de las matemáticas,
• problemas de comportamiento
• baja asistencia.
Tras delimitar las necesidades, elaboran una propuesta de intervención, de apoyo, consistente en tutorías individuales y en
pequeños grupos, con la contratación de estudiantes de últimos años de carrera, que de acuerdo con sus profesores, han
demostrado habilidades para la enseñanza y la motivación, en las respectivas áreas, que intervendrán como profesores de
apoyo, para resolver dichas necesidades (las metas: adecuadas, eficientes, eficaces, satisfactorias, duraderas).
Los profesores de apoyo reciben un curso formativo para atender a esos estudiantes con sus problemáticas, motivación para
el aprendizaje, refuerzo en el aprendizaje, reducción del bajo rendimiento, fijando los estándares de logro.
El programa, sus contenidos y estrategias, las personas que lo aplican y la formación recibida, ha sido valorada por expertos
en evaluación de programas, aplicando los criterios y los estándares pertinentes.
23
También se recoge información sobre el desarrollo de los programas, sobre su aplicación y los resultados durante el proceso
y tras su aplicación, comparados con los criterios y estándares a través de diversos instrumentos de recogido de información,
de evidencias y de resultados.
Tras el análisis de los resultados, se realiza el informe de los resultados, concluyendo en juicios valorativos sobre las necesida-
des, el programa y sus fundamentos, sus estrategias, recursos, aplicación y resultados. Y la síntesis valorativa. Y su metaevalua-
ción externa. Y difundiríamos los informes.
Si el programa ha demostrado, y probado, su éxito para atender dichas problemáticas, necesidades, deberemos recomendar
la aplicación del sistema de tutorías a más asignaturas y problemáticas, y a otros niveles educativos.
Y recomendaríamos su aplicación más allá del propio centro, y la necesidad de formar en el sistema de tutorías a los futuros
profesores, para atender los problemas de la educación. Y su utilización en prácticas profesionales, contribuyendo a solucionar
problemas en los demás centros educativos.
Esto es: Innovación basada en la investigación. Innovación basada en la evaluación.
Comprometer a grupos, implica a toda la comunidad educativa.
3. La evaluación orientada al consumidor

Los informes de la evaluación y sus valoraciones deben estar documentadas, siendo esencial que sean tenidas en cuenta todas
las necesidades y expectativas de todas las partes afectadas de lo que está siendo evaluado, e informadas de los resultados de la
evaluación, sirviendo a la formación, a los responsables del programa, a quienes lo aplican, a sus beneficiarios y a la sociedad.
El informe de evaluación puede terminar en un juicio valorativo de síntesis:
“Este programa atiende a las necesidades para las que se ha creado y lo hace cumpliendo con los estándares de realización, por
lo que merece la pena mantenerlo y extenderlo a otros contextos, usuarios, beneficiarios.”
La evaluación que cumple esta función la denomina Scriven ‘Evaluación orientada al consumidor’, al beneficiario de la evalua-
ción’, a todo el que tienen derecho a saber, porque aporta información y rinde cuentas y es transparente de cómo lo hace.
El enfoque de evaluación orientada al consumidor es, predominantemente, una evaluación sumativa, pero informada, documen-
tada, y culmina en un informe. Sin embargo, los creadores de cualquier producto educativo saben que utilizar los criterios que
defienden los consumidores cuando se está creando el producto es la mejor manera de dar respuesta a las necesidades y expec-
tativas de los usuarios. Si quieres satisfacer las necesidades del consumidor, cliente, usuario o beneficiario, debes conocerlas, y
atenderlas desde el diseño de proceso.
Para ello, los criterios y sus listas de control de las agencias de la calidad y evaluación, se han convertido en instrumentos para la
evaluación formativa de los programas o productos educativos, desde su concepción y durante su desarrollo.
Los criterios que Scriven sugería para evaluar cualquier producto educativo quedan recogidos en su Lista de claves de control para
la evaluación (LCE). Las LCE desarrolladas durante años de uso del enfoque centrado en el consumidor para las evaluaciones de
los productos, son instrumentos útiles y sencillos para la evaluación, y aportan criterios discriminativos para la selección de los
productos educativos disponibles en el mercado.
Scriven plantea un proceso que involucra la valoración de necesidades tanto de los educandos en su contexto próximo, como de
la sociedad en la que se desarrolla, mediante la revisión de las metas planteadas y su comparación con otras alternativas, la
comparación entre los costes de inversión y su efectividad, la valoración del programa en sí mismo y de los beneficios en perso-
nas implicadas. Las guías desarrolladas para este propósito se centran en:
- los contenidos, elementos básicos del programa, objetivos, procedimientos y resultados pretendidos.
- los procesos educativos, interacciones, estrategias.
- la eficacia, los efectos sobre los beneficiarios del programa, sus resultados.
- la transferencia, relacionados con la validez externa.
Ventajas del enfoque de evaluación orientada al consumidor:
- Ha hecho posible las evaluaciones de los productos educativos prestando un servicio a los educadores que pueden no tener
tiempo para realizar este trabajo.
- Ha aportado a los educadores conocimientos sobre los criterios más adecuados para la selección de los productos educativos.
4. La evaluación como la multiplicidad de lo múltiple
La evaluación, de acuerdo con Scriven, es la multiplicidad de lo múltiple (disciplina de evaluación con diversas subdisciplinas,
como: evaluación de estudiantes, programas, del personal, etc.):
• Es multidisciplinar , en relación con las variadas disciplinas, programas educativos, políticas, sanidad, sociales, en que se aplica.
• Necesita múltiples perspectivas, atendiendo a múltiples necesidades, recursos, personal.
• Utiliza diferentes niveles de informantes, y de análisis para apoyar la evidencia y documentación. Desde los patrocinadores, los
realizadores, los beneficiarios.
24
• Utiliza múltiples metodologías, múltiples presunciones, múltiples impactos y múltiples formatos de informe (observación, en-
trevistas, grupos de discusión, cuestionarios, pruebas de rendimiento, etc.)
5. La lista de claves de control para la evaluación y meta-evaluación (LCCE)
La LCCE orientan el diseño de evaluaciones, comprobar cómo se están realizando y valorar cómo han sido las evaluaciones.
La LCCE de programas, de políticas y para la evaluación de sus evaluaciones, es una herramienta para el evaluador práctico o
profesional, a quien se le supone conocimientos básicos sobre la disciplina de la evaluación y de su vocabulario específico. Esta
lista se proporciona como un servicio libre al usuario. (Scriven, 2013). Su aplicación no tiene por qué ser lineal, pudiendo utilizarse
con distintos propósitos, como para el diseño de un programa, para guiar una evaluación o para evaluar la evaluación (meta-
evaluación).
La LCCE contiene 4 apartados:
Parte A: Preliminares y metodología
Acordar antes de iniciar la evaluación lo que es factible hacer y clarificar los compromisos acerca de lo que se va a evaluar,
mediante una revisión rápida utilizando la LCCE -evaluabilidad-.
Asegurar la posibilidad de realizar cualquier negociación posterior como consecuencia de los cambios que haya habido que reali-
zar. Y mencionar los reconocimientos y los agradecimientos.
Parte B: Fundamentos. Aplicación de la LCE
Antecedentes. Contexto. Se debe recoger la descripción oficial del programa, de sus componentes y de su contexto, pero además,
proporcionar una descripción fidedigna y completa del programa real que se aplica, para conocer el programa y contrastarlo con
el oficial. Clientes y Beneficiarios /Recursos /Valores – funciones de la evaluación y su finalidad.
Parte C: Sub-evaluaciones
Cada fase supone 1) confirmar lo que acontece en el programa, 2) comparar los hechos con los criterios de valor, con cómo
deberían haber sido los hechos. Referido a los: Procesos / Resultados /Costes: diversos / Comparaciones con otros programas.
Generalización –personas, lugar, tiempo, versión.
Parte D: Las conclusiones e implicaciones
Síntesis de todo lo anterior. Significado global, valoración. Recomendaciones y explicaciones / Responsabilidad y justificación.
El informe y Recomendaciones. Adaptados a las audiencias. La meta-evaluación: 1) previamente a su realización, y 2) posterior
a la evaluación, antes de la publicación y diseminación del informe.
25
6. Tabla resumen del enfoque de evaluación de programas de Scriven

Modelo de evaluación de programas de Scriven
Elementos para el análisis Características
Definición de evaluación Valoración sistemática del valor y mérito de las cosas, de lo que se evalúa. Determi-
nación del mérito y valor del objeto a evaluar.
Funciones de la evaluación Formativa y sumativa.
Concepciones evaluativas Evaluación orientada al consumidor, evaluación libre de costes, evaluación libre de
metas, evaluación formativa y sumativa.
Para quién se hace la evaluación Para todos los que quieran saber acerca de la calidad de un producto, de un pro-
grama, de un objeto, del personal, etc.
Características del evaluador Experto
Ámbitos y contextos para su aplicación Contextos sociales.
Fases principales de aplicación Determinar el programa.
Determinar los criterios del mérito del programa.
Determinar las normas sobre el mérito.
Medir la realización.
Resumir los resultados en un juicio evaluativo.
Metodología evaluativa Perspectivista. Múltiple
Información a recoge Toda la esperada y la no esperada.
Métodos, técnicas e instrumentos Lógica probativa. Lista de claves de control de la evaluación.
Tipo de informe Descriptivo
Posible generalización La que permite validez externa matizada por la relatividad de los criterios de valor.
Utilidad de los hallazgos Para valorar la calidad de los objetos.
Criterios para juzgar las evaluaciones La meta-evaluación. Listas de las claves de control de la evaluación. Objetividad de
los criterios de valor.
Contribuciones Sus concepciones evaluativas.
26
Preguntas test. Tema 2

1. El término calidad es definido como:
a. Los criterios de los programas
b. La adecuación de un producto o servicio a las características especificadas
c. La evaluación informada por los resultados
2. La calidad es definida como:
a. La realización óptima para el logro de los resultados
b. La aptitud para satisfacer las necesidades
c. La eficiencia en el uso de los recursos para el logro de los resultados
3. La evaluación como ciencia de la valoración se basa en criterios de valoración:
a. Subjetivos
b. Objetivos
c. Contextualizados
4. La evaluación orientada al consumidor sirve a los intereses de:
a. Los interesados en lo que se evalúa
b. Las empresas
c. Los diseñadores de programas
5. La evitación de los prejuicios de evaluación en la evaluación requiere:
a. Consensuar los intereses de todos
b. Conocer las necesidades de los beneficiarios
c. Hacerlos explícitos en la evaluación
6. Para que un programa educativo sea de calidad debe:
a. Satisfacer las necesidades de sus beneficiarios
b. Atender a las necesidades y expectativas para las que se ha creado.
c. Servir a la formación del responsable del programa, de quieren lo aplican y de sus beneficiarios.

b. Las metas a corto plazo
c. El valor y el mérito
8. El propósito de la evaluación formativa es:
a. Generar informes periódicos PEC
b. Demostrar la calidad del programa
c. Informar a la organización del programa
b. Supervisar el progreso
c. El valor y el mérito del programa
10. El propósito de la evaluación sumativa es:
a. Mejorar la calidad del programa
b. Demostrar la calidad del programa
11. El propósito de la evaluación sumativa es:
a. Generar informes
b. Probar la calidad del programa
12. La metaevaluación, según Scriven, debe aplicarse para garantizar que la evaluación cumpla con los criterios de:
a. Idoneidad
b. Adecuación
c. Transparencia
13. Los criterios en la evaluación de programas son:
a. Los recursos para aplicar el programa
27
b. Los objetivos del programa

c. La satisfacción de los beneficiarios del programa.
14. La determinación de los criterios del mérito del programa se basan en:
a. Los recursos adecuados para la aplicación de los programas
b. Las metas y objetivos que pretende conseguir
c. Los procesos para la aplicación del programa
15. De acuerdo con la lógica de la evaluación, las normas del mérito se basan en la relación entre los resultados y:
a. Las necesidades
b. Los medios
c. Los objetivos
28
TEMA 3: El modelo CIPP de Daniel Stufflebeam: la evaluación orientada a la toma de decisiones para la mejora de los programas
y de las organizaciones
1. Introducción
Como otros enfoques de evaluación, fue creado porque el clásico modelo de evaluación basado en los diseños de experimentos
y en la evaluación basada en el logro de los objetivos, medidos mediante pruebas estandarizados, probaron sus límites para la
evaluación de los programas en contextos sociales dinámicos, que exigen en metodologías centradas en el contexto, para com-
probar realmente qué es lo que produce los resultados; porque puede ser un programa muy bien elaborado pero luego su apli-
cación y las dificultades de cada centro educativo puede llevar a que los resultados no sean los esperados. ¿Qué es lo que ocurre
entre los que se pretendes y lo que sucede? Si la evaluación está basada exclusivamente en el logro de los objetivos, no estamos
conociendo a que se deben los resultados del programa. Se debe tener en cuenta los contextos y los procesos para conocer a qué
se deben los resultados del programa?
El modelo CIPP es un marco comprehensivo 18para realizar evaluaciones sistemáticas 19de programas, proyectos, personal, pro-
ductos, organizaciones y sistemas de educación. El modelo CIPP es un enfoque que se puede aplicar tanto a lo pequeño (una
actividad) como a lo grande (un sistema educativo) y es de los modelos que más se aplican en el mundo.
El modelo fue creado a finales de la década de 1960, para ayudar a mejorar la realización de las evaluaciones de proyectos o
programas, para la mejora de la enseñanza y del aprendizaje en los centros educativos.
El modelo CIPP de evaluación de programas, fue originalmente desarrollado para proporcionar información a tiempo, de un modo
sistemático, para la toma de decisiones, en un enfoque de aplicación proactiva (formativa) de la evaluación (antes de que ter-
mine). Es decir, mientras estamos aplicando el programa, con fines de mejora.
El modelo CIPP también es útil para que los educadores lo utilicen después de aplicar sus programas, sus acciones, de modo que
pueda aportarles información sobre los resultados de sus decisiones y acciones, para introducir mejoras en aplicaciones sucesivas.
Y también puede ser utilizado para el rendimiento de cuentas, y aplicado por organizaciones y agencias evaluadoras a programas,
centros, sistemas e educativos. (Stufflebeam, 1971).Para informar con transparencia cómo han sido aplicados los programas y
por fondos públicos y privados para atender unas necesidades. La sociedad tiene derecho a saber cómo se han utilizado esos
fondos y la confianza depositadas en organizaciones, instituciones, grupos de aplicadores de programas y evaluadores.
2. Antecedentes del modelo CIPP. Las recomendaciones del comité PDK
El Comité PDK, en 1969, bajo la dirección de Stufflebeam, recibió el encargo de realizar un estudio sobre el estado de la evalua-
ción. Se especificaron cinco problemas que debían ser solucionados para mejorar la base conceptual de la práctica evaluativa:
- Necesidad de una definición clara de lo que se va a evaluar.
- Evaluación orientada a la toma de decisiones e información.
- Elaboración de criterios e instrumentos apropiados para reconocer y tratar perspectivas de valor sobre los proyectos y los pro-
gramas.
- Reconocimiento de la existencia de diferentes tipos y niveles de audiencias.
- Diseño de la investigación adaptado a las necesidades evaluativas.
El Comité PDK definía la evaluación educativa como el proceso de diseñar, obtener y proporcionar información útil y valiosa
para juzgar decisiones alternativas y dividían la evaluación en cuatro actividades diferentes: : Contexto, Insumos o Entradas,
Proceso y Producto.
3. La teoría evaluativa y los tipos de decisiones que orienta la evaluación en el modelo CIPP
El modelo CIPP para la evaluación es un marco comprehensivo para realizar evaluaciones sistemáticas de programas, proyectos,
personal, productos, organizaciones y sistemas de educación.
18
Comprensivo= Global, general
19
Evaluaciones sistemáticas y con totalidad
29
3.1 El concepto de evaluación de programas

Definición de Stufflebeam, de 1971: "La evaluación es definida como el proceso de delinear (diseñar, planificar), obtener y pro-
porcionar información útil para juzgar decisiones alternativas”. Tres ideas importantes incluye esta definición:
- La evaluación es concebida como un proceso sistemático: continuo y global20. Se centra en la metas, el diseño, en la aplicación,
centrada en la globalidad, en su totalidad, en su contexto.
- El proceso de evaluación incluye tres acciones básicas: delinear, o diseñar, formular cuestiones a responder, recoger, obtener,
información, que nos proporciona fundamentos para decidir si continuamos con el programa o no, si un programa es mejor que
otro, etc.
- La evaluación es concebida como un proceso 21al servicio de la toma de decisiones.
EXPLICACIÓN CATALINA
Stufflebeam Scriven
Mejorar a tiempo Evaluación proactiva Evaluación formativa
Mejoras el programa una vez terminado Evaluación reactiva Evaluación sumativa
La evaluación es definida por Stufflebeam, del siguiente modo:

La evaluación es el proceso de identificar, obtener y proporcionar información útil y descriptiva
acerca del valor y mérito 22de las metas, la planificación23, la realización y el impacto 24de un objeto determinado,
con el fin de servir de guía para la toma de decisiones, solucionar los problemas de responsabilidad 25y promover la compren-
sión de los fenómenos implicados26
Las siglas del modelo CIPP representan los cuatro tipos de evaluación: Contexto, Insumos (Entradas), Proceso y Producto
El modelo CIPP se fundamenta en la evaluación como investigación sistemática acerca del valor y del mérito de lo evaluado.
La evaluación es el proceso de delinear, obtener, presentar informes y aplicar la información descriptiva y de juicio de valor
sobre el mérito, valor, significatividad y probidad del objeto evaluado.
“La evaluación consiste en un proceso para identificar, obtener y proporcionar información acerca de un programa, valorado en
sus metas, en su planificación, en su realización y en su impacto, con el propósito de guiar la toma de decisiones, proporcionar
información y contribuir a su comprensión y con el criterio de su valor y su mérito”.
Su finalidad es la de guiar la toma de decisiones, apoyar el rendimiento de cuentas, diseminar las prácticas eficaces e incremen-
tar la comprensión del fenómeno estudiado.
Criterio de valor=Criterio de calidad: que responda a lo que dice responder el programa que va a atender, que responda a las
características que tiene ese programa para lo que se ha creado y su mérito (el grado (que sea óptimo) con el que consigue esos
criterios de valor (adecuación, eficacia, eficiencia, satisfacción…))
E. de Contexto E. de Insumos Entrada E. de Proceso E. de Producto
Delinear cómo vamos a realizar
Obtener información
Proporcionar información
20
Global: no solo se centra en un objetivo, sino en la totalidad y en su contexto
21
Proceso duradero en el tiempo
22
Valor=Calidad. Mérito=Grado en el que se consiguen las mentar
23
Planificación para aplicar esas metas
24
Impacto = resultados a largo plazo
25
Responsabilidad=rendimiento de cuentas
26
Comprensión de los fenómenos Implicados: si las metas están bien definidas, si atendían a las necesidades, si estaba bien pla-
nificada su aplicación, si las metas han sido de calidad, y el grado en que han podido conseguirse esos resultados.
30
3.2 Los cuatro tipos de evaluación del modelo CIPP

- La evaluación de Contexto (QUÉ NECESITAMOS)evalúa las necesidades, los problemas, los recursos y las oportunidades para
ayudar a los que toman las decisiones a definir y a valorar las metas, las prioridades y los resultados a alcanzar. Se centra en
determinar las metas en coherencia con las necesidades
La información que aporta la evaluación de Contexto sirve a la toma de decisiones de planificación, que deberá determinar la
necesidad de elaborar o seleccionar un programa educativo, con una definición clara de sus propósitos y objetivos, de sus recursos,
para atender las necesidades detectadas y definidas. (PLANIFICACIÓN)
- La evaluación de Insumos o de Entrada (CÓMO LO ORGANIZAMOS) evalúa los enfoques alternativos de intervención, los posi-
bles programas a elegir y sus acciones; el personal, los recursos, presupuestos que se necesitan, para asegurar la factibilidad,
viabilidad y rentabilidad -coste-beneficio- potencial de las propuestas para atender las necesidades específicas y conseguir las
metas. Organización estructural para optimizar la aplización
La información que aporta la evaluación de Entrada sirve a la toma de decisiones de organización, estructurales, que informa
sobre los recursos disponibles y los que serían necesarios, los diferentes programas, las estrategias posibles para optimizar su
aplicación y que aporten mayor potencial para planificar cómo debe ser aplicado el programa. (ORGANIZACIÓN)
- La evaluación de Proceso (QUÉ HACEMOS)evalúa los programas y la ejecución de los planes para ayudar al personal (sus estra-
tegias de aplicación) a valorar cómo los está aplicando y los resultados que va consiguiendo, y utilizar los juicios valorativos
sobre los resultados que consigue, como evaluación proactiva, o formativa, para ayudar al personal a la mejora de la aplicación.
La evaluación de proceso se centra en comprobar los resultados parciales.
La información que aporta la evaluación de Proceso sirve a la toma de decisiones de implementación sobre cómo se está reali-
zando el plan previsto y las revisiones necesarias que habrá que realizar para mejorar la aplicación del programa. (IMPLEMENTA-
CIÓN/APLICACIÓN)
- La evaluación de Producto, o de resultados(QUÉ CONSEGUIMOS), identifica y evalúa los resultados intencionales o no tras la
aplicación del programa, si los esfuerzos dirigidos a atender las necesidades especificadas se han conseguido y con qué grado de
éxito, si se han conseguido resultados importantes sobre sus usuarios y beneficiarios en el contexto dado, en el corto, medio y
largo plazo, y con esta información ayudar al personal a decidir si mantener el programa, modificarlo o suprimirlo. Es una aplica-
ción reactiva o sumativa para ayudar al personal, beneficiarios, organización, a tomar decisiones de reciclaje, mejora. Informa de
los resultados conseguidos. Evalúa si los procesos que produjeron las mejoras demuestran su transferibilidad.
La información que aporta la evaluación de Producto sirve a la toma de decisiones de reciclaje, en relación con los resultados
obtenidos, cómo han sido reducidas las necesidades en intensidad, adecuación y calidad y, en coherencia, orientar qué se debe
hacer con el programa después de su aplicación, mejorarlo, extenderlo, finalizarlo, suprimirlo. Es decir, si se han reducido las
necesidades especificadas. (RESULTADOS)
Operaciones E. de Contexto E. de Entrada E. de Proceso E. de Producto
Delinear cómo Variables y valores del Especificaciones de pro- Procesar información en Resultados. Los mismos
vamos a realizar sistema -necesidades- blemas criterios de di- determinados hitos, ba- criterios que en E. de
Identificar seño, restricciones. Ade- rreras. Criterios de ade- proceso, más impacto.
cuación. cuación, eficiencia, efi-
cacia, satisfacción.
Obtener infor- Datos de desempeño y Identificación y análisis Supervisión de procedi- Efectos primarios, se-
mación juicios sobre lo que se de estrategias. mientos, de resultados cundarios y terciarios.
debe hacer. parciales en determina-
dos momentos.
Proporcionar in- Perfiles de necesidades, Estrategias mediante Informes de progreso. Descripción y explica-
formación oportunidades y proble- una matriz de proble- Informes de dificultades, ción de los logros e im-
mas. mas. de excepciones. pacto del proyecto.
La evaluación con el modelo CIPP y tipo de decisiones:
Destinado a Actual
Fines Planificar decisiones apoyadas por la evaluación de con- Decisiones de reciclaje, mantener o no el programa, apo-
texto yadas por la evaluación de producto
Medios Decisiones de estructura apoyadas por la evaluación de Implementación de decisiones apoyadas por la evalua-
entrada ción de proceso
El modelo CIPP de evaluación fue originalmente desarrollado para proporcionar información a tiempo, de un modo sistemático,
para la toma de decisiones, en una aplicación proactiva, formativa, de la evaluación. Pero también puede ser utilizado para el
31
rendimiento de cuentas, y aplicado por organizaciones y agencias evaluadoras a programas, centros, sistemas educativos, en una
aplicación retroactiva, sumativa, ‘pos hoc’ de la evaluación.
3.3 Funciones formativa y sumativa de la evaluación de contexto, de entrada, de proceso, de producto
La evaluación se ha reconocido como una disciplina de conocimiento que tiene sus propias teorías, procedimientos, su propio
concepto delimitado y deber ser pragmática que sirva.
Estos modelos sistémicos es lo que hacen que la evaluación de programas tenga su razón de ser, su sentido. Y esto desarrolla
teorías, procedimientos, metodologías (complementarias), para comprender, mediante análisis de expertos, observación, que
acontece y cómo hay que intervenir, que hay que mejorar.
El modelo CIPP coloca la prioridad en orientar la planificación y el desarrollo de la implementación del programa. Se centra en
apoyar a los usuarios de la información de la evaluación:
- con información válida para su aplicación,
- identificando las áreas adecuadas para su desarrollo,
- formulando metas fundamentadas,
- planificando actividades
- proponiendo presupuestos.
Los usuarios potenciales necesitan respuestas a cuestiones sobre los resultados para ayudar a valorar la calidad, el coste, la utili-
dad y la competitividad del producto y servicio que ellos podrían adquirir y utilizar.
En el informe sumativo el evaluador incluye aportaciones elaboradas en la evaluación formativa del contexto, entrada, proceso y
producto, y utiliza esta información para contestar a las siguientes preguntas retrospectivas sobre cómo ha funcionado el pro-
grama y sus resultados:
Función: Formativa, Proactiva Función: Sumativa, Reactiva
32
3.4 Componentes esenciales de valor del modelo CIPP

Los elementos básicos del modelo se sintetizan en tres círculos concéntricos:
- El círculo central indica los criterios esenciales que deben ser definidos y
utilizados en una evaluación. En educación los criterios esenciales son los
objetivos educativos que pretende conseguir el programa y debe definirse el
grado en el que deben ser conseguidos, su valor.
- El círculo intermedio está dividido en cuatro sectores correspondiendo a
cada foco evaluativo asociado a un programa, como son sus metas, su pla-
nes de acción, sus realizaciones y sus resultados.
- El círculo exterior indica el tipo de evaluación a la que sirve cada uno de los
cuatro enfoques evaluativos:
• evaluación de contexto: las metas
• evaluación de entrada: los planes
• evaluación de proceso: el desarrollo de las acciones
• evaluación de producto: los resultados
La esencia de la evaluación es el criterio y su valor. Los criterios de calidad
deben orientar toda evaluación. Los valores deben ayudar a describir los cri-
terios y seleccionarlos con ayuda de los implicados y clarificar la información que la evaluación debe atender.
El marco de los valores proporciona un punto de referencia central para detectar las debilidades y fortalezas y orientar las nece-
sidades de mejora de los programas.
3.5 Filosofía y códigos éticos del modelo CIPP
- Tiene una fuerte orientación de servicio y se basa en los principios de la sociedad libre, democráticos de equidad y justicia.
Todos tenemos derecho a saber y a estar informados, y a ser atendidos con calidad y equidad.
- Implica a todos los grupos legítimamente interesados
- Se orienta a la mejora de programas
- Se centra en realizar evaluaciones objetivistas, comprometido con el uso de los estándares de evaluación y la metaevaluación27.
- Un principio fundamental del modelo es que el propósito más importante de la evaluación no es probar sino mejorar. Ser útil
para la evaluación.
- Se basa en los principios éticos de la Declaración Universal de los derechos humanos de Naciones Unidas. Debe respetar los
derechos de todos, la legalidad.
- Advierte sobre la importancia de controlar los prejuicios y los conflictos de intereses para realizar las evaluaciones y alcanzar
conclusiones. Que oriente a todos.
3.6 El modelo CIPP como un sistema para la mejora de los programas y de las organizaciones
El modelo CIPP considera la evaluación como un elemento indispensable para:
- la mejora y rendición de cuentas
- el progreso social y el bienestar de los individuos y grupos
4. La práctica evaluativa y las decisiones que orientan los tipos de evaluación del modelo CIPP
Los tres principales propósitos de la evaluación:
1) Promover la comprensión de los fenómenos implicados.
2) Guiar la toma de decisiones.
3) Informar para la responsabilidad.
El objeto a evaluar debe de ser valorado en los siguientes aspectos:
1) sus metas,
2) su planificación,
3) su realización,
4) sus resultados y su impacto.
El criterio de la evaluación debe de tener en cuenta:
1) su valor, en las respuestas a las necesidades detectadas.
2) su mérito, en relación con la calidad con la que son resueltas dichas necesidades.
27
Estándares de metaevaluación, son los estándares del Joint Committee
33
El modelo CIPP, como el de Scriven o el de Pérez Juste, son modelos lógicos, sistémicos, que establecen una estrategia lógica
para la solución de necesidades.
4.1 La evaluación del contexto. Decisiones de planificación
Referir la evaluación de contexto exclusivamente a la evaluación de necesidades supone NO analizar cuestiones sobre proble-
mas, recursos, aspectos positivos y oportunidades.
Los principales objetivos de los estudios de evaluación de contexto son:
- la valoración del estado global del objeto a evaluar para identificar sus deficiencias y virtudes,
- diagnosticar los problemas cuya solución puede mejorar el estado del objeto,
- caracterizar el marco en el que se desarrolla el objeto o programa a evaluar
- si las metas y prioridades existentes que persigue el programa están en consonancia con las necesidades que debe satisfacer.
Esto siendo una evaluación de un programa ya elaborado y aplicado. Pero también podría iniciarse la evaluación de contexto con
la idea de aplicar un nuevo programa para resolver una necesidad detectada.
Para realizar la evaluación de contexto suelen utilizarse metodologías tipo encuesta para valorar las necesidades de los grupos a
los que se pretende atender. Pero, también, el evaluador puede:
- Analizar estudios previos para la valoración de necesidades de los grupos de interés y contrastar la información con los promo-
tores de los programas y demás grupos implicados.
- Aplicar pruebas de conocimientos o de otro tipo para realizar la evaluación de necesidades.
- Utilizar la técnica Delphi para ampliar la visión consultando a especialistas y grupos de discusión para conseguir acuerdos y
priorizar las necesidades.
Las evaluaciones de contexto pueden ser iniciadas antes, durante o después de la aplicación de un programa. Cuando se realiza
durante o después, se aconseja realizarlas en combinación con las evaluaciones de entrada, proceso y producto.
Las evaluaciones de contexto tienen un amplio rango de uso y orienta la toma de decisiones para la selección de nuevas metas.
La evaluación de contexto debe proporcionar una base sólida para el ajuste de las metas y prioridades y para la indicación de los
cambios necesarios que debe conseguir el programa.
4.2 La evaluación de entrada (insumos). Decisiones de estructura
Las Decisiones de estructura hacen referencia a los medios necesarios para alcanzar las metas o necesidades valoradas. Estos
medios estarían representados por:
✓ los propios programas,
✓ los recursos necesarios para su aplicación,
✓ los presupuestos,
✓ junto con la elección del plan concreto y los procedimientos para llevarlos a la acción.
Las decisiones de estructura deben estar fundamentadas en las evaluaciones de entrada. Ayudan a seleccionar el programa que
mejor contribuya a solucionar las metas definidas para responder a las necesidades analizadas en la evaluación de contexto.
Se debe identificar y valorar las estrategias aplicables y explicarlas, y delimitar el marco contextual del estudio y conocer las
limitaciones y los recursos potenciales utilizables que deben tenerse en cuenta en el proceso de desarrollo de la aplicación del
programa.
Nos permite:
- Tomar decisiones sobre las características del programa, los recursos, planificación de su aplicación, los tiempos y el plan para
revisar su aplicación y los resultados.
- Fijar las necesidades fundamentales.
- Definir y concretar las metas
- Diseñar como desarrollar y como comprobar lo que se consigue, fundamental para realizar un seguimiento de sus progresos y
revisar el estado de la situación periódicamente.
Realizar informes de la evaluación de entrada a los grupos de interés (explicando las alternativas posibles y sus potenciales resul-
tados y evitar pérdida de tiempo y recursos con innovaciones que han demostrado resultados inadecuados), es importante para
ayudar a la toma de decisiones, contribuir a la transparencia y rendición de cuentas, y conseguir ayudas financieras que contri-
buyan a realizar los esfuerzos de cambio.
4.3 La evaluación del proceso. Decisiones de realización
La evaluación de proceso debe:
- comparar las actividades que está realizando el programa con las planeadas
- comparar los gastos que tiene en relación con lo presupuestado
- describir los problemas de implementación que encuentra
34
- valorar cómo el personal lo aplica.

Tiene como finalidad la comprobación de la implementación del plan y debe documentarlo para ayudar a las decisiones de reali-
zación sobre cómo se están aplicando los proyectos y programas planificados.
El evaluador debe hacer un plan lo más respetuoso posible para que no interfiera en las actividades que realiza el programa, debe
observar las actividades del personal implicado en el desarrollo del programa, en su aplicación.
Objetivos de la evaluación del proceso:
— Comprobar el ritmo de las actividades en la aplicación del programa.
— Observar si el programa se desarrolla tal como se había planeado y a qué puede deberse si no lo está haciendo.
— Comprobar si se utilizan los recursos disponibles de un modo eficiente.
— Guiar para explicar o modificar el plan que se había previsto cuando fuera necesario.
— Valorar periódicamente hasta qué punto los que participan en el programa aceptan y son capaces de desempeñar las funciones
que le están encomendadas.
— Proporcionar un informe extenso del programa que realmente se está llevando a cabo:
✓ compararlo con el que realmente se había planificado,
✓ establecer una valoración objetiva de los costes y
✓ juzgar la calidad del trabajo, tanto por los evaluadores como por los participantes implicados en el desarrollo del pro-
grama.
En cuanto a la metodología puede hacerse a través de:
— Reuniones de trabajo con el personal implicado en el programa.
— Desarrollo y puesta en marcha de materiales.
— Revisión de la planificación del trabajo y de los trabajos en casa por los alumnos
— Observación y seguimiento de la enseñanza en el aula.
— Recomendaciones para los estudiantes.
— Valoración de las habilidades desarrolladas en los estudiantes en relación con el programa.
— Utilización de test diagnósticos y test de rendimiento.
El informe de evaluación ha de resumir el plan de recogida de información y después analizar cómo se está realizando la aplica-
ción y los problemas claves que se detectan.
Una vez elaborado el informe de la evaluación de proceso debe presentarse en reuniones y comentar los resultados de proceso
con los implicados en el programa: profesores, estudiantes, padres.
4.4 La evaluación del producto. Decisiones de reciclaje.
Si el propósito de una evaluación del producto es valorar, interpretar y juzgar los logros de un programa, su objetivo es averiguar
hasta qué punto el programa ha satisfecho las necesidades del grupo al que pretendía servir en aquello que se había propuesto
lograr y qué otras aportaciones ha conseguido a lo largo de la aplicación del programa.
El propósito de la evaluación de resultados es realizar mediciones de los resultados conseguidos, interpretarlos y elaborar juicios
sobre ellos y aportar un feedback formativo; la información sobre los logros y el modo de mejorarlos es importante realizarlo
durante todo el ciclo de vida del programa y también al final de su aplicación.
El objetivo principal de la evaluación de producto es determinar el grado en que el programa atendió las necesidades de todos
los legítimos beneficiarios.
La evaluación del producto debe ocuparse de los efectos del programa, tanto de los deseados como de los no deseados, de los
positivos y de los negativos. Debe recoger y analizar juicios y valoraciones acerca del éxito del programa desde la perspectiva de
las personas y grupos relacionados con el mismo.
Las decisiones de reciclaje se relacionan con la conveniencia de continuar con la aplicación del programa, unirlo a otro nuevo
programa como refuerzo, aplicarlo a otros grupos, buscar fondos a través de las administraciones públicas o asociaciones, basán-
dose en los informes sobre la realización del mismo y sus resultados.
La evaluación del producto tiene implicaciones psicológicas: refuerza el trabajo bien hecho, tanto en el personal que ha desarro-
llado y aplicado el programa como en los destinatarios o beneficiarios del mismo, o reduce el entusiasmo cuando los resultados
no han sido los esperados.
Además, los evaluadores deben extender la evaluación de resultados a largo plazo, a la evaluación de impacto. La permanencia
de los efectos en el tiempo.
Deben comparar los resultados obtenidos por el programa, con los que consiguen programas similares, y comprobar si los resul-
tados son sostenibles en el tiempo y transferibles a otras situaciones
35
Deben utilizar metodologías, técnicas e instrumentos adecuados a cada objetivo de la evaluación, incluso combinar las técnicas
a lo largo de todo el proceso de evaluación, para una mejor comprensión de cómo ha funcionado el programa para conseguir los
resultados logrados, medidos mediante escalas de valoración, pruebas de logro o de rendimiento, entrevistas en profundidad y
cuestionarios de satisfacción.
El informe de los resultados de la evaluación puede estar integrado por la suma de los resultados obtenidos en las diferentes
etapas, haciendo una síntesis valorativa final en relación con la adecuación de la planificación del programa para conseguir las
metas afirmadas, los recursos utilizados, la aplicación del programa, los resultados que han ido produciéndose y el costo resul-
tante en relación con lo presupuestado. Debe proporcionar una guía para modificar el programa mejorándolo en aquello que no
ha funcionado bien.
La evaluación del producto es un componente esencial para el informe de rendición de cuentas.
8. EJEMPLO CIPP. Para evaluar un programa de Educación para la Salud para estudiantes del primer curso de educación pri-
maria.
Evaluación de Contexto Evaluación de Entrada Evaluación de Proceso Evaluación de Producto
Finalidad Análisis de la práctica de Las metas y objetivos del Aplicar el programa para Valorar el logro de los ob-
los escolares en higiene, programa permiten cubrir conseguir los objetivos y jetivos y el grado de su ca-
nutrición, deporte, rela- las necesidades de hi- estándares definidos lidad.
ciones sociales. giene, alimentación, acti-
vidad, relaciones sociales
Técnicas Análisis de informes, ex- Análisis de experiencias. Observación, Cuestionarios, pruebas de rendimiento,
periencias, entrevistas, Delphi entrevistas, debates
cuestionarios.
Ítems ¿Las metas fijadas son ¿La formación del perso- ¿Los objetivos del pro- ¿Las actividades del pro-
Unívocos acordes con las recomen- nal del comedor sobre nu- grama en relación con la grama han sido útiles para
y con- daciones de las autorida- trición y manipulación de actividad física son ade- conseguir las metas y ob-
creto des sanitarias, en cuanto alimentos está certifi- cuado a las necesidades?. jetivos planteados?
a educación para la salud? cada?
Resulta- Las necesidades de los es- Se ha planificado que los Los alumnos realizan el Los padres están satisfe-
dos colares han sido analiza- viernes colaboren un pa- doble de deporte en el re- chos con los hábitos de hi-
das de acuerdo con las dre o madre para realizar creo en segundo trimes- giene adquiridos por sus
áreas de educación para los menús de la semana. tre. hijos
la salud de la OMS, en la
primera semana del
curso, mediante observa-
ción y cuestionario a pa-
dres, profesores y respon-
sables del comedor.
Prioriza- Se priorizó, entre profeso- Se tienen en cuenta las Se están consiguiendo los Están satisfechos los pa-
ción res y padres, los hábitos necesidades de los escola- resultados priorizados. dres con los resultados
de higiene, alimentación y res para priorizar los obje- conseguidos.
actividad física a atender, tivos del programa
de acuerdo con las necesi-
dades detectadas
F a c t o r Colaboración de los con- El centro de salud pró- Las reuniones de profeso- Los talleres sobre nutri-
e s exter- cernidos, entre ellos va- ximo colabora en la for- res y el AMPA han mejo- ción mejoraron los menús
nos rios expertos en Salud. mación de profesionales rado la aplicación del pro- del comedor
del centro grama.
Comuni- En el claustro de profeso- Presentación de la pro- Se reúnen los profesores y Los profesores y los pa-
cación res. Al AMPA. Al centro de puesta a todos para su im- padres para comprobar el dres valorado los resulta-
salud y deportivo de la plicación. rendimiento dos conseguidos
zona.
Propues- Análisis de experiencias Se mejorará la limpieza en Se establece un plan de Se han consensuado las
tas de de éxito en los centros de los aseos del centro. seguimiento de la lim- mejoras para el curso pró-
mejora la zona. pieza en el centro. ximo.
36
****JUSTIFICACIÓN DEL MODELO: (ejemplo de prevención acoso escolar) Este modelo presenta ventajas y es aplicable a cual-
quier programa, además nos permite evaluar el programa en su totalidad y nos proporciona una visión global en el progreso
del diseño. Además, resulta práctico para la toma de decisiones. A continuación, se detalla los cuatro tipos de evaluación:
EV. CONTEXTO: Incluye la identificación de problemas y necesidades, así como el análisis de los elementos relevantes en un
escenario educativo especifico.
Manifestaron familias y docentes la necesidad de dar información y formación en educación para la convivencia a partir de
acoso escolar detectado en el centro,
EV. ENTRADA: Involucra los juicios sobre recursos y estrategias necesarios para lograr las metas y objetivos del programa.
Mediante cuestionarios a familias y docentes para tener info sobre conocimientos previos que tienen sobre el tema.
Se realizan charlas formativas de expertos dirigida a docentes y familiares. Se establecen estrategias de mediación y coopera-
ción que se aplicaran al grupo aula para lograr metas y objetivos del programa.
EV. PROCESO: Se recolectan datos evaluativos una vez que el programa se ha puesto en funcionamiento para identificar posi-
bles defectos.
Mediante la recogida de datos en todas sus fases para que la implementación del programa sea la correcta y se puedan subsanar
defectos durante su aplicación.
EV. PRODUCTO: Intenta medir e interpretar los logros producidos por el programa educativo, tanto en su conclusión como
durante su desarrollo, recopilando info acerca de los resultados y su relación con los objetivos.
Se recoge toda la info y se evalúa para saber si se ha cumplido con los objetivos planteados.
Ejemplo:
Evaluación de contexto:
En un centro educativo, un grupo de profesores es consciente de la necesidad de informar a los alumnos de los dos últimos
cursos de primaria, sobre el uso de las redes sociales, para ayudarles a gestionar la información y alertarles para la detección
de información falsas, bulos, evitar dar información personal, etc.
Un miembro de equipo es pedagogo y experto en evaluación de programas y metodología de investigación educativa, y se
anima a liderar el proyecto.
Se reúnen para abordar la problemática y realizar una evaluación de contexto, de necesidades, de recursos. Consideran impor-
tante informar de este proyecto a los padres y madres y pedirles su colaboración. Acuerdan realizar un pequeño cuestionario
para ampliar la información entre todos los padres sobre el uso de redes sociales de sus hijos. También realizarán entrevistas
en profundidad con alguno de los padres que se han visto ya en situaciones problemáticas en relación con el tema.
A partir de unas propuestas de temas y sesiones iniciales, consideran conveniente consultar a expertos en la temática para que
valoren su proyecto, y sugieran mejoras sobre el programa inicial, mediante la técnica Delphi.
Realizada la evaluación del contexto, se ha utilizado al servicio de las decisiones de planificación que ayudarán a seleccionar,
formalizar y concretar las metas del programa, su diseño y estrategias, actividades y modo de aplicación y diseño de un plan de
seguimiento de los progresos y del estado de la situación periódicamente, en determinados momentos.
Evaluación de entrada:
El análisis de necesidades y de las prioridades, en la evaluación de contexto, ha permitido hacer una propuesta de intervención,
con una base sólida para fijar las metas y las prioridades que debe tener el programa de sensibilización sobre el uso de las redes
sociales, que sus diseñadores, aplicadores, responsables y grupos de interés, como los padres, deben conocer.
Con la información aportada por las reflexiones sobre lo que acontece en el centro, la recogida de los análisis de informes, las
reuniones con padres, junto con los análisis de los cuestionarios y entrevistas y las aportaciones de los expertos, tienen un
mapa de necesidades y prioridades que les proporciona la información clave para elaborar el programa formativo, con unas
metas precisas, bien definidas, con estrategias planificadas de actividades a desarrollar, junto con los procedimientos bien
definidos para realizar el seguimiento de los progresos y resultados.
Dicha información se ha utilizado al servicio de las decisiones de planificación que ayudarán a seleccionar, formalizar y concretar
las metas del programa, su diseño y estrategias, actividades y modo de aplicación y diseño de un plan de seguimiento de los
progresos y del estado de la situación periódicamente, en determinados momentos.
Evaluación de proceso:
A partir de las decisiones de planificación tomadas para aplicar el programa, comienza su aplicación y la evaluación de proceso,
cuya finalidad es comprobar la implementación del plan, y debe documentarse, para ayudar a las decisiones de realización
acerca de cómo se está aplicando el programa para atender a las necesidades definidas. También si los gastos en los recursos,
se ajustan lo presupuestado.
Evaluación del producto:
37
En el caso que nos ocupa, los resultados pueden valorarse mediante actividades de role-playing, ensayos, discusión en grupo,
para ver si se ha conseguido una mayor conciencia sobre la importancia de estar alerta en el uso de las redes sociales, de la
importancia de hacer partícipes de sus dudas a sus padres y a sus profesores. Todo ello con el fin de valorar los resultados en
relación con las necesidades previas especificadas.
Cada tipo de evaluación, en el modelo CIPP, desempeña funciones únicas, y puede utilizar diferentes métodos, pero existe una
relación simbiótica entre ellas, una apoya a la siguiente y aporta información fundamental para comprender la totalidad del
proceso evaluativo.
4.5 Tabla síntesis de los cuatro tipos de evaluación CIPP (Stufflebeam y Shinkfield, 2007)
Objetivo Método Relación con la toma de decisio-
nes en el proceso de cambio
E. de contexto Definir el contexto pertinente, Utilización de análisis de sistemas, Para decidir sobre las situaciones a
identificar la población objeto y encuesta, revisión de documentos, las que sirve;
evaluar sus necesidades, identifi- análisis de datos secundarios, dia- Las metas asociadas a las necesi-
car oportunidades para abordar logo, entrevistas, pruebas diag- dades o aprovechamiento de las
las necesidades, diagnosticar los nósticas y técnica de Delphi. oportunidades;
problemas subyacentes a las nece- Las prioridades para los presu-
sidades y juzgar si los objetivos del puestos y recursos a tiempo;
programa son suficientemente re- Los objetivos asociados con la so-
ceptivos a las necesidades evalua- lución de problemas, para planifi-
das. car los cambios necesarios; pro-
porcionar una base para juzgar los
resultados.
E. de entrada Identificar y evaluar las capacida- Inventariar y analizar recursos hu- Para seleccionar recursos de
des de los sistemas, estrategias de manos y materiales disponibles, apoyo, estrategias de solución y di-
programas alternativos, diseños estrategias de solución de proble- seños de procedimientos, es decir,
de procedimientos para imple- mas y diseños de procedimientos para estructurar actividades de
mentar las estrategias, presupues- viables relevantes, costo benefi- cambio y presupuesto y programar
tos y horarios. cio; Utilización de métodos tales las actividades del programa y pro-
como búsqueda bibliográfica, visi- porcionar una base para juzgar la
tas a programas ejemplares, equi- implementación.
pos de asesores y ensayos piloto.
E. de proceso Identificar o predecir defectos en Monitorear las posibles barreras Para implementar y refinar el di-
el diseño de procedimientos o en de procedimiento de la actividad y seño y los procedimientos del pro-
su implementación, proporcionar permanecer alerta ante las impre- grama, es decir, para efectuar al
información para las decisiones vistas, obtener información espe- control del proceso y proporcionar
pre-programadas, y registrar y juz- cífica para las decisiones progra- un registro del proceso real para
gar los eventos y actividades de madas, describir el proceso real e su uso posterior en la interpreta-
procedimiento interactuar continuamente y ob- ción de los resultados.
servar las actividades del personal
del proyecto y otras partes intere-
sadas.
E. de producto Recopilar descripciones y juicios Mediante la definición operacional Para decidir continuar, terminar,
de los resultados y relacionarlos y la medición de los criterios de re- modificar o reorientar la actividad
con los objetivos y con el contexto, sultados, la recolección de juicios de cambio; y para presentar un re-
entradas y la información de pro- sobre los resultados de las partes gistro claro de los efectos (inten-
ceso; y para interpretar su mérito, interesadas, la realización de aná- cionales y no intencionales, positi-
valor, importancia y probidad. lisis cualitativos y cuantitativos y la vos y negativos) en comparación
comparación de los resultados con con las necesidades evaluadas y
las necesidades evaluadas. los objetivos especificados.
38
5. La lista de control para la evaluación

Es una herramienta ajustada al Modelo CIPP de evaluación de proyectos, programas, personal, instituciones y sistemas, y tiene
como finalidad ayudar a los evaluadores y responsables de los programas en la evaluación , con el objetivo de conseguir mejoras
sostenibles a largo plazo.
1. Acuerdos contractuales
Las evaluaciones CIPP deben realizarse con acuerdos explícitos previos con los clientes, y deben ser actualizados de acuerdo
con las necesidades de cada evaluación.
Actividades del evaluador Actividades de los clientes de la evaluación
Desarrollar un marco claro y comprensivo del trabajo de eva- Aclarar con el evaluador lo que se va a evaluar, su propósito,
luación que se va a hacer. criterios, y audiencias.
Aclarar la naturaleza, contenidos y plazos para los informes y Asegurar que la planificación de informes es sensible a las ne-
sesiones formativos. cesidades del programa.
Alcanzar acuerdos para proteger la integridad del proceso de Asegurar que el proceso de información será legal, política y
información. éticamente viable.
2. El contexto de la evaluación
Evaluación de las necesidades del contexto, ventajas y problemas dentro del entorno definido.
Recopilar y valorar la información previa fundamental, espe- Utilizar los hallazgos de la evaluación de contexto en la selec-
cialmente sobre los beneficiarios y las necesidades a las que ción y clarificación de los beneficiarios potenciales.
se dice debe responder.
Entrevistas con los implicados en el programa para obtener in-
formación sobre las necesidades y beneficiarios de la evalua-
ción, así como de los potenciales problemas del programa.
Valorar las metas del programa a la luz de las necesidades ex- Utilizar los hallazgos de la evaluación, a lo largo del proceso,
presas de sus beneficiarios y la utilidad afirmada. para valorar la efectividad del programa en satisfacer las ne-
cesidades de los beneficiarios.
Discutir los hallazgos de la evaluación en reuniones.
3. Evaluación de entrada
Evaluación de las entradas, valoración de las estrategias y de los planes de trabajo y presupuestos.
Identificar e investigar si existen programas que puedan servir Utilizar los hallazgos de la evaluación de entrada para diseñar
como modelo para el programa. una estrategia del programa que sea científica, económica, so-
cial, política y técnicamente defendible.
Valorar las estrategias propuestas del programa para satisfa- Utilizar los hallazgos de la evaluación de entrada para asegurar
cer las necesidades valoradas, y su viabilidad. que las estrategias del programa sean viables para satisfacer
las necesidades valoradas.
Valorar el mérito de las estrategias del programa comparadas Utilizar los hallazgos de la evaluación de entrada para formar
con estrategias alternativas de programas similares. al personal para realizar el programa.
Finalizar el informe de la evaluación de entrada y proporcio-
nárselo a los clientes.
4. Evaluación de proceso
Hacer un seguimiento de la evaluación de proceso, documentar y valorar las actividades del programa.
Implicar a un grupo en la evaluación para seguir, observar, gra- Utilizar los hallazgos de la evaluación de proceso como control
bar y proporcionar informes periódicos sobre la aplicación del y fortalecimiento de las actividades del personal.
programa. Y para el fortalecimiento del diseño del programa.
En colaboración con el personal del programa, mantener un Utilizar los hallazgos de la evaluación de proceso para mante-
seguimiento de los acontecimientos del programa, problemas, ner un seguimiento sobre el progreso del programa.
costos y asignaciones.
39
5. Evaluación de impacto
Evaluación del impacto que alcanza un programa en relación con las audiencias meta..
Implicar al personal del programa, y al grupo de evaluación, Utilizar los hallazgos de la evaluación de impacto para asegu-
para mantener un directorio de personas y grupos a los que rar que el programa satisface las necesidades de los beneficia-
sirve, para tener información sobre sus necesidades y los ser- rios a los que debe atender. Y si alcanza necesidades de bene-
vicios recibidos por el programa. ficiarios no previstos.
Evaluar y valorar el grado en que los individuos y grupos que Asegurar que la planificación de informes es sensible a las ne-
se benefician es consistente con los beneficiarios a los que cesidades del programa.
debe servir.
Discutir los hallazgos de la evaluación de impacto con los Asegurar que el proceso de información sea legal, política y
miembros del programa. éticamente viable.
Finalizar el informe de la evaluación de impacto, con ayudas
visuales para los clientes y contratadores de la evaluación.
6. Evaluación de la eficacia y eficiencia

Evaluación de la efectividad del programa y valoración de la calidad y significatividad de sus metas.
Entrevistas con los patrocinadores, líderes, personal y benefi- Utilizar los hallazgos de la evaluación de la efectividad para de-
ciarios del programa y otros grupos interesados para determi- terminar los efectos positivos y negativos del programa sobre
nar la valoración de logros positivos y negativos. sus beneficiarios.
Realizar estudios de caso en profundidad con grupos de bene- Utilizar los hallazgos de la evaluación de la efectividad para
ficiarios. descubrir y valorar efectos importantes colaterales.
Implicar al grupo de evaluación y personal del programa para Utilizar los hallazgos de la evaluación de la efectividad para
aportar documentación para identificar y confirmar el rango, examinar si el programa, su planificación y actividades deben
profundidad, calidad y significado de los efectos del programa ser cambiados.
sobre los beneficiarios.
7. Evaluación de la sostenibilidad
Valorar el grado por el cual las contribuciones del programa están exitosamente institucionalizadas y deben continuar a lo largo
del tiempo
Entrevistas con los líderes y personal para identificar sus valo- Utilizar los hallazgos de la evaluación de la sostenibilidad si el
raciones sobre los éxitos del programa que deben ser mante- personal y los beneficiarios favorecen la continuación del pro-
nidos. grama.
En colaboración con el personal, seguimiento de los aconteci- Utilizar los hallazgos de la evaluación de sostenibilidad como
mientos, problemas, costos y asignaciones. garantía para que las metas y el plan continúen sus activida-
des.
Entrevista con los beneficiarios para identificar su compren- Utilizar los hallazgos de la evaluación de sostenibilidad como
sión y valoración de las provisiones para la continuación del garantía para que el plan y los presupuestos necesarios conti-
programa. núen.
Recoger hallazgos sobre la sostenibilidad del programa de los
informes de progreso y final.
40
8. Evaluación de la transferibilidad
Valora el grado en que un programa puede tener éxito adaptado en otro lugar.
Investigación con muestras representativas de los posibles Uso de los resultados de la evaluación para valorar la disemi-
grupos que puedan adoptar el programa. Cuestiones sobre: 1) nación de la información sobre el programa.
Descripción del programa e informe de los hallazgos de la eva- Uso de los hallazgos de la evaluación del programa para adap-
luación. 2) Juicio o valoración crítica sobre la relevancia del tarlos a otras situaciones.
programa para su situación. 3) Juicio sobre la calidad del pro-
grama. 4) Informe sobre si se está aplicando todo o parte del
programa.
Visitas y valoración de la adaptación del programa.
Informes y discusión sobre los hallazgos de la evaluación del
programa que pueden ser aplicados a otras situaciones.
9. Metaevaluación
Es la valoración de la evaluación, para comprobar si cumple con los estándares que deben guiar las evaluaciones de programas.
Se han llegado a acuerdos con los clientes de la evaluación so- Revisar las normas del JC y lograr acuerdos con los evaluado-
bre que ésta se guiará con las normas del Joint Committee de res sobre qué principios seguir para guiar y valorar el trabajo
utilidad, viabilidad, honradez y precisión, o cualquier otro tipo de evaluación.
de normas o principios. Considerar una valoración independiente de la evaluación.
Animar y apoyar al cliente para que obtenga una valoración Mantener un archivo de información pertinente para valorar
independiente del plan de evaluación, del proceso y/o del in- los acuerdos en contraste con las normas y principios que de-
forme de resultados. ben guiar las evaluaciones.
Documentar los procesos de evaluación y los resultados de Aportar la información y asesorar adecuadamente para legiti-
modo que puedan ser rigurosamente estudiados y evaluados. mar los esfuerzos de evaluar la evaluación.
Utilizar la meta-evaluación periódicamente para asegurar que Tener en cuenta los resultados de la meta-evaluación para va-
la evaluación se está realizando adecuadamente. lorar cómo se están aplicando los resultados de las evaluacio-
nes.
Valorar y proporcionar comentarios escritos sobre el grado de Considerar incluir un apéndice al informe de evaluación final
concordancia que encuentra la evaluación con los estándares con reacciones sobre la evaluación, informes de los evaluado-
y/o los principios que orientan la evaluación, e incluir los re- res sobre el grado de concordancia entre los estándares y la
sultados en el informe final de la evaluación, a modo de apén- evaluación realizada, a modo de resultados de una meta-eva-
dice o anexo. luación y documentar los usos significativos de los hallazgos
de la evaluación.
41
10. Informe final de síntesis

Para incluir todos los resultados de la evaluación e informar a todas las audiciencias sobre lo que se pretendió hacer, lo que se
hizo, y cómo, qué hemos aprendido, y concretar la línea base de la evaluación útil para sucesivas evaluaciones.
Organizar el informe para atender a las diferentes necesidades Contribuir a asegurar que los contenidos del informe planeado
de las diferentes audiencias, incluyendo los antecedentes del sea atractivo y sea utilizable por el amplio rango de audiencias
programa, su implementación, y sus resultados beneficiarias.
Continuando con el ejemplo, en el informe de los anteceden- Ayudar a asegurar que la narración histórica presentada en los
tes del programa, incluir secciones discretas sobre la organiza- antecedentes del programa sea exacta, suficiente, y de interés
ción que promueve el programa, el origen del programa que para su uso, al menos para alguna de las audiencias del in-
se evalúa y el entorno del programa forme.
Incluir en el informe de la implementación del programa, sec- Ayudar a asegurar que la narración sobre la implementación
ciones que den detalles de los principales componentes del del programa sea exacta, suficiente detallada, para ayudar a
programa planeados, fundamentados, informado el personal, otros a comprenderlo así como las posibilidades y los procedi-
realizado de modo que los grupos de interés en exportar el mientos de su aplicación (teniendo en cuenta las precauciones
programa puedan ver cómo podrían ser realizadas las activi- pertinentes).
dades del programa. Estas secciones serían principalmente
descriptivas para utilizarlas con las precauciones pertinentes.
Incluir en el informe de los resultados del programa, los hallaz- Informe de la utilidad de los resultados del programa, funda-
gos de la evaluación (de contexto, entrada, proceso, impacto mentando lo que se ha realizado, los fallos, y los esfuerzos
efectividad, sostenibilidad y trasferencia) y de las conclusiones comparado con programas similares, y qué lecciones deben
de la evaluación (fortalezas, debilidades, lecciones aprendidas ser tenidas en cuenta para futuros programas.
y línea base de la valoración del mérito, valor y significatividad
del programa). Contraste entre las contribuciones del pro-
grama con lo que pretendía, lo que los beneficiarios necesita-
ban y los costos que han supuesto. Y comparación con progra-
mas similares.
Ilustrar el informe con fotografías, gráficos, citas, comentarios Utilización del informe completo como medio de preservar la
reales. Reconocimientos, apéndices técnicos incluyendo los memoria de la institucional del programa e informar a las par-
instrumentos de recogida de datos, el manual seguido por el tes interesadas en la empresa.
evaluador, y cualquier otra cosa de interés.
6. Resumen del modelo CIPP de evaluación de programas

Concepciones evaluativas: Estructura básica del modelo de evaluación CIPP.
Definición de evaluación: Proceso de identificar, obtener y proporcionar información útil y descriptiva acerca del valor y mérito
de las metas, la planificación, la realización y el impacto de un objeto determinado, con el fin de servir de guía para la toma de
decisiones, solucionar los problemas de responsabilidad y promover la comprensión de los fenómenos implicados.
Funciones de la evaluación: Formativa y sumativa
Para quién se hace la evaluación: Para el que toma las decisiones y para todos los miembros que participan en el programa.
Características del evaluador: Especialista al servicio de la organización y de los miembros del programa.
Ámbitos y contextos más adecuados para aplicación: Evaluación de proyectos, programas, personal, instituciones y sistemas.
Fases principales de aplicación: Evaluación de contexto. Evaluación de entrada. Evaluación de proceso. Evaluación de producto.
Metodología evaluativa: Diversa para cada tipo de evaluación. Cuantitativa y cualitativa.
Información a recoger: De las necesidades, los recursos, el funcionamiento y el impacto.
Métodos: Diversos para cada tipo de evaluación. Lista de control para la evaluación.
Instrumentos y técnicas: Diversos: observación, entrevista, cuestionario…
Tipo de informe: Frecuente y para proporcionar una guía para la mejora del programa.
Posible generalización: La que permitan el muestreo y la metodología utilizada.
Utilidad de los hallazgos: Para tomar decisiones de mejora.
Criterios para juzgar las evaluaciones: Utilidad, factibilidad, ética, exactitud y responsabilidad.
Contribuciones: Evaluación de los contextos y de los procesos.
42
Pregunta test. Tema 3

1. El modelo CIPP se fundamenta en la evaluación como:
a. Una actividad de observación y análisis
b. Una investigación sistemática acerca del valor y mérito de lo evaluado
c. Una actividad coherente con las necesidades
2. La evaluación, en el modelo CIPP, tiene como finalidad:
a. Guiar la toma de decisiones.
b. Atender las necesidades de reciclaje.
c. Solucionar problemas de los grupos de interés.
3. La evaluación del contexto en el modelo CIPP evalúa:
a. Los enfoques alternativos.
b. Las necesidades.
c. La dotación del personal.
4. La evaluación de contexto en el Modelo CIPP evalúa:
a. Los enfoques alternativos para atender las necesidades.
b. Las necesidades y oportunidades.
c. La dotación del personal y los recursos.
5. La evaluación de contexto en el modelo CIPP evalúa:
a. Los problemas.
b. Los enfoques alternativos.
c. La revisión de los planes.
6. La evaluación del contexto, en el modelo CIPP, evalúa:
a. La adecuación a los recursos.
b. La ejecución de los planes para atender las necesidades.
c. Los problemas y las oportunidades.
7. La evaluación del contexto en el modelo CIPP se centra en:
a. Orientar las decisiones de cambio.
b. Valorar la situación de partida.
c. Determinar las metas en coherencia con las necesidades.
8. La evaluación de entrada en el modelo CIPP ayuda a:
a. Comprobar si la aplicación del programa atiende a las necesidades.
b. Orientar las decisiones de cambio.
c. Valorar los posibles programas a elegir.
9. La evaluación de entrada, en el modelo CIPP, evalúa:
a. Los enfoques alternativos de intervención.
b. La ejecución de los planes para ayudar al personal.
c. Los problemas y sus causas.
10. La evaluación del proceso del modelo CIPP se centra en:
a. Valorar metas y los resultados.
b. Orientar las decisiones de cambio.
c. Comprobar los resultados parciales
11. La evaluación de proceso, en el modelo CIPP, evalúa:
a. Los posibles programas
b. La ejecución de los planes para ayudar al personal
c. Si se han reducido las necesidades especificadas.
12. La evaluación del producto en el modelo CIPP ayuda:
a. Si se está realizando el plan previsto del programa.
b. Si se han reducido las necesidades especificadas.
c. Los juicios sobre la implementación.
43
13. La evaluación del producto en el modelo CIPP ayuda:

a. Comprobar si la aplicación del programa se ajusta a lo planteado.
b. Informar de los resultados conseguidos.
c. Garantizar la adecuación de los programas seleccionados.
14. La evaluación de producto, en el modelo CIPP, evalúa:
a. Si se está realizando el plan previsto del programa
b. Si los procesos que produjeron las mejoras demuestran su transferibilidad
c. Los juicios valorativos sobre la implementación.
44
TEMA 4: El Modelo de Evaluación de Programas Educativos de Ramón Pérez Juste

1. La teoría evaluativa de programas
Para Pérez Juste, la evaluación de programas es una actividad pedagógica orientada a la mejora de los programas, del educando
y del educador de una manera directa. Indirectamente también actúa en la mejora de variables organizativas, técnicas y medioam-
bientales, sobre los programas mismos.
1.1. Educación y evaluación
La educación se considera el resultado de un proceso sistemático e intencional al servicio de unos objetivos que confluyen en
una finalidad general denominada educación integral, atendiendo a su desarrollo cognitivo, afectivos, psicomotor, etc. Una edu-
cación integral abarca el perfeccionamiento y la mejora de todas las dimensiones específicamente humanas para que las personas
puedan afrontar los desafíos ámbitos personales, sociales y profesionales, con las mejores posibilidades de éxito.
Un proceso educativo así concebido es complejo y duradero en el tiempo28, por lo que en él deben confluir actuaciones educativas
de diversa naturaleza:
- la evaluación de necesidades para el acercamiento a la realidad de los sujetos
- la planificación de planes, proyectos y programas, su diseño e implementación
- la valoración, evaluación de todo el proceso y de sus resultados.
La evaluación se integra como un componente más del programa. Las evaluaciones de los programas deben garantizar una eva-
luación integral
1.2. La evaluación integral, integrada e integradora
La evaluación de programas, o investigación evaluativa, es una evaluación integral que abarca diversos grupos de actividades
según se trate del estudio de la conceptualización y diseño de las intervenciones de programas, la valoración de la puesta en
marcha del programa, o la valoración de su utilidad y de su impacto, y, aunque no siempre es posible evaluar todo este grupo de
aspectos relacionados con los programas, dependiendo de los recursos y tiempo, hay ocasiones en las que sí es necesario realizar
una evaluación integral, una evaluación global.
La evaluación de programas y de sus resultados en sus beneficiarios no puede permanecer aislada de los contextos en los que se
aplican los programas. Por ello, la evaluación es adjetivada como integral, integrada e integradora:
- Es integral al considerarla al servicio de objetivos educativos de calidad para la formación integral de las personas, en todos los
aspectos que necesita formarse el ser humano.
- Es integrada, en sintonía con todas las actividades educativas (de diagnóstico, planificación, realización, evaluación de los apren-
dizajes, de los recursos, de los medios, de las personas) al servicio del desarrollo de los programas educativos orientados a conse-
guir fines educativos: el desarrollo integral de las personas.
- Es integradora, en su papel activo sobre la educación, al informar de la calidad de lo que acontece en la educación, informando,
orientando sobre lo que hay que mejorar, desechar e innovar. Incluye los programas, la organización en la que se imparten y sus
recursos, las personas y los sistemas educativos a los que pertenece. Considera qué recursos necesita, cómo es el PEC, si el pro-
grama va en consonancia con ese proyecto, etc,
1.3. El concepto de evaluación de programas
Si la educación hemos dicho que es el resultado de un proceso sistemático e intencional, duradero en el tiempo, al servicio de
unas metas y objetivos de calidad, para la formación integral de las personas, mediante programas, La evaluación pedagógica es
la valoración, a partir de criterios y de referencias pre-especificadas, de la información técnicamente diseñada y sistemática-
mente recogida y organizada, sobre cuantos factores relevantes integran los procesos educativos para facilitar la toma de deci-
siones de mejora.
Educación, programas y evaluación están relacionados y se desarrollan en organización educativas o fuera de ellas:
- Educación = proceso intencional
- Programa = documento sistemático y técnicamente elaborado con unos objetivos.
- Evaluación = valoración de ese programa al servicio de unos objetivos educativos
Los criterios para evaluar ese programa es que se cumplan los objetivos educativos, en la finalidad de lo que pretende conseguir
que se cumpla y se aplique ese programa de acuerdo con el diseño realizado para facilitar esa aplicación, desarrollo, ese logro de
esos objetivos.
28
Desde que nacemos hasta que morimos estamos formándonos, aprendiendo.
45
Pérez Juste define la evaluación de programas como:

El proceso sistemático, diseñado intencional y técnicamente,
de recogida de información rigurosa -valiosa, válida y fiable-,
orientado a valorar la calidad y los logros de un programa,
como base para la posterior toma de decisiones de mejora tanto del programa como del personal implicado
y, de modo indirecto, del cuerpo social en que se encuentra inmerso.
La dimensión fundamental de la evaluación es su naturaleza procesual: es un proceso que va pasando por diversas etapas a lo
largo del tiempo.
La evaluación para la mejora del programa y de sus beneficiarios se basa en:
- Recogida de información rigurosa (fiable, valida y valiosa) para la valoración de la calidad y los logros del programa (resultados).
- Si responde a las necesidades y con qué calidad lo hace.
- Orientar la toma de decisiones de mejora.
- Un procedimiento como un proceso sistemático, intencional y técnico.
- Una recogida de información amplia de todos los participantes y su contexto.
- Va más allá del programa y del personal implicado, también se interesa por el impacto en la sociedad en la que se encuentra
inmerso.
Los criterios de calidad de los programas se definen como aquella condición que debe cumplir una determinada actividad, ac-
tuación o proceso para ser considerada de calidad.
Los objetivos de los programas, al servicio de los fines de la educación deben ser de calidad, y su evaluación, a través de los
criterios, deben asegurar que sean de calidad, coherentes con las necesidades, y que se cumplan, en el grado en que las referen-
cias de la evaluación definen cómo deben cumplirse los criterios.
EJEMPLO
Dependiendo de la edad del sujeto se puede esperar un nivel en el aprendizaje de las matemáticas (diferentes niveles, están-
dares o referencias)
Lo que la evaluación, basada en evidencias recogidas rigurosamente, indica que un programa, un sistema educativo, es adecuado,
funciona bien, orienta a continuar con la aplicación de esos programas, manteniendo esos fines de la educación. Y cuando la
evaluación aporta evidencias de que dichos programas no funcionan bien, orienta a hay que cambiarlos.
La evaluación se basa en evidencias propias de la investigación que recoge información con instrumentos, técnicas, recogida de
datos, que deben cumplir los criterios de validez, fiabilidad, etc. Y deben aplicarse con rigurosidad para aportar evidencias que
nos permitan decir si el programa funciona bien y se es recomendable su aplicación. Cualquier innovación también tiene que
basarse en la investigación.
Los criterios:
- Pertinencia o Adecuación: se define como la medida en la cual un programa responde a una o más necesidades concretas de la
población o grupo al que atiende.
- Evaluabilidad: es la medida en la cual un determinado programa cumple las condiciones y requisitos para ser evaluado. Funda-
mentación, calidad técnica, tiempo, recursos…
- Eficacia: es la medida del logro de los objetivos establecidos por el programa que se han conseguido. Tienen como finalidad
comprobar el grado en que los objetivos pretendidos por un programa han sido conseguidos. Relaciona los objetivos con los
resultados.
- Eficiencia: es la medida del logro de los resultados en relación con las actividades para conseguirlos y los recursos que emplea.
Relaciona los recursos utilizados con los resultados conseguidos.
- Satisfacción: relación entre las expectativas sobre el programa y lo que consigue (resultados)
- Impacto: efectos posteriores a la terminación del programa.
Los criterios se miden mediante ítems representativos del criterio y variable a medir. La medición busca comprobar el grado de
relación entre la definición teórica y la realización empírica de la variable.
Las referencias:
Las referencias de la evaluación guardan relación con los criterios, y definen cómo deben cumplirse los criterios.
Si la referencia se toma en relación con:
• el punto de partida es idiosincrática, , y se compara los resultados previos con los que consigue el programa en el centro, pu-
diendo valorar las mejoras conseguidas.
• un dominio, un contenido, es criterial, y se compara lo que el programa pretende conseguir, a un nivel absoluto, con lo que
consigue.
• otros programas, o centros que utilizan el mismo programas, es normativa
46
Del mismo modo, la evaluación del aprendizaje del estudiante al comparar sus conocimientos:
• iniciales con los que consigue, es personalizada o idiosincrática.
• en relación con el dominio de aprendizaje, en términos absolutos, es criterial.
• con el grupo del aula, curso, edad, es normativa.
1.4. Características de los programas educativos
Por programa educativo se entiende un documento técnico, elaborado por el profesorado, por los responsables del programa, en
el que quedan reflejados sus planteamientos docentes, intenciones y metas educativas, los objetivos en los que se van a concre-
tar esas metas y esas actividades y las formas en las que se va a enseñar ese programas y se va a evaluar.
La dimensión fundamental de la evaluación que se trata de un plan sistemático de intervención, específica e intencionalmente
elaborado, al servicio de metas consideradas valiosas desde una perspectiva pedagógica; es su naturaleza procesual.
Los programas educativos vienen definidos por:
— Complejidad. Se pone en juego una compleja variedad de elementos organizativos, orientadores, didácticos, adecuados a las
necesidades de los sujetos, integrando diferentes saberes multidisciplinares. Exige la integración de los programas educativos en
los PEC para lograr la colaboración del personal, lo que redundaría en su eficacia.
— Dificultad. Referida a la implementación de los programas por suponer una traducibilidad de conceptos mentales en activida-
des dirigidas a lograr las metas del programa.
— Duración. La consecución de las metas de los programas requiere contar con tiempo suficiente para desarrollar y afianzar los
cambios de mejora perseguidos, ya sea de habilidades, actitudes o comportamientos, contando con la colaboración de los do-
centes. Exige una observación del desarrollo de los procesos.
— Procesualidad. Consistente en la traducibilidad de las metas de los programas en la implementación de los mismos, poniendo
especial atención a la adecuada interpretación de los fines pretendidos por los programas.
— Mantenimiento y transferencia. El verdadero sentido de los programas se orienta a la posibilidad de mantener los logros del
mismo y a transferirlos a otros ámbitos y actividades del sujeto, contribuyendo a su formación intelectual y a su madurez y
autonomía personal.
1.5. Función esencial de la evaluación: la mejora
Si bien la evaluación es una antigua actividad, el salto cualitativo de la evaluación se reconoce cuando se identifica con la función
de mejora:
- mejora del objeto evaluado, ya se trate de los programas, las organizaciones, los profesionales, los estudiantes o los objetivos
de los programas, adaptados a las necesidades que demanda la sociedad.
- desde la evaluación de necesidades en sus contextos, hasta la evaluación de los resultados, pasando por la evaluación del
diseño de los programas y de su aplicación,
- de un modo continuo, formativo, aportando información para la mejora de los evaluados, de sus objetivos, de las personas y
de los resultados.
La función esencial de la evaluación es la mejora. Evaluar para mejorar, no solo para sancionar, también, para aportar, después
de la evaluación, de acuerdo a unos criterios y referencias, en que debe mejorar lo que hemos evaluado.
La evaluación de programas y de sus resultados en sus beneficiarios no puede permanecer aislada de los contextos en los que se
aplican. La evaluación que tiene en cuenta todo esto, es adjetivada como integral, integrada e integradora.
47
Momentos clave para la mejora de los programas a través de su evaluación

Momentos Elementos
Previo, se fija en Los objetivos:
• Del objeto evaluado
• Del propio sistema de evaluación (instrumentos,
en qué momento…)
Núcleo de la evalua- Recogida de información, si es adecuada a las nece-
ción, en relación con sidades.
Valoración de la información, en relación a:
• Criterios
• Referencias
Toma de decisiones orientadas a la mejora (Planes)
Posterior Seguimiento de los planes de mejora
Se centra en las orientaciones de mejora recomen-
dadas en el segundo momento, que se trazan pro-
puestas y planes de mejora aplicables, y entonces se
realiza un seguimiento de cómo se están realizando
esas mejoras y que resultados están consiguiendo,
entrando en un circulo de mejora continua.
Planifica, actúa, evalúa la toma de decisiones de
mejora.
2. El modelo evaluativo para la práctica evaluativa

La evaluación de un programa se hace con la finalidad de constatar el grado de eficacia con que consigue el logro de las metas
para las que fue elaborado, y para poder llevar a cabo las decisiones de mejora.
La evaluación está pensada para realizarse en cuatro momentos:
2.1 Primer momento: Etapa inicial: Evaluación del programa en sí mismo
Se trata de la actividad evaluativa más importante por ser la primera y base de todas las demás y por su contenido.
Etapa inicial: Evaluación del programa en sí mismo
Finalidad Dimensiones Objeto Criterios Metodología
Función preventiva Calidad intrínseca del Análisis del Contenido Adecuación de los objetivos, Análisis de con-
para aplicar el pro- programa. Fundamenta- del programa relevantes y suficientes para tenido
grama en las condi- ción. Contenido del pro- atender a las necesidades.
ciones más favora- grama Calidad técnica Ade- Metodología de aplicación Juicio de exper-
bles, cuación de los objeti- Lenguaje entendible. Funda- tos
reducir las posibilida- vos relevantes y sufi- mentación del programa, pre-
des de fracaso, cientes para atender a cisión de los objetivos, ade- Delhpi registros
eliminando las posi- las necesidades. cuación de los recursos
bles causas Pruebas inicia-
Establecer la calidad, Evaluabilidad les
viabilidad y evaluabi- Adecuación al con- Respuesta a necesida- Respuesta a necesidades y
lidad del programa texto, a las necesidades, des, carencias carencias Entrevistas
Decisiones: general- carencias y expectativas
mente formativas. de los destinatarios, lu- Priorización Observación
gar y momento. (participante o
Adecuación a la situa- Viabilidad Priorización, Suficiencia, Rea- no)…
ción de partida de los lismo, Viabilidad
destinatarios Pertinencia, Adecuación
48
2.2 Segundo momento: Etapa procesual: evaluación del desarrollo del programa
Etapa procesual: Evaluación del desarrollo del programa
Finalidad Dimensio- Objeto Criterios Metodología
nes
Toma de decisiones de mejora Implanta- Seguimiento de: Conformidad con la Recogida y análisis de informa-
a tiempo, y también acumula- ción Actividades planificación ción.
ción de información para mejo- Secuencias Cumplimiento,
ras posteriores. Tiempo Coherencia institu- Diversidad de enfoques y de téc-
Flexibilidad cional nicas:
Función formativa. En progra- Marco Clima Eficacia parcial Complementariedad metodoló-
mas ordinarios Coherencia Satisfacción de los gica y de las técnicas
Recoger información de cómo Coexistencia con implicados Organización y valoración de los
se está llevando a cabo el pro- otros programas datos
grama.
Decisiones ajustes parciales, su-
presión
2.3 Tercer momento: Etapa final: Evaluación de los resultados de los programas
Etapa final: Evaluación de los resultados de los programas
Finalidad Dimensio- Objeto Criterios Referencias Metodología
nes
Comprobar el Medida y Constatación Eficacia Progreso Diseños y pruebas diversas; análisis
grado de efica- logros Contraste Eficiencia Logro de dominio estadísticos adecuados.
cia. Valoración Criterios Efectividad Superioridad
Referencias Satisfacción Información a recoger: sobre los re-
Funciones: su- Continui- Decisiones Impacto sultados y los efectos no planeados.
mativa; Suma- dad Incorporación
tiva formativi- de mejoras
zada
La función sumativa sancionadora en educación no sirve, siempre debe aportar información para la mejora.
Un programa no se puede evaluar solo por los resultados de aprendizaje, se tiene que valorar también por la adecuación a ese
programa, a las necesidades que pretende conseguir, a la calidad técnica del programa, a la fundamentación del programa, a su
rigurosidad. Un programa tiene que informar sobre las evidencias de los resultados, a qué se deben los resultados positivos.
2.4 Cuarto momento: Institucionalización de la evaluación

Institucionalización de la evaluación, como una actividad más dentro de la organización educativa
Finalidad Dimensiones Objeto Metodología
La mejora continua de los programas y de los La evaluación como Elaboración de planes de Ciclos sucesivos de:
centros educativos. parte de los programas. mejora Evaluación
Integrar la evaluación en el programa al ser- Dentro de su contexto Plan de seguimiento Mejora
vicio de su mejora y de su eficacia, así como considerando lo que la Evaluación
de la mejora del personal y del contexto organización debe Mejora
educativo. aportar para que ese
Funciones: la mejora de las organizaciones ese programa tenga Complementariedad
hacia la excelencia. éxito tanto en su aplica- metodológica, enfo-
Cuando hemos terminado de evaluar el pro- ción como en su eva- ques mixtos
grama y evaluamos una propuesta de mejora luación.
y diseñamos un plan de evaluación y segui- La comunidad educa-
miento de ese plan de mejora tiva debe estar impli-
cada
No siempre se institucionaliza o incluye la evaluación como una actividad ordinaria, como la programación, la aplicación del
programa o la evaluación de los estudiantes, ni por lo tanto, la incorporación de sus propuestas de mejora, y debería considerarse
como un elemento más de las dimensiones de la organización de los centros educativos.
49
3. EJEMPLO PÉREZ JUSTE Pautas para la mejora la evaluación de programas educativos.

En la evaluación hay que aportar evidencias
Indicadores: aspectos en los que fijar la atención por representar manifestaciones de las variables a valorar, a los que deberían
aplicarse los oportunos criterios.
Ejemplo o documento de ayuda que sirve de guía a los evaluadores:
MOMENTO INICIAL: Evaluación del programa en sí mismo
1. ADECUACIÓN. PERTINENCIA (A los destinatarios, al contexto)
• ¿Existen datos en la organización (registros, informes, actas…) sobre las necesidades y carencias de los destinatarios del pro-
grama?
• ¿El programa responde a las características de los destinatarios?
• ¿El programa promueve la cooperación con las familias y la comunidad?
• ¿Se acude, cuando es necesario, a personas expertas para su identificación y valoración?
• ¿Se diseña el programa a partir de la priorización de las necesidades identificadas?
2. CALIDAD INTRÍNSECA DEL PROGRAMA (Contenido, calidad técnica, evaluabilidad)
• ¿Se han explicitado las bases cien-ficas y socio-psicológicas del programa quedando bien definido cuál es el modelo teórico que
lo sustenta?
• ¿Son realistas los objetivos?
• ¿Están actualizados los contenidos?
• ¿Se incluyen en el programa objetivos, medios –entre ellos, las actividades, la metodología o la evaluación formativa- y sistema
de evaluación del propio programa?
3. ADECUACIÓN A LAS CIRCUNSTANCIAS: VIABILIDAD (a la situación, al contexto)
• ¿Son realistas los objetivos formulados?
• ¿Existen en el centro los medios y recursos necesarios y suficientes para un correcto desarrollo del programa?
SEGUNDO MOMENTO: Proceso de aplicación del programa
1. PUESTA EN MARCHA DEL PROGRAMA
• La metodología utilizada ¿resulta adecuada para el desarrollo de los objetivos del programa?
• Se respeta la planificación
• ¿Muestran los alumnos interés / motivación hacia las asignaturas del programa?
• ¿Se cuenta con un sistema de registro de la información que facilite la posterior evaluación y, sobre todo, una mejor gestión de
los procesos (organizaciones que aprenden)?
2. MARCO DE APLICACIÓN DEL PROGRAMA
• El ambiente general del centro, ¿es positivo (relaciones de confianza, amables, cordiales entre el personal)? ¿Resulta favorable
al programa?
• ¿Se detecta algún conflicto entre los objetivos y planteamientos del programa con los del PEC o con los de otros profesores del
equipo o del centro?
• ¿Están previstas las actuaciones para la resolución de estos problemas que, indirectamente, pueden afectar al desarrollo y efi-
cacia del programa?
• ¿Se aprecia satisfacción en los responsables del programa, en sus destinatarios y en las demás partes implicadas e interesadas?
TERCER MOMENTO: Evaluación final del programa

1. MEDIDA Y LOGROS
• Se recurre a técnicas variadas de recogida de datos, acordes con la diversidad de los objetivos del programa?
• ¿Se planificaron las pruebas, y demás instrumentos elaborados para la recogida de datos, en el momento de diseñar el programa,
a fin de asegurar la máxima coherencia con los objetivos?
• ¿Hay indicios y datos sobre la eficiencia del programa? ¿Y sobre la eficacia?¿Y sobre su impacto en la organización y, si procede,
en otros ámbitos próximos del contexto?
2. VALORACIÓN
• ¿Se especificaron, de modo claro y preciso, los criterios y las referencias para valorar los resultados?
• ¿Se aplican los criterios y las referencias de conformidad con las previsiones y con las exigencias técnicas? ¿Se elabora el informe
con la participación de las diferentes partes interesadas e implicadas, con diferentes niveles de responsabilidad según las funcio-
nes de cada uno?
• ¿Se recogen en el informe los puntos fuere y débiles del programa?
50
• El informe ¿logra el acuerdo, el consenso, de las partes interesadas? ¿Se ha logrado la implicación del personal en las decisiones
y, en particular, en los planes de mejora? ¿Se da a conocer a todas las partes con interés en el tema?
• ¿Se elaboran planes de acción para reforzar los aspectos positivos y eliminar los negativos?
CUARTO MOMENTO: Institucionalización de la evaluación
Basado en el tercer momento, de evaluación de los resultados:
3. CONTINUIDAD
• ¿Existe un proceso institucionalizado de evaluación, de forma que los resultados se plasmen en nuevos procesos programado-
res?
• ¿Se asignan tareas concretas a los diferentes responsables de los cambios a introducir?
• ¿Se da un seguimiento sistemático de las acciones de mejora emprendidas a partir de la evaluación hasta darlas por concluidas?
Ciclos sucesivos de evaluación y mejora
En el caso de un programa cuya aplicación debe tener varias ediciones sucesivas,
• ¿Se aprecia un proceso sistemático de las acciones de mejora > evaluación > mejora> evaluación > mejora?
METAEVALUACIÓN
• ¿Se ha llevado a cabo una evaluación inicial del programa?
• ¿Se ha llevado a cabo una evaluación procesual o continúa del programa?
• ¿Se ha llevado a cabo una evaluación final o sumativa del programa?
• Utilidad: la evaluación resulta útil para responder a las necesidades de potenciales usuarios del programa
• Factibilidad: la evaluación realizada ha sido realista
• Precisión. La evaluación realizada permite revelar y divulgar información técnicamente precisa sobre los puntos fuertes y débiles
del programa.
4. Problemas que afectan a la disciplina
Necesidad de expertos en evaluación / investigación educativa.
Factibilidad de evaluar los centros
Juicios de expertos
Cuestiones éticas
Comparabilidad de los resultados de la investigaciones
5. Resumen del modelo de evaluación de programas de Pérez Juste
Concepciones evaluativas: Características de los programas, evaluación del programa, proceso y resultados.
Definición de evaluación: Proceso sistemático de recogida de información orientada a valorar la calidad y los logros para decisio-
nes de mejora del personal y del programa.
Funciones de la evaluación: Dependiendo del momento de la evaluación, este modelo cumple una función preventiva, formativa
y sumativa. • Primer momento: preventiva. Formativa. • Segundo momento: formativa. • Tercer momento: sumativa o sumativa
formativizada.
Para quién se hace la evaluación: Para todos los interesados en el programa.
Características del evaluador: Experto.
Ámbitos y contextos más adecuados para aplicación: Contextos educativos.
Fases principales de aplicación: Evaluación del programa en sí mismo. Evaluación del desarrollo del programa. Evaluación de los
resultados del programa. Institucionalización de la evaluación.
Metodología evaluativa: Cuantitativa y cualitativa.
Información a recoger: Diversa. Del programa, de los contextos, de los procesos y de los resultados.
Métodos: Diversos. Principio de complementariedad metodológica.
Instrumentos y técnicas: Variados. Observación, entrevista, cuestionarios, pruebas de rendimiento, Delphi, Juicio de expertos y
registro.
Tipo de informe: Descriptivo.
Posible generalización: La que permita el diseño.
Utilidad de los hallazgos: Para la mejora del personal y del programa, y de la comunidad.
Criterios para juzgar las evaluaciones: Rigurosidad (evaluaciones valiosas, válidas y fiables).
Contribuciones: Mejora de los programas del educando y del educador. Indirectamente: organizativas, técnicas y medioambien-
tales. Desarrollo de teorías de programas, complementariedad metodológica y técnica..
51
Pregunta test: Tema 4

1. Las evaluaciones de los programas deben:
a. Garantizar una evaluación integral.
b. Atender las necesidades de los que encargan la evaluación.
c. Satisfacer las expectativas de los clientes
2. Una evaluación de programas integral abarca diversos grupos de actividades tales como:
a. El estudio de los beneficiarios de los programas y contextos.
b. La valoración de los recursos y la valoración de las personas.
c. La valoración de la puesta en marcha del programa y la valoración de su utilidad
3. La dimensión fundamental de la evaluación en el modelo de Pérez Juste es su naturaleza:
a. Procesual.
b. Contextualizada.
c. Personalizada.
4. El salto cualitativo de la evaluación se identifica con:
a. La función sumativa.
b. La función de mejora.
c. La función para el rendimiento de cuentas
5. La evaluación inicial en el modelo de Pérez Juste se interesa por la:
a. El análisis de necesidades.
b. Calidad intrínseca del programa.
c. Medida de los logros del programa.
6. El primer momento de la evaluación de programas, en el modelo de Pérez Juste, se centra en valorar:
a. La mejora a tiempo para la aplicación del programa.
b. Las características de la organización.
c. Las condiciones para la aplicación del programa.
7. El primer momento de la evaluación de programas en el modelo de Pérez Juste se centra en valorar:
a. La adecuación de las características de organización.
b. La adecuación del programa a las necesidades.
c. La adecuación de los recursos para la aplicación del programa.
8. El primer momento de la evaluación de programas, en el modelo de Pérez Juste, se interesa por la:
a. Adecuación al contexto.
b. Continuidad.
c. Evaluación como parte de los programas.
9. La evaluación inicial en el modelo de Pérez Juste se interesa por la:
a. Adecuación al contexto
b. Continuidad
c. Evaluación como parte de los programas
10. El primer momento de la evaluación de un programa en el modelo de Pérez Juste se centra en valorar:
a. El contexto.
b. Las características de la organización.
c. Su adecuación a la situación de partida de los destinatarios.
11. La evaluación procesual, en el modelo de Pérez Juste, se interesa por la:
a. Adecuación al contexto.
b. Valoración de la respuesta a las necesidades.
c. Conformidad con la planificación.
12. La evaluación procesual en el modelo de Pérez Juste se interesa por la:
a. Valoración de la aplicación
b. Adecuación a la situación de partida
c. Seguimiento de las actividades
13. La evaluación final en el modelo de Pérez Juste se interesa por:
a. La calidad intrínseca del programa.
b. La medida de los logros del programa.
52
c. Las propuestas de mejora del programa.

14. La institucionalización de la evaluación en el modelo de Pérez Juste tiene como finalidad:
a. Revisar las características de la organización.
b. Potenciar el uso de los recursos.
c. La mejora de las organizaciones hacia la excelencia.
15. La institucionalización de la evaluación de programas, en el modelo Pérez Juste, se relaciona con la:
a. Mejora continua del programa.
b. Mejora de la evaluación.
c. Normalización de la evaluación.
TEMA 5: Los modelos lógicos como marco teórico y de organización para el diseño, aplicación y evaluación de programas edu-
cativos
1. Introducción
La evaluación de programas es un proceso sistemático de recogida y análisis de datos y síntesis de evidencias, para valorar una
iniciativa o una estrategia, un programa, una política o una organización e informar para la toma de decisiones de cambio, de
mejora.
Lo que subyace al diseño, aplicación y evaluación de un programa es un modo de pensamiento acerca de cuál es el propósito del
programa, qué resultados se esperan, cómo pueden ser conseguidos y qué datos o evidencias son necesarios para informar
acciones futuras, de modo que dichos resultados puedan ser mejorados. Esto es lo que se llama pensamiento evaluativo. En su
esencia está el diálogo, la reflexión, el aprendizaje y la mejora.
Los programas, y sus estrategias de aplicación, están fundamentados para atender las necesidades que pretende, mediante ac-
tuaciones racionales, fundamentadas en programas e intervenciones evaluadas, para garantizar que el cambio suceda.
Los modelos de evaluación de programas se han convertido en elementos esenciales para dirigir los esfuerzos por la mejora
continua de los programas y de las organizaciones.
Los modelos lógicos son:
una herramienta que contribuye a mostrar un cuadro simplificado de un programa, proyecto, iniciativa o intervención
para responder a unas necesidades en un contexto dado,
mostrando las relaciones lógicas entre los recursos que se requieren, las actividades que deben realizarse y los beneficios o
cambios que deben resultar.
2. Los modelos lógicos para el diseño y evaluación de programas
2.1. Los modelos lógicos como secuencias para atender a unas necesidades
Los modelos lógicos son la esencia de la planificación de la evaluación de programas, la gestión de los programas y la comunica-
ción de todo ello a los implicados para que comprendan lo que se pretende realizar para atender a unas necesidades, a unos
problemas, con unas prioridades fundamentadas en la teoría y en las experiencias de programas similares para atender situacio-
nes parecidas.
La evaluación de un programa mediante los Modelos Lógicos incide en las relaciones entre las necesidades, los programas, las
metas, su aplicación y los resultados.
Los modelos lógicos facilitan la concreción de indicadores para la recogida de información para la evaluación
Los modelos lógicos, para el diseño de programas, su aplicación y su evaluación, tienen como finalidad:
- el análisis y la descripción de necesidades, y la formulación de prioridades, de acuerdo con las mejores oportunidades, para
atenderlas
- el diseño y gestión (aplicación) de los programas para conseguir los resultados pretendidos en coherencia con las necesidades
- la evaluación de los resultados pretendidos, y que otros resultados, positivos o negativos, se han conseguido.
- la planificación y realización de su evaluación, recogida de información de todo ello y realización del informe con propuestas de
mejora, que se entregará a todos los implicados y a todos lo que tengan derecho a saber.
2.2. Marco teórico y de organización orientado a la consecución de los resultados
Los modelos lógicos se basan en la teoría del cambio. Cuando se diseñan unas estrategias, acciones, o programas para lograr el
cambio mediante el esfuerzo de aplicar dichas estrategias, se está creando una estrategia lógica, un modelo lógico. Los progra-
mas, sus estrategias, están fundamentadas en actuaciones racionales, para que el cambio suceda. Los modelos lógicos muestran
gráficamente la teoría del cambio, a través de los vínculos entre los recursos, las actividades y las metas a conseguir en los grupos
sobre los que interviene, en el corto medio y largo plazo relacionados con un problema o situación específica.
53
Las teorías del cambio vinculan lo que se necesita hacer -el propósito de la intervención mediante el programa-, con los resultados
–las metas para atender las necesidades- y con la realización, la aplicación del programa, -a través de estrategias, actividades-,
para explicar cómo y por qué se espera que se produzca el cambio deseado, basados en la teoría desarrollada en investigaciones
previas, y comprobar, mediante la recogida de información frecuente y diferenciada, qué el cambio se produce.
Las teorías del cambio vinculan los resultados y las actividades para explicar cómo y por qué se espera que se produzca el cambio
deseado, basados en la teoría desarrollada en investigaciones previas. Y los modelos lógicos ilustran gráficamente los componen-
tes del programa:
• los recursos,
• las metas a conseguir
• las actividades,
• los resultados inmediatos en los beneficiarios a los que atiende,
• los resultados en el corto plazo y su impacto,
• considerando las influencias externas relevantes.
El modelo lógico es la base para elaborar una secuencia convincente hacia los resultados esperados de un programa diseñado
para atender a unas necesidades y mostrar cómo se consiguen.
Los modelos lógicos comienzan con una orientación hacia los resultados que se pretenden conseguir, las metas, que son la razón
de los programas en respuesta a unas necesidades valoradas.
Después se diseña el programa y se analizan y concretan los recursos necesarios, junto con las estrategias y actividades para la
consecución de los resultados inmediatos y los efectos que se quieren conseguir con el programa a largo plazo. Las estrategias,
las actividades y los resultados deben estar alineados.
Se tienen en cuenta los factores externos relevantes, que puedan incidir positiva o negativamente en conseguir las metas del
programa. Y recogen información para aportar evidencias sobre todo ello y sobre sus resultados.
Los modelos lógicos son adecuados para la planificación, diseño, gestión y evaluación del programa, y así mismo, para la comu-
nicación de sus resultados, como clave de su éxito y sostenibilidad.
Marco de trabajo del modelo lógico

1. Identificar necesidades
2. Priorizar los problemas
3. Qué resultados se pretenden a corto, a medio y a largo plazo
4. Qué recursos se utilizan
5. Proceso, estrategias eficaces
6. Teorías y creencias que fundamentan las estrategias
7. Todo lo anterios constituye a que logrmos los resultados que nos proponemos.
54
1) Análisis de las necesidades en las situaciones concretas

Priorización consensuada de las necesidades
Las metas necesarias para conseguir atender a las necesidades.
2) Lo que necesitamos (lo que invertimos): distintos recursos materiales y humanos, tiempo, espacio, tecnología, etc.
3) Resultados inmediatos, mientras estamos aplicando el programa, fruto de la recogida de información inmediata. Evalua-
ción de proceso, con fines formativos, de cambio y mejora para ver cómo se está desarrollando y aplicando el programa,
cómo se hace uso de los recursos, si es de un modo eficiente, cómo se están haciendo las cosas.
4) A quienes está alcanzando: alumnos, profesores (todo lo que está en el cuadro)
5) Resultados: a corto plazo (¿estamos viendo mejora?) a medio plazo (¿se está consolidando la mejora?) a largo plazo
(¿están afianzadas las mejoras, se han convertido en hábitos, se han ampliado con otros conocimientos, dónde se ve esa
mejora?)
Todo esto debe estar basado en investigaciones previas, que apoyan la elección de ese programa, el modo que se ha realizado el
análisis de necesidades.
El marco de trabajo de los Modelos Lógicos sirve para señalar los cambios esperados tras la aplicación de un programa y facilita
elaborar los indicadores para la recogida de información para la evaluación.
El modelo lógico es una forma efectiva de asegurar que una estrategia, iniciativa o programa de éxito se utilice y revise regular-
mente durante la vida de duración del programa. Es un documento "vivo”, útil para informar, comunicar, revisar, evaluar. Ayuda
a centrarse en las metas, en las estrategias y en las actividades para su aplicación; y a detectar y corregir posibles lagunas y
deficiencias.
Muestra las relaciones entre los insumos 29del programa, las actividades y los resultados para atender las necesidades. Y los
factores externos que puedan incidir en los procesos y los resultados.
Facilita la comprensión de la teoría que subyace en el programa, ayudando a comprender el programa, mejorar su planificación
y actividades, clarificar sus metas, centrar lo que debe ser evaluado y comunicarlo a los promotores y grupos de interés
29
Insumos = recursos
55
Los modelos lógicos se guían por hipótesis que señalan la dirección del cambio que se pretende y asegurar y comprobar que se
dan los factores que pueden incidir en él:
— «Si los objetivos del programa son realistas y plausibles de conseguir, entonces se conseguirán».
— «Si se cuenta con los recursos necesarios para la aplicación del programa, entonces será más factible que se aplique del modo
adecuado para conseguir los objetivos pretendidos».
— «Si los procesos se realizan de modo que alcancen los objetivos pretendidos en toda su extensión, entonces se asegurará la
consecución de los mismos»
Los resultados pretendidos mediante la aplicación del programa deben comprobarse mediante la comparación con la situación de
partida y lo conseguido.
3. La evaluación del programa
Un programa es un plan intencional y sistemático de acción, específicamente desarrollado para servir a un grupo de metas y
objetivos de calidad, tendentes a resolver una situación problemática o a mejorar una necesidad, dirigido a atender a personas y
grupos en un contexto determinado, debiendo estar fundamentado en teorías y modelos que han demostrado que ayudan a
solucionar determinados problemas mediante los procedimientos que el programa aplica.
El modelo lógico sugiere al evaluador estas tres ideas en relación con el programa:
a) Debe estar escrito en un lenguaje claro, preciso y concreto.
b) Debe contar con los recursos mínimos imprescindibles para su aplicación.
c) Debe centrarse en su aplicación, en las actividades prioritarias para conseguir los resultados clave que pretende conse-
guir.
El conocimiento del programa, sobre teoría de programas, y sobre los contenidos específicos del programa, nos sirve de guía para
explorar cómo se está aplicando y los resultados que consigue, para proceder a su evaluación.
Conocer las necesidades que atiende el programa, sus metas, y valorarlas, es necesario para evaluar la calidad del programa.
Los modelos lógicos sirven al propósito de analizar y valorar la coherencia entre las necesidades del programa, la teoría que lo
fundamenta y el despliegue empírico para conseguir los cambios que pretende a lo largo de un período de tiempo en un contexto
dado (Greene, 2013: 72).
Sirven como estrategia para la comunicación, revisión de los elementos del diseño de la teoría de la acción y las relaciones de
causa y efecto para conseguir los cambios y guiar su evaluación y apoyar las propuestas de mejora.
Se alinean en dos bloques:

1. Lo planeado: Contexto, programa y medios
2. Los resultados pretendidos: Resultados, metas e impacto
Recogiendo información con las metodologías adecuadas se pueden formular hipótesis,
relaciones causa-efecto entre el programa y los resultados que consigue.
La evaluación se configura como un principio activo, dinamizador de la actividad bien hecha, que promueve el análisis sobre la
acción, la reflexión, la autocrítica.
La evaluación continua del programa durante su aplicación, en su función de evaluación formativa, facilita la mejora del diseño
del programa, la adecuación de los recursos necesarios y la planificación y realización de los procesos, así como la información
acerca de las metas conseguidas tras su aplicación.
La evaluación del éxito del programa, de sus logros, o evaluación sumativa, descansa sobre el diseño claro del propio programa
y de la concreción de las metas que pretende conseguir para la resolución de las necesidades o problemas a través de los procesos
de su aplicación.
56
Desde la perspectiva de la evaluación, un modelo lógico:

a. Atiende a la elaboración, los objetivos generales del programa y sus teorías subyacentes, su aplicación y los enfoques y
estrategias de evaluación de los resultados y a la forma en que se armonizan con las necesidades .
b. Ayuda a priorizar y a enfocar las cuestiones de interés sobre las que recoge información
c. Asegura la recogida adecuada de los datos de la evaluación, y, tras su análisis y presentación de resultados,
d. Hace recomendaciones informadas sobre las mejoras que necesita incorporar el programa
e. Ayuda a realizar el informe de la evaluación.
Las preguntas de evaluación pueden generarse a partir de LOS MODELOS LÓGICOS, en torno a:
 Si se realizaron adecuadamente los análisis de necesidades y su priorización, (evaluación de contexto, modelo CIPP).
 Si el programa se diseñó de acuerdo con las metas para atender a las necesidades, (evaluación de entrada, modelo
CIPP) (evaluación del programa en sí, Pérez Juste).
 Si el programa se está implementando o se implementó de acuerdo con su planificación, (evaluación del proceso,
modelo CIPP) (2º fase de Pérez Juste).
 Si contó con los recursos mínimos imprescindibles para su aplicación, (evaluación del proceso, modelo CIPP).
 Si hay evidencias de progreso hacia los resultados (evaluación de progreso, resultados inmediatos conseguidos por las
actividades, modelo CIPP).
 Si los objetivos pretendidos por el programa se alcanzan una vez aplicado el programa al final (evaluación de resulta-
dos, modelo CIPP y de Pérez Juste).
 Si los resultados son duraderos en el tipo (evaluación de impacto, modelo CIPP).
9. Importante para el caso práctico. Modelos LOGICOS

Relaciones entre los elementos del programa y su evaluación
57
4. Los criterios de calidad

La calidad de un programa se define por adelantado. Un programa se elabora para atender unas demandas, unas necesidades, y
debe ser diseñado, desde el principio, orientándose a atender esas necesidades, esas demandas, esas expectativas, y debe hacerlo
con calidad.
Calidad se define como cumplimiento de propósito. Es de calidad si ese programa consigue atender a esas necesidades que
pretende cumplir.
Para comprobar que el programa es de calidad, deben recogerse evidencias que muestren su calidad, evidencias centradas en
las características que dice tener, y esas evidencias deben ser recogidas de manera sistemática, teniendo en cuenta todos los
elementos que constituyen el programa y que hacen posible que sea desarrollado, aplicado, orientado a conseguir su propósito,
con metodologías adecuadas, mixtas, con instrumentos válidos, valiosos y fiables, para comprobar la calidad del programa y
orientar las posibles necesidades de mejora.
La evaluación debe centrarse en el programa, -su razón de ser, propósito, diseño, estructura-, su aplicación, y sus resultados. Y
hacer propuestas de mejora fundamentadas en la recogida de evidencias frecuentes, diferenciadas, de calidad.
En el centro de los programas, de las acciones de intervención para conseguir cambios, deben situarse los valores que orientan
las metas a conseguir. La evaluación debe regirse por los mismos criterios fundamentales en relación con las metas y objetivos
que persigue el programa, en coherencia con las necesidades que pretende resolver –su mérito-, sus planes de acción, sus reali-
zaciones y sus resultados y la calidad con la que el programa los consigue –valor.
La afirmación de las metas y de los objetivos proporcionan las cuestiones y el desarrollo de indicadores para realizar la evaluación,
para recoger y aportar información, para validar y mejorar las metas.
Las teorías en las que se fundamentan, ayudará a operativizar los objetivos en tareas y actividades para su aplicación con el fin de
conseguir los resultados, que es la razón de ser del programa.
En los modelos de evaluación de la calidad de los programas y de las organizaciones concurren los objetivos de evaluación para la
mejora, para el desarrollo, y para el aseguramiento de la calidad al servicio de la mejora y del rendimiento de cuentas hacia la
sociedad, basados en la confianza mutua y en la transparencia.
5. Las metodologías de investigación a utilizar para la evaluación de programas
Si la puesta en marcha de un programa se caracteriza por un proceso de adaptación a las condiciones reales, necesidades e
intereses, los métodos utilizados para estudiar esa aplicación deben estar orientados a su descubrimiento, tratando de compren-
der los procesos desarrollados y los cambios producidos por el programa.
La elección de los métodos en la investigación científica debe estar guiada por las cuestiones y propósitos que pretende resolver
la investigación. Y es que la evaluación de programas, hecha con rigor, se convierte en investigación evaluativa, en una forma de
investigación aplicada, empírica, realizada de manera sistemática y mediante una cuidadosa recogida de datos y análisis riguro-
sos, cuyo propósito es informar a la acción, apoyar la toma de decisiones y aplicar el conocimiento para resolver problemas
humanos y sociales.
La evaluación de programas utiliza los métodos científicos, -por lo tanto se realiza como investigación evaluativa-, dirigidos a
cuestionar y resolver problemas. Utiliza tanto métodos cuantitativos como cualitativos. Metodologías mixtas, complementarias.
El uso de múltiples métodos de investigación evaluativa está especialmente indicado por su comprehensividad.
5.1. Las metodologías de investigación mixtas para atender la complejidad
Los diseños de la investigación evaluativa combinan metodologías cualitativas y cuantitativas; de ese modo los enfoques de me-
todología mixtos son más comprensivos.
La utilización de diseños de grupo para la evaluación de los resultados de los programas y su impacto, con fines de inferencia
causal generalizada, es uno de los muchos enfoques que han mostrado su utilidad para estudiar los problemas educativos y so-
ciales.
Los interesados en conocer cómo funcionan los programas realizan preguntas complejas, difíciles de contestar con una única
metodología, por lo que se necesitan diseños multi-método y multi-fase, para reunir evidencias significativas para satisfacer las
necesidades de las partes interesadas en los contextos reales donde se desarrollan los programas. Preguntas como la siguientes:
— ¿Qué es lo que funciona en el programa?
— ¿Cuándo y cómo funciona?
— ¿Podemos extender la aplicación de un programa y replicar sus resultados?
— ¿Cuáles son los costos y las consecuencias de los programas alternativos?
58
5.2. La elaboración de instrumentos para la recogida de información

Para la recogida de información deberemos elaborar indicadores representativos del programa, de las estrategias y actividades
diseñadas para su aplicación, de su funcionamiento y de los resultados que pretende conseguir. La elaboración de instrumentos
para la recogida de información en la evaluación de programas, supone conocer:
— Los principios psicopedagógicos del programa y las teorías de aprendizaje subyacentes.
— El plan para su aplicación en su contexto.
— Las metodologías de enseñanza y aprendizaje que utiliza y las actividades para su desarrollo del programa, y su comprobación.
— Los rendimientos conseguidos en relación con los objetivos del programa de estudio.
— Las características del contexto en el que se desarrolla.
— El clima social que generan sus miembros.
— La satisfacción de los usuarios (los profesores, los alumnos, los padres y la comunidad del entorno próximo).
— El impacto que generan los resultados del programa en el medio y largo plazo y su alcance.
La información recogida mediante indicadores de comprobación del programa, basada en hechos y datos reales, una vez anali-
zada e interpretada, será útil para informar a todos los que tienen derecho a saber acerca de cómo ha trabajado el programa:
✓ si se ha aplicado de acuerdo con el plan previsto
✓ los resultados que ha conseguido en relación con las metas pretendidas
Además de la comprobación de la adecuación del programa en sí, para abordar los problemas que pretende resolver, es impor-
tante realizar la función de seguimiento de la aplicación del programa, o monitoreo, teniendo por objeto resolver dos interrogan-
tes principales:
 si el programa alcanza o no a la población objeto adecuadamente;
 si la realización de los procesos es congruente o no con las especificaciones de los objetivos y del diseño del programa
10. La elaboración de los informes de la evaluación de programas
La finalidad de los informes es comunicar los resultados de la evaluación del programa.
La información evaluativa debe aportar conocimiento, enseñanza, sobre los problemas sociales y sus concepciones y sobre la
teoría implícita de los programas para ayudar a solucionarlos:
— Las cuestiones que han aconsejado la evaluación.
— Los procesos seguidos para realizar la evaluación.
— Las fuentes de donde toman sus datos en los diferentes momentos de la evaluación.
— Los métodos, técnicas e instrumentos utilizados, de acuerdo con el objetivo y la dimensión a evaluar.
— Los criterios con los que se comparan los programas, su funcionamiento y sus resultados.
— Los criterios en los que se basa que llevan a emitir los juicios valorativos sobre el programa, su implementación y sus logros.
— Las recomendaciones que se derivan de la evaluación.
— El plan para incorporar las recomendaciones al programa y las indicaciones para el seguimiento de su puesta en práctica.
El informe para la comunicación de los resultados del programa debe facilitar la comprensión del funcionamiento del mismo,
siendo esto clave para el aprovechamiento de sus resultados para la mejora de los programas y para lograr apoyos de las auto-
ridades para su continuidad, en su función de evaluación como rendimiento de cuentas.
Es importante que se realice la diseminación de los resultados para ayudar a otros grupos o poblaciones y contextos con similares
necesidades y problemática.
En la valoración de sus resultados siempre se debe considerar su entorno, sus recursos, las personas implicadas, los que aplican
el programa y sus beneficiarios, los resultados, en el inmediato, medio y largo plazo, su alcance e impacto.
Es importante que se publiquen los informes de la evaluación para ayudar a otros grupos que quieren intervenir sobre grupos,
problemática y contextos similares, a solucionarlas.
59
La recogida de información en la evaluación de programas
La propia evaluación debe ser evaluada interna y externamente mediante su comparación a través de normas para que su
realización sea apropiadamente guiada y los interesados puedan examinar sus fortalezas y debilidades rigurosamente.
El objetivo de la meta-evaluación es asegurar la calidad de los servicios evaluativos, evitar enfrentarse a prácticas ilegales o a
servicios que no son de interés público, señalar el camino para el perfeccionamiento de la profesión y promover una mayor
comprensión de la profesión evaluativa. La meta-evaluación debería ser utilizada por todos los profesionales, con el fin de ase-
gurar la calidad y honradez, precisión y veracidad del trabajo de evaluación realizado, y debe reflejarse en sus informes.
Junto con los resultados inmediatos, debemos considerar los resultados en el medio y largo plazo, , atribuibles a los efectos del
programa, conocidos como impacto. El impacto de un programa tiene que ver con los resultados alcanzados por dicho programa,
y dependerán de todo lo que le precede: las necesidades o problema a resolver, el programa diseñado para resolverlos, sus
recursos, su aplicación y sus resultados.
60
Compromiso con el rigor y la responsabilidad en la investigación evaluativa

La investigación evaluativa debe ser realizada con:
- Normas de exactitud: con rigor y métodos de investigación adecuados
- Normas de utilidad y de propiedad: con sentido de la responsabilidad y servicio hacia los futuros usuarios de la información
- Normas de responsabilidad ante la sociedad.
11. Utilización de los resultados de la evaluación
Los resultados de las evaluaciones tienen como finalidad contribuir a la toma de decisiones de cambio y mejora de los programas,
de la organización en la que se desarrolla, del personal que los aplica y de los que se benefician de ellos. Pero sólo repercutirá en
el proceso de toma de decisiones si resulta una información convincente, coherente, adecuada al problema que pretende resol-
ver y al contexto y oportuna, debiendo tener en cuenta los recursos necesarios para poder llevar a cabo las reformas del programa
y los cambios organizativos y formativos que de los resultados de la evaluación se deriven.
Los resultados de las evaluaciones sistemáticas, hechas con rigor y fundamentadas en la teoría y en la metodología, tienen reper-
cusiones de tipo conceptual, persuasiva e instrumental:
 La repercusión conceptual hace referencia al poder de las evaluaciones para influir en el pensamiento de los que deben
utilizar sus conclusiones.
 La utilidad persuasiva de los hallazgos de la evaluación tiene que ver con los argumentos utilizados en la exposición de
los resultados, con un claro esfuerzo por defender su utilidad y las ventajas que ello supone para la comunidad.
 La utilidad instrumental de los resultados de una evaluación tiene que ver con cómo el evaluador debe presentar el
informe de los resultados acorde con los estilos cognitivos de los que toman las decisiones.
12. Estructura del informe de evaluación
Portada: Título/ autor/ fecha

Índice paginado. Resumen del trabajo. Palabras claves. Y en inglés.
1. Introducción
Motivaciones argumentadas sobre la elección del programa a evaluar
2. El programa a evaluar
Fundamentación del programa. Sus objetivos. Contenidos, actividades. Duración.
Organización en la que se aplica. Recursos. Personas que lo aplican. Beneficiarios.
3. La evaluación del programa
Justificación del modelo de evaluación de programas a utilizar, fines, objetivos, fases o momentos, procedimientos. Utilización
del diagrama del modelo lógico.
Criterios de evaluación. Estándares para cada momento.
Metodologías de investigación y técnicas de recogida y análisis de la información. Elaboración del cuestionario. Validación por
expertos, compañeros.
Presentación del cuestionario definitivo. Aplicación del cuestionario. Personas a quienes se aplica
Análisis de los datos
4. Resultados y propuestas de mejora
Presentación de resultados. Tablas de datos y gráficos.
Discusión y Conclusiones.
Significado de la evaluación. Valoración de los resultados contextualizados.
Propuestas de mejora de la calidad del programa, sus recursos y sus resultados.
5. Aplicación de los estándares del Joint CommiUee a la evaluación del programa
Comentarios sobre los estándares aplicados y grado de cumplimiento en la evaluación del programa
6. Bibliografía
Siguiendo normas APA hpp://www.apastyle.org
7. Anexos
61

1. Los modelos lógicos son la esencia de la:
a. Planificación de la evaluación de programas.
b. Evaluación de los resultados.
c. Respuesta a unas necesidades valoradas
2. Los modelos lógicos muestran gráficamente los vínculos entre:
a. Las metas a conseguir en el corto, medio y largo plazo y los grupos a los que se dirige.
b. Los recursos y las metas a conseguir.
c. Las necesidades y las metas.
3. El uso de múltiples métodos en investigación evaluativa está especialmente indicado por:
a. Su comprehensividad.
b. Ser holístico.
c. Su flexibilidad
4. El marco de trabajo de los Modelos Lógicos sirve, entre otras cosas, para:
a. Mejorar los contextos en la comunidad.
b. Señalar los cambios esperados tras la aplicación de un programa
c. Guiar las decisiones de los grupos para la mejora.
5. Los Modelos Lógicos para la evaluación de un programa indicen en:
a. Los contextos y sus prioridades.
b. Los indicadores para la recogida de información para la evaluación.
c. Las relaciones entre las necesidades, metas y los resultados.
6. El marco de trabajo de los Modelos Lógicos facilita:
a. Asegurar los medios, las metas y su información.
b. Elaborar los indicadores para la recogida de información para la evaluación.
c. Gestionar la colaboración entre los distintos agentes.
7. El modelo lógico facilita:
a. Los medios, las metas y su información.
b. La concreción de los indicadores para la recogida de información para la evaluación.
c. La relación entre los distintos agentes
8. La evaluación de un programa mediante los Modelos Lógicos incide en las relaciones entre:
a. Las necesidades, los programas, su aplicación y los resultados.
b. Los medios, las estrategias y los objetivos.
c. Los informantes clave, los recursos y los resultados
9. Los modelos lógicos ayudan a:
a. Formular las preguntas y las metas.
b. Guiar a los responsables del programa.
c. Alinear estrategias, actividades y resultados.
62
TEMA 6: Las normas de calidad del Comité Conjunto para la evaluación de programas educativos
1. Introducción
El boom de la evaluación de programas fue en la década de los 60-70 para mejorar la educación, los programas y la metodología,
para informar de la calidad de los programas.
Los estándares de calidad para la evaluación de programas educativos forman parte de un proyecto dirigido por Stufflebeam
como coordinador del Joint Committee para el desarrollo de estándares para la evaluación de programas que se inició en 1975.
Representa una de las asociaciones más importante de profesionales en la calidad de la evaluación educativa en EEUU y en
Canadá.
Su objetivo es guiar las evaluaciones de programas para asegurar que éstas sean útiles, factibles, éticas, precisas y responsa-
bles30, y desaconsejar su evaluación si no cumplían con estos cinco criterios de calidad de las evaluaciones. En la actualidad, con
la tercera edición del las normas del Joint Committee, se ha añadido un quinto criterio relacionado con la responsabilidad de la
calidad de las evaluaciones, destacando la metaevaluación.
Las normas del Joint Committe están fundamentadas, consensuadas por expertos (metodológicos, teóricos, etc.) con la finalidad
de que sirvan de ayuda a los prácticos (profesores) de la evaluación de programas educativos, siempre con la colaboración de
los expertos, para realizar evaluaciones con garantías de calidad.
Además de su objetivo para la evaluación, los estándares guían el diseño y aplicación de los programas, formando parte de un
proceso continuo de diseño, aplicación, evaluación y mejora de los programas y mejora de la evaluación.
Es decir la finalidad de las normas del Joint Committee es guiar a los evaluadores a planificar y realizar una evaluación de calidad
Stufflebeam se cuestionaba si:
- los programas estaban bien fundamentados
- la evaluación estaba hecha de modo adecuado
- las metodologías eran adecuadas
Las normas del Joint Committee clarifican que las evaluaciones pueden ser realizadas a programas en funcionamiento, institucio-
nes o áreas de servicios, o sobre proyectos. En escuelas, universidades, instituciones gubernamentales, sanitarias.
Los informes de la evaluación y de la metaevaluación deberían ser una responsabilidad de los que realizan evaluaciones, tener
una opinión externa y publicarlo. Y esa publicación sirve de aprendizaje para que estos contrasten cómo ha sido evaluado este
programa y cómo se podría evaluar otro similar o no. Las publicaciones también sirven para aprender.
2. Características y conceptos de los estándares para la evaluación de programas
El término inglés «standard» se traduce al español como estándar o norma. El documento del «Joint Committee» clarifica que las
evaluaciones pueden ser realizadas sobre programas ya establecidos en funcionamiento, instituciones o áreas de servicios, o
sobre proyectos. Con posterioridad a su primera edición, se amplió su aplicación a la evaluación de alumnos y profesores.
2.1. Características de las Normas en su tercera edición
Los estándares para la evaluación de programas, en su tercera edición, proporcionan una guía integrada para la evaluación de
programas que potencia el aprendizaje humano y su práctica a lo largo de la vida.
Los estándares se dirigen a servir como:
 Guías para el diseño y realización fundamentados de evaluaciones y promover el uso de los resultados de la evaluación de
modo apropiado.
 Recursos para el aprendizaje de los promotores, concernidos e interesados en los programas y en su evaluación, acerca de
los propósitos para la realización de evaluaciones y qué pueden esperar tras los esfuerzos realizados en la evaluación.
 Marcos de trabajo para realizar metaevaluaciones o valoraciones sobre la calidad de las prácticas evaluativas en determina-
dos proyectos y programas.
 Recursos para el desarrollo de propuestas para la evaluación de programas en desarrollo o nuevos programas y proyectos.
 Guía de criterios para la evaluación de los conocimientos del evaluador y de su credibilidad.
30
Útiles: que sirvan, aportar información que sea provechosa
Factibles o viables: que se puedan realizar con el conocimiento y apoyo de todos
Éticas: legal, respeto a los DDHH, claridad de información, uso que se va a dar a la información
Precisas: diseños fundamentados, instrumentos fiables, validos, representativos
Responsables: informar a todos los que tienen dcho a saber. Publicar resultados de manera clara fundamentada y transparente.
63
La tercera edición de las normas del Joint Committee on Standards for Educational Evaluation (Programs, Projects and Materials)
(JCSEE, 2010) , señala la importancia de la implicación de los interesados, con la finalidad de:
• Conseguir que las evaluaciones de los programas tengan mayor utilidad y mejor y mayor impacto sobre la viabilidad de las
evaluaciones y la precisión de la información recogida. Para que sus resultados sean aprovechables, con la colaboración de todos
(aportación sincera en las entrevistas, cuestionarios)
• Destacar el papel esencial de las normas, en la evaluación de la responsabilidad –accountability- la transparencia e información
a todos los interesados y a quienes tengan derecho a saber.
Incide en la importancia de la comunicación -comenzando por el plan de evaluación-, necesaria para afrontar los conflictos de
intereses, la protección de datos, el respeto a los derechos humanos, la selección y recogida de datos y la planificación y realización
de las evaluaciones. Si vamos a evaluar un programa con el objetivo de mejora pero no está claro que a informar a las sociedad
de forma transparente, tenemos que informar de forma clara a todos los implicados que lo sepan.
Enfatiza en la necesidad de mejorar y asegurar la responsabilidad de las evaluaciones mediante la metaevaluación sistemática,
a través del criterio de la responsabilidad en la evaluación. Hay un grupo de expertos que van a supervisar cómo se tiene plani-
ficada la evaluación, cómo se ha hecho la evaluación, qué instrumentos se ha utilizado.
La evaluación de programas debe atender el derecho a la información de todos los implicados.
La tercera edición de las normas introduce importantes cambios. Por una parte, las normas de utilidad, viabilidad, propiedad o
adecuación y exactitud se mantienen:
1º Se le concede mayor importancia a la implicación de los interesados, no solo para conseguir que las evaluaciones de los
programas sean de mayor utilidad y tengan un mayor impacto sobre la viabilidad y la exactitud o precisión de las evaluacio-
nes, si no, también, por su papel esencial en la evaluación de la responsabilidad —accountability, la transparencia e informa-
ción a todos los interesados y a quien tenga derecho a saber.
2º Se incide en la importancia de la comunicación de alta calidad, comenzando por el plan de evaluación, es necesaria para
afrontar los conflictos de intereses, el respeto a los derechos humanos, la selección y recogida de datos y la planificación y
realización de las evaluaciones de calidad.
3º Se enfatiza la necesidad de mejorar y asegurar la responsabilidad de las evaluaciones mediante la metaevaluación sistemá-
tica. En esta nueva edición se incorpora un nuevo atributo, la responsabilidad en la evaluación. Las normas señalan explícita-
mente que las evaluaciones sean metaevaluadas para la mejora de la evaluación y con propósitos de responsabilidad o
rendición de cuentas.
2.2. Los responsables de los programas en los centros educativos
Los grupos implicados en los programas y en sus evaluaciones juegan importantes funciones en la evaluación. Algunos roles:
 Propuesta del grupo de revisores, evaluadores y programas a evaluar en una organización, dependiendo de sus necesidades
de evaluación, en su desarrollo y en sus resultados e impacto.
 Búsqueda de financiación para la evaluación de programas.
 Propuesta de audiencias que deben estar informadas de la evaluación del programa y sus resultados.
 Propuesta de los evaluadores, con experiencia profesional.
 Propuesta de responsables en el diseño y en la evaluación de programas para elaborar el plan de evaluación y concretar sus
propósitos, metas, objetivos.
 Propuesta de metaevaluadores: los que evalúan las evaluaciones del programa utilizando estos u otros estándares.
2.3. Conceptos y definiciones sobre los estándares para la evaluación de programas.
2.3.1. Estándar
El estándar es una norma consensuada que sirve como guía o referencia. Un principio acordado por gente comprometida en una
práctica profesional, que, aunque la conocen, mejorarán la calidad y claridad de esa práctica profesional al aplicar los estándares.
La RAE, lo define como: que sirve de modelo, norma, patrón, referencia.
En la edición del 2011 de las Normas, la palabra «estándar» es utilizada con dos características clave:
 En el sentido de identificar y definir una evaluación de calidad y guiar a los evaluadores y usuarios de la evaluación en
conseguir realizar una evaluación de calidad, de acuerdo con las normas, y también para comprobar cómo han sido
realizadas las evaluaciones.
 Indica que no son leyes, sino acuerdos desarrollados mediante el consenso, siguiendo los procedimientos de la American
National Standards Institute (ANSI).
64
Las normas no especifican los procedimientos exactos a seguir en las diversas situaciones en las que pueden aplicarse, debido a
que dependen de las elecciones individuales atendiendo a las situaciones específicas.
2.3.2. Programa Educativo y Proyecto Educativo
Programa educativo: Entendemos por programa un documento técnico, elaborado por personal especializado, expresamente
desarrollado para servir a un grupo de metas y objetivos de calidad, que incluyen unos objetivos, contenidos, procedimientos,
actividades, que necesita de personal especializado para impartirlo, y de recursos de apoyo, y sistema de evaluación inicial31,
procesual 32y final33, dirigido a atender a personas y grupos en un contexto determinado, debiendo estar fundamentado en teo-
rías y modelos que han demostrado que ayudan a solucionar determinados problemas similares mediante los procedimientos
que el programa aplica.
Los programas, contienen múltiples componentes, siendo cada componente objeto de evaluación en sí mismo, como:
• Las necesidades de los programas.
• Las metas y objetivos.
• Las concepciones y las teorías del programa.
• Los contextos y sus interacciones con los programas.
• Los participantes y otros beneficiarios.
• Los recursos y costes de todo tipo, incluyendo los de personal.
• Las actividades, los procedimientos.
• Los rendimientos, los resultados, los beneficios, los logros y los impactos.
Proyecto educativo: puede proporcionar un marco de trabajo para los programas, y no al revés.
Programa educativo: Actividades educativas que se dan de una manera continuada. Contienen múltiples componentes, siendo
cada componente objeto de evaluación en sí mismo:
2.3.3. Audiencia
Individuos o grupos que están concernidos con la evaluación y pueden ser los responsables de los programas, o quienes los
aplican, o estar afectados por una evaluación de programa.
2.3.4. Evaluación de Programas (o cualquier objeto de evaluación)
Es una investigación sistemática de la calidad de los programas, subprogramas y cualquiera de sus componentes o elementos,
juntos o de modo parcial.
Se realiza con propósitos de toma de decisiones, aportando juicios, conclusiones, nuevos conocimientos, para el desarrollo or-
ganizacional y para dar respuestas a las necesidades identificadas por las personas implicadas en los programas.
Tiene como finalidad la mejora y el rendimiento de cuentas de los programas ante la sociedad.
La evaluación de programas utiliza todas las metodologías de la investigación de las ciencias sociales al servicio de la mejora de
los programas y del cuerpo social en el que los programas se desarrollan. Las evaluaciones de programas ayudan a aquéllos que
necesitan resolver cuestiones sobre cómo trabajan determinados programas y sus diferentes elementos o componentes.
La evaluación de los programas y proyectos debe documentarse y evaluarse de modo que puedan mejorar y servir a la transpa-
rencia y responsabilidad. La evaluación acerca de la calidad de las evaluaciones es nombrada como meta-evaluación34.
31
Evaluación inicial: conocer el punto de partida
32
Evaluación procesual: formativa
33
Evaluación final: sumativa, de resultados
34
Metaevaluación: al ser posible realizada por evaluadores externos a la propia evaluación.
65
3. Las Normas para la evaluación de programas del Joint Committee

Las normas, en un total de 30, se agrupan en torno a cinco categorías, dimensiones o atributos relacionados con la: •
o Utilidad, referida a la información que aporte la evaluación, que debe ser útil y valiosa. Debe ser presentada a tiempo
o Viabilidad, referida a que la evaluación se realice de manera eficiente y efectiva, sin causar más problemas que beneficios,
gestionada por procesos 35con objetivos claros y viables. Con un buen uso de los materiales.
o Honradez o Adecuación, para que las evaluaciones sean conducidas legal y éticamente, basadas en compromisos explícitos,
que aseguren la cooperación, protección de los grupos implicados y la honestidad de los resultados. Los evaluadores se com-
portan con respeto ante las normas.
o Precisión o Exactitud, relacionada con el rigor metodológico, para aumentar la fiabilidad y veracidad de los resultados de la
evaluación, de sus proposiciones y procedimientos, la coherencia de sus conclusiones y la comunicación de sus hallazgos,
especialmente los que apoyan las interpretaciones y los juicios.
o Responsabilidad, para evaluar la calidad de los resultados, desde el equilibrio entre la utilidad, la viabilidad, la adecuación y
la precisión, documentando los propósitos negociados y los diseños, los procedimientos, datos y resultados. Y la utilización
de las normas para metaevaluación interna y externa. Se ha de realizar un informe completo con propuestas de mejora.
El «Joint Committee» reconoce y advierte, que los estándares no son igualmente aplicables en todas las evaluaciones. Depen-
diendo del juicio del profesional de la evaluación, se identificarán aquellos que sean más convenientes de aplicar en cada situación.
3.1. Normas de Utilidad
Las normas de utilidad pretenden que la evaluación sea valiosa y satisfaga las necesidades de información práctica, centrada en
cuestiones importantes, sea oportuna e influya en la mejora.
La utilidad está respaldada por ocho estándares:
✓ U1. Credibilidad del evaluador. Las evaluaciones deben ser realizadas por personas cualificadas para establecer y mantener
la credibilidad en el contexto de evaluación.
✓ U2. Atención a las audiencias. Las evaluaciones deben atender a las diferentes personas y grupos que participan o son in-
vestigados en el programa y afectados por la evaluación.
✓ U3. Fines negociados. Los fines de la evaluación deben ser identificados y continuamente negociados basándose en las ne-
cesidades de las audiencias.
✓ U4. Valores explícitos. Las evaluaciones deben aclarar y especificar los valores individuales y culturales que sustentan los
propósitos, los procesos y los juicios.
✓ U5. Información relevante. La información de la evaluación debe servir a las necesidades identificadas y emergentes de las
partes interesadas.
✓ U6. Procesos y productos significativos. Las evaluaciones deben construir las actividades, descripciones y juicios de manera
que anime a los participantes a redescubrir, reinterpretar o revisar sus interpretaciones, conocimientos y comportamientos.
✓ U7. Oportuna y adecuada comunicación y presentación de los informes. Las evaluaciones deben atender a las necesidades
de información continua de sus múltiples audiencias. Y que se entregue a tiempo
✓ U8. Preocupación por las consecuencias y la influencia. Las evaluaciones deben promover el uso responsable y adaptado de
los resultados de la evaluación tomando medidas de protección ante las consecuencias negativas del posible uso indebido
y/o alguna perdida no intencionada.
3.2. Normas de viabilidad y factibilidad
Las normas de viabilidad o factibilidad están dirigidas a incrementar la efectividad y eficiencia de la evaluación.
Una evaluación debe estar diseñada y conducida de tal modo que sea realista, prudente, diplomática, ajustada y frugal en rela-
ción con el coste-beneficio.
La factibilidad es apoyada por cuatro estándares.
✓ F1. Gestión de proyectos. Las evaluaciones deben utilizar estrategias efectivas de gestión de proyectos, con objetivos y tiem-
pos definidos.
✓ F2. Procedimientos prácticos. Los procedimientos de la evaluación deben ser prácticos y sensibles a la forma en que funciona
el programa.
✓ F3. Viabilidad contextual. Las evaluaciones deben reconocer, controlar y equilibrar los intereses culturales y políticos y las
necesidades de los individuos y de los grupos.
✓ F4. Uso de recursos. Las evaluaciones deben utilizar los recursos de manera eficaz y eficiente.
35
Gestión por procesos:¿Cuándo empezamos y cuándo terminamos?¿Qué hacemos al inicio, durante y al final?
66
3.3. Normas de probidad o adecuación legal y ética

Probidad tiene que ver con las preocupaciones morales, éticas y legales relacionadas con la calidad de la evaluación. Una eva-
luación debe asegurar que es conducida de modo legal y éticamente, basada en compromisos explícitos, que aseguren la nece-
saria cooperación, la protección de los grupos implicados y la honestidad de los resultados. Está respaldada por siete estándares:
✓ P1. Orientación de confianza e integradora. Las evaluaciones deben responder a los interesados y sus comunidades.
✓ P2. Acuerdos formales. Deben ser negociados para hacer explícitas las obligaciones y tener en cuenta las necesidades, ex-
pectativas y contextos culturales de los clientes y otros grupos interesados.
✓ P3. Derechos humanos y respeto. Las evaluaciones deben ser diseñadas y realizadas para proteger los derechos humanos y
legales y mantener la dignidad de los participantes y de las audiencias (los interesados).
✓ P4. Claridad y equidad. Las evaluaciones deben ser comprensibles y justas para atender las necesidades y fines de los intere-
sados.
✓ P5. Transparencia y divulgación. Las evaluaciones deben facilitar una descripción completa de los objetivos, las limitaciones
y las conclusiones a todos los interesados.
✓ P6. Conflictos de intereses. Las evaluaciones deben ser abiertas y honestamente identificar y abordar los conflictos de in-
tereses reales o percibidos que puedan comprometer la evaluación.
✓ P7. Responsabilidad fiscal. Las evaluaciones deben calcular todos los recursos asignados y cumplir con los procedimientos y
procesos fiscales.
3.4. Normas de precisión o exactitud
Las normas de exactitud están destinadas a aumentar la fiabilidad y veracidad de la evaluación, de sus proposiciones y hallazgos,
especialmente aquellos que apoyan las interpretaciones y los juicios sobre la calidad. Se preocupan de cómo garantizar la precisión
de los resultados, la fiabilidad, validez y reducción del error y sesgo. Tratan la calidad en la recogida de datos, su análisis, lógica
y coherencia, sus conclusiones y la comunicación de sus procedimientos y hallazgos.
Están respaldadas por ocho estándares:
✓ A1. Conclusiones y decisiones justificadas. Deben estar justificadas explícitamente en las culturas y contextos en los que
tienen consecuencias.
✓ A2. Información válida. La información de la evaluación debe responder a los fines previstos y ser la base de interpretaciones
válidas.
✓ A3. información fiable. Los procedimientos de evaluación deben proporcionar información lo suficientemente confiable y
consistente para los usos previstos.
✓ A4. Descripciones explícitas del programa y del contexto. Las evaluaciones deben documentar los programas y sus contextos
con el detalle y amplitud adecuados a los propósitos de evaluación.
✓ A5. Gestión de la Información. Uso de métodos sistemáticos de recogida, revisión, verificación y almacenamiento de la
información.
✓ A6. Diseños y análisis adecuados. Uso de diseños y análisis técnicamente adecuados y que sean apropiados para los fines
de la evaluación.
✓ A7. Razonamiento explícito de la evaluación. El razonamiento de la evaluación que desde la información recogida y su análisis
conduce a los resultados, las interpretaciones, las conclusiones y los juicios debe ser claramente y completamente docu-
mentado.
✓ A8. Comunicación y presentación de los informes. Las comunicaciones de la evaluación deben tener la perspectiva adecuada
y protegerse contra los conceptos erróneos, los prejuicios, las distorsiones y los errores.
3.5. Normas de responsabilidad de la evaluación
La responsabilidad de la evaluación se centra en la calidad de la evaluación como resultado del equilibrio entre los atributos de
utilidad, viabilidad, legitimidad y exactitud.
La responsabilidad de la evaluación introduce tres nuevas normas, pero también está respaldada por las 27 normas específicas
de utilidad, factibilidad, propiedad y exactitud.
✓ E1. Documentación de la evaluación. Las evaluaciones deberán documentar plenamente sus propósitos negociados y los
diseños, procedimientos, datos y resultados aplicados.
✓ E2. Metaevaluación interna. Los evaluadores deben utilizar estas y otras normas aplicables para rendir cuentas del diseño,
los procedimientos empleados, la información recopilada y los resultados obtenidos de la evaluación.
✓ E3. Metaevaluación externa. Los patrocinadores, los clientes, los evaluadores y otras partes interesadas en la evaluación del
programa deberían alentar la realización de metaevaluaciones externas usando estas y otras normas aplicables.
67
El objetivo de la metaevaluación es asegurar la calidad de los servicios evaluativos, evitar enfrentarse a prácticas ilegales o a
servicios que no son de interés público, señalar el camino para el perfeccionamiento de la profesión y promover una mayor
comprensión de la empresa evaluativa. (Stufflebeam)
4. Utilización de las Normas del Joint Committee para el desarrollo de los programas, de su evaluación y de su responsabilidad
pública
Todos los atributos de calidad y sus estándares deben ser utilizados de modo efectivo, adaptativo, sensible y con significado de
su utilización.
Los evaluadores, mediante un uso responsable en la aplicación de normas, pueden incrementar su calidad si:
 Se comunican con sus clientes, y juntos valoran si el programa es evaluable.
 Informan a sus clientes acerca de si se puede o no hacer una evaluación.
 Identifican e interactúan con los implicados.
 Planifican la evaluación, con frecuencia, con los implicados y posibles beneficiarios de la evaluación.
 Organizan la realización de la evaluación, incluyendo la recogida de información y su análisis, su comunicación e informes y
seguimiento de los hallazgos.
 Investigan, documentan y mejoran la calidad de la evaluación y la información de la misma para el rendimiento de cuentas
a través de la realización de la metaevaluación.
 Realizan y difunden informes sobre las evaluaciones y el uso apropiado de las mismas.
La orientación hacia el uso responsable de los estándares de calidad debe orientar, tanto el diseño de los programas, su aplicación
y sus resultados, como realización de la evaluación de todo ello. Desde:
• El alineamiento de 1) las especificaciones del programa para atender las necesidades junto con las estrategias y recursos para
su aplicación, con 2) su aplicación mediante los procesos necesarios para ello y con 3) los resultados conseguidos para atender
las necesidades. Todo esto referido al programa
Especificaciones para atender necesidades (estrategias, recursos) + Aplicación (procesos necesarios) + Resultados conseguidos
• El alineamiento entre 1) los objetivos e intenciones para realizar la evaluación del programa y su comunicación de modo trans-
parente y con respeto a los diferentes grupos implicados, 2) la realización de la evaluación, de modo riguroso, con la colaboración
de los implicados, con adecuación ética y legal, 3) la comunicación de los resultados y propuestas de mejora, con orientaciones
para la incorporación de las mejoras y su puesta en práctica y su seguimiento, y 4) el aseguramiento de su calidad mediante la
metaevaluación. Y su publicación. Todo esto referido a la evaluación de programas
Objetivos e intenciones para la evaluación + Realización de la evaluación + Comunicación de resultados + Asegurar la calidad y
publicarlo
 El uso adecuado de los recursos.
 La realización efectiva de las metas pretendidas de acuerdo con las necesidades de los beneficiarios del programa.
 Todas las consideraciones de adecuación ética y legal.
 Investigar sobre la mejora de las necesidades.
 Responsabilizarse de aplicar las mejoras paso a paso.
 El alineamiento de las especificaciones para atender a las necesidades, los procesos necesarios para ello y los resultados
para atender las necesidades
5. Listas de control de las Normas para la comprobación de su aplicación en la evaluación de programas
La utilización de la lista de control para la comprobación de la aplicación de los estándares requiere que se dé una explicación del
por qué una determinada norma no ha sido aplicada. El estándar puede recibir la valoración de 1 a 4, de acuerdo con el siguiente
significado:
1. El estándar no era aplicable.
2. El estándar no se utilizó.
3. El estándar se utilizó parcialmente.
4. El estándar se utilizó.
68
69
6. A modo de síntesis
Las normas del JCSEE aportan criterios a tener en cuenta para la realización de evaluaciones y su valoración.
Su aplicación pretende asegurar una evaluación:
– Integral, que afecta a la organización y a las personas implicadas en el programa, desde sus metas y objetivos, hasta la planifi-
cación, estrategias, secuenciación y recursos para conseguirlos, los resultados y sus conclusiones y valoraciones.
– Sistemática, estructurada siguiendo un plan consensuado, asegurando la objetividad y honradez de los resultados.
– Innovadora, que permite ir comprobando el progreso, así como los elementos que inciden en la mejora continua del programa.
– Para la mejora, que al ser exacta, por fundamentarse en evidencias contrastadas, permite establecer planes de mejora a corto
y medio plazo y la valoración progresiva de los avances.
– Comprometida con la responsabilidad, que al comunicar con exactitud sus hallazgos, contribuye a la mejora de los programas,
de su evaluación y a la formación de la comunidad.
70

1. Las evaluaciones de los programas deben:
a. Beneficiar a los que encargan la evaluación.
b. Atender el derecho a la información de todos los implicados.
c. Garantizar las expectativas de los clientes
2. La finalidad de los estándares del Joint Committee es:
a. Formar a los evaluadores.
b. Guiar la realización de las evaluaciones.
c. Mejorar la calidad de los programas.
3. La finalidad de las normas del Joint Committee para la evaluación de programas es:
a. Orientar a los responsables de los programas para la mejora continua de los mismos.
b. Guiar a los evaluadores para realizar una evaluación de calidad.
c. Asegurar que los programas se aplican de acuerdo con el plan previsto
4. La finalidad de las normas del Joint Committee para la evaluación de programas es:
a. Guiar a los evaluadores a planificar y a realizar las evaluaciones.
b. Informar de los resultados de las evaluaciones de programas.
c. Velar por que las evaluaciones sean hechas atendiendo a las necesidades de los patrocinadores.
5. La tercera edición de las normas de Joint Committee introducen un nuevo grupo sobre:
a. La viabilidad de las evaluaciones.
b. La responsabilidad en la evaluación.
c. La comunicación de la información.
6. Una de las normas de Honradez o Legitimidad del Joint Committee:
a. Diseño y análisis adecuados.
b. Transparencia y divulgación.
c. Información relevante.
7. Una de las normas de utilidad del Joint Committee es:
a. Documentación de la evaluación.
b. Credibilidad del evaluador.
c. Viabilidad contextual.
b. Preocupación por las consecuencias y la influencia.
c. Gestión por proyectos.
b. Oportuna y adecuada comunicación y presentación de los informes.
c. Metaevaluación interna
10. Una de las normas de Precisión del Joint Committee es:
a. Procedimientos prácticos.
b. Conclusiones y decisiones justificadas.
c. Comunicación en los participantes.
11. Una de las normas de viabilidad del Joint Commitee es:
b. Preocupación por las consecuencias y la influencia. C
12. Una de las normas de precisión del Joint Committee es:
b. Conclusiones y decisiones justificadas
c. Transparencia y divulgación.
71
TEMA 7: Técnicas e instrumentos para la recogida de información en la evaluación de programas

1. ¿Cómo garantizar la calidad en los programas?
La calidad hay que prevenirla desde el principio, hay que anticiparla ¿Cómo se garantiza la calidad en los programas? Deben ser
expertos para ofrecer productos y servicios de calidad. Normalmente los programas que se imparten en los centros educativos,
vienen dados, elaborados por los organismos responsables de la educación (expertos) que conocen las necesidades sociales, de
formación de los ciudadanos para cada etapa formativa. Conocen las necesidades, planifican los programas, conocen cuales son
los mejores recursos y la mejor capacitación del profesorado para garantizar que ese programa vaya a conseguir los resultados,
las metas pretendidas, que se va a desarrollar de un modo eficaz, de un modo adecuado a las necesidades, de un modo eficiente
los recursos, a tiempo. Es decir, los programas deben garantizar que esa calidad se cumple y en el grado en el que se cumple
(criterios de calidad).
Los programas de educación vienen dados por expertos, por lo tanto, confiamos que están bien hechos y podemos tener interés
si en nuestro contexto se consiguen los mejores resultados y a qué puede deberse si no se consiguen (dificultades del contexto,
nivel de partida del alumnado, dificultades de recursos, del profesorado). Luego, también, esos programas son receptivos de
evaluación y de cuestionamiento y de propuestas de mejora. Pero cuando surgen necesidades nuevas (conflictos en alumnos,
mejoras en el aprendizaje) tenemos que diseñar nosotros mismos los programas. Y aquí mayor atención en saber si el programa
está bien diseñado, porque ya no nos viene dado por expertos. Aquí es donde va a entrar la actividad de los evaluadores de
programas, formando equipo (pedagogos, metodólogos, expertos en asignaturas, etc.) para diseñar bien el programa, garantizar
que está bien diseñado y valorar cómo se aplica y que resultados consigue.
Cualquier modelo de evaluación tiene dos finalidades:
- Una proactiva: conocer el programa antes de aplicarlo y todos los recursos, los medios para garantizar que ese programa es
adecuado.
- Una sumativa: al final del programa, ex post facto. Cuando ya se ha aplicado el programa evaluar la calidad.
Y tiene dos momentos:
- Para conseguir que los programas sean de calidad se ha de dar una alineación entre las especificaciones del programa para
atender a las necesidades, junto con las estrategias y recursos para su aplicación, su aplicación real y los resultados que consigue.
Esto es garantizar la calidad del programa. Se tiene que garantizar antes de que se aplique.
- Se debe dar una alineación entre las intenciones para evaluar la evaluación del programa, comunicándolo a todos los interesa-
dos, la realización de la evaluación del programa de forma rigurosa, con la colaboración e implicación de los implicados y con
respeto a la ética y a la legalidad y finalmente comunicación de los resultados.
Para todo ello es necesario recoger datos.
1. Introducción
Este tema es fundamental para la realización de evaluaciones de programas.
Complementa lo presentado en los temas referidos a los modelos de evaluación de programas, incluido el referido a los procedi-
mientos para la evaluación de programas siguiendo los modelos lógicos.
Las técnicas e instrumentos de recogida de información y datos son necesarios en la evaluación de programas, para:
• Evaluar necesidades
• Conocer las condiciones de las personas en sus contextos y
• Valorar los diseños de las intervenciones, su aplicación y sus resultados.
Las técnicas e instrumentos de recogida de información y datos son necesarios para:
• Analizar, valorar, evaluar las necesidades en los contextos.
• Priorizar las necesidades para su intervención.
• Analizar las propuestas de intervención para atender las necesidades.
• Planificar las propuestas, las personas, las acciones, los recursos,
• Aplicar de los programas, sus intervenciones.
• Valorar los diseños de las intervenciones en sus contextos y en los grupos a los que se dirige.
• Evaluar los resultados de los programas en los beneficiarios en sus contextos.
• Evaluar el impacto de los programas en sus beneficiarios, y en la comunidad, en la sociedad.
• Comunicar los resultados de la evaluación de los programas.
2. La evaluación de necesidades
Los estudios de evaluación de necesidades consisten en reunir información sobre un determinado tema de interés, y analizarla
con la finalidad de:
 Identificar las necesidades de los individuos, los grupos, las instituciones, las comunidades y la sociedad.
72
 Identificar las áreas en las que existen deficiencias, susceptibles de intervención mediante acciones concretadas en progra-
mas de intervención.
 Subsanar y mejorar la situación detectada, mediante la concreción de intervenciones, programas, diseñados para atender
dichas necesidades y posteriormente valorar los resultados de su aplicación.
La "necesidad” se define referida a la discrepancia entre: El nivel deseable y el que se posee.
Se da una necesidad cuando existe una carencia, una deficiencia.
Las fases seguidas en los estudios de valoración de necesidades, son los siguientes:
 Afirmación de los propósitos de una valoración de necesidades: clarificar los propósitos de valoración y delimitar las áreas
en las cuales se van a concentrar los estudios.
 Normas para la identificación de necesidades: las metas educativas, los resultados a lograr, son las normas frente a las cuales
se compara el nivel obtenido para determinar las discrepancias. Otro modo de identificación es la valoración subjetiva por
parte de los informantes.
 Diseños de valoración de necesidades: comienzan con una especificación del objetivo del estudio, lo cual supone una deli-
mitación de los propósitos específicos y los ámbitos en los que se van a valorar las necesidades.
 Asignación de prioridades de las necesidades: para maximizar la utilidad del estudio, las necesidades identificadas deben ser
ordenadas de acuerdo con el grado de consenso, según la importancia otorgada, la posibilidad que tiene de ser resuelta con
éxito y el impacto que va a tener en la satisfacción de la necesidad.
 Uso de los resultados: supone el último estadio del proceso: ser activo en el uso de los hallazgos.
3. La observación
Cualquier procedimiento para el estudio y comprensión de la realidad necesita de una primera fase de observación que permite
tener una idea real de lo que se va a estudiar.
La observación es un proceso científico, intelectual que requiere atención, concentración selectiva, guiada por objetivos, que
ayuda a organizar lo observado en una síntesis con significado. Pone de manifiesto la ocurrencia de conductas perceptibles, para
proceder a su registro organizado y su análisis (tanto cuantitativo como cualitativo) mediante un instrumento adecuado y pará-
metros convenientes36, posibilitando la detección de relaciones de diverso orden existentes entre ellas y evaluándolas.
La observación supone contemplar de un modo sistemático, cómo se desarrolla aquello que queremos estudiar, sin manipularlo,
tal cual discurre, siendo la función del observador recoger información de aquello que observa.
Como método científico, supone rigor, sistematicidad, así como complementariedad 37de enfoques, con una finalidad pragmá-
tica de registrar la ocurrencia de conductas, para proceder a su organización y análisis.
La observación se considera un proceso contextualizado, en el sentido del lugar en el que se producen los acontecimientos a
observar y en el sentido temporal e histórico de las situaciones, las tradiciones, los estilos de comunicación, las expectativas.
La observación ayuda al observador a comprender los fenómenos que se producen en el contexto que se estudia.
3.1. La observación sistemática y la observación participante
En función del grado de control interno sobre la observación, podrá considerarse metodología experimental, cuasi-experimental
u observacional, pudiendo aplicarse en todos los paradigmas. En Educación se utiliza en los enfoques de metodología mixtos,
combinando elementos cualitativos y cuantitativos, en las diversas etapas del proceso de investigación.
Son dos los tipos de observación: sistemática y participante, en función de la mayor o menor predeterminación de las categorías
a observar, el modo de aproximación al contexto, los instrumentos que utiliza y los procedimientos y funciones del observador.
 En la observación sistemática las categorías que guían la observación están previamente establecidas, basándose en los
objetivos a observar y las investigaciones previas. En este tipo de observación, el observador no interactúa con lo que ob-
serva, solo contempla lo que está sucediendo.
 El la observación participante, el observador se introduce en la situación a observar sin tratar de condicionar lo que observa,
esperando que emerja el significado en la propia situación, pero no va con su mente en blanco sino que tiene unos objetivos
fundamentados en la teoría y conocimientos previos.
36
Parámetros = indicadores
37
Complementariedad de enfoques: cuantitativo, cualitativo, sistemático, abierto, participante…
73
Ambos enfoques de observación son aplicables en la evaluación de programas para:

 analizar los contextos y realizar análisis de necesidades antes de la aplicación de un programa, para ver si el programa
es adecuado a las necesidades o tenemos que adaptarlo o diseñar un nuevo programa.
 analizar los procesos durante la aplicación de un programa
 recoger información en las reuniones de grupos, de expertos, o no expertos. Cada semana o quincenalmente puede
haber reuniones entre los aplicadores y expertos para valorar como se está resolviendo la problemática que queremos
atender.
Los grupos de discusión puede ser otra técnica de recogida de información pero se puede estar basando en la observación.
LA OBSERVACIÓN PARTICIPANTE:
- Se produce mayor interacción entre el observador y el sujeto observado
- Permite una comprensión más profunda de las motivaciones, sentimientos, preocupaciones de los participantes
- Tiene el riesgo de reducir la espontaneidad de la conducta (mayor riesgo de sesgo de reactividad)
- Emplea fundamentalmente registros narrativos y/o descriptivos.
LA OBSERVACIÓN NO PARTICIPANTE:
- No se produce interacción observador/observado
- Emplea sistema de categorías basados en la teoría (investigaciones previas)
3.2. Los sistemas de recogida de información en la observación
— El sistema categorial: recoge información sobre un limitado número de categorías o conductas. Estas unidades de observación
se elaboran deductivamente a partir de la teoría, a partir de investigaciones previas. El observador recoge información sólo de
los ítems previamente seleccionados y utiliza dos tipos de límites: el tiempo y los acontecimientos o conductas a observar.
— El sistema descriptivo: no contiene un número limitado de categorías, aunque puede trabajar con un rango de categorías fijas
para describir los comportamientos, generadas a partir de modelos observados o de datos previos. Estas unidades de observación
tienen una base conceptual. El foco del observador es amplio para captar la mayor amplitud de lo que acontece en la situación
de estudio.
— El sistema narrativo: es un sistema abierto por no trabajar con categorías prefijadas. Se basa en el estudio del lenguaje oral o
escrito para recoger las descripciones sobre las conductas que estudia a través de los diarios o anecdotarios del profesor, o de las
notas de campo del observador participante. Las unidades de observación en los sistemas narrativos son similares a las de los
sistemas descriptivos pero sobre información textual.
— El sistema tecnológico: utiliza medios como las videocámaras para las grabaciones de los acontecimientos, permitiendo selec-
cionar objetivos para su estudio «a posteriori».
3.3. Cuestiones sobre el muestreo y las fuentes de error en la observación
Aspectos fundamentales para el muestre: seleccionar el momento, el lugar, el tiempo y los centros de observación. Son cuatro
las áreas de decisiones sobre el muestreo:
✓ El número de sujetos.
✓ La duración total del tiempo de observación.
✓ La distribución del tiempo de observación.
✓ La probabilidad de que la observación sea representativa del fenómeno objeto de estudio (qué se observa, cuándo y
dónde).
En el sistema categorial las decisiones sobre el muestreo se adoptan antes de comenzar la observación, de un modo apriorístico.
En los sistemas descriptivo, narrativo y tecnológico se adoptan a lo largo del proceso de investigación.
Las fuentes de error tienen relación con el observador, el sistema de representación elegido, el marco conceptual del fenómeno
estudiado y los procedimientos de recogida de datos, y afectan a la fiabilidad, la validez y al rigor de las observaciones.
La validez se refiere al grado en que la información obtenida por un instrumento realmente describe lo que el investigador se
había propuesto describir (mide lo que quiere medir).
La fiabilidad se refiere a la exactitud y consistencia con que lo hace (precisión).
74
3.4. Instrumentos para el registro de la información

Los instrumentos para el registro de observaciones se clasifican, de acuerdo con su mayor o menor estructuración:
 Registros de conducta, mediante tablas de doble entrada: las columnas especifican las conductas y las filas indican la ocu-
rrencia o no de esa conducta y su intensidad durante el período temporal de observación fijado. Es una forma predetermi-
nada de registro, dado que las conductas se especifican antes de que sucedan.
 Escalas de valoración, o inventarios de conducta: las conductas seleccionadas son valoradas mediante una escala de grados,
por ejemplo, de 1 a 5 de menor a mayor aparición de la conducta especificada.
 Registros narrativos abiertos en contextos naturales: el observador toma notas sobre lo que acontece en la situación que
observa, que posteriormente completará con sus apreciaciones.
13. EJEMPLO DE REGISTRO INDIVIDUAL (OBSERVACIÓN)
14. EJEMPLO DE REGISTRO NARRATIVO ABIERTO (OBSERVACIÓN)
75
15. EJEMPLO REGISTRO DE OBSERVACIÓN PARTICIPANTE
3.5. Características de la observación participante

La observación participante está en el extremo del continuo menos estructurado de la observación. Es una estrategia metodo-
lógica utilizada en el trabajo de campo, desarrollada en la etnografía y en la antropología. Combina el uso de varias técnicas como
son el análisis de documentos, la entrevista a grupos y personas considerados como informantes claves, la participación directa
del observador en el campo y la introspección. La utilización de los métodos de la etnografía se ha mostrado eficaz en los ámbitos
educativos y sociales por su carácter descriptivo, exploratorio e interpretativo.
3.5.1. La función del observador en la observación participante
En la observación participante, el investigador se integra tanto como pueda para desarrollar su punto de vista interno del propio
contexto, acerca de lo que está ocurriendo y a la vez aportar la perspectiva del profesional externo con el fin de favoreces la
objetividad de la observación.
3.5.2. El diseño para la realización de la observación participante
Conlleva las siguientes fases:
 Delimitación de los objetivos y escenarios.
 Identificación de las fuentes de datos, los procedimientos de acceso a los escenarios y las unidades de observación.
 Determinación de los procedimientos, instrumentos de recogida de información y los tiempos. Selección de informantes
clave.
 Acceso al campo, a los escenarios. Recogida de información. Sistemas de registro.
 Análisis de la información. Sistemas de codificación y de representación de los datos.
 Sistemas para la validación de la información. La triangulación.
 Interpretación de los resultados, realización de inferencias, verificación.
 Elaboración del informe.
El orden no tiene porque ser fijo; los objetivos y los modos de recogida de información pueden verse ampliados y modificados;
los procedimientos de análisis de datos se dan de modo simultáneo a su recogida, y la interpretación de los resultados y los
sistemas de validación pueden aconsejar una ampliación de la recogida de información.
3.5.3. El proceso de recogida de datos en la observación
La observación participante comienza antes de introducirse en el campo, con la delimitación de la situación de lo que se pretende
estudiar, los objetivos del estudio y el plan de lo que se va a hacer.
También es importante observar lo que no ocurre y sería esperable y deseable que ocurriera.
Una de las funciones del observador consiste en realizar, mediante notas de campo, descripciones de lo que está siendo vivido y
observado.
76
Las notas de campo son la base fundamental de los estudios de caso en la investigación cualitativa, y deben recoger citas literales
de la gente observada, de sus conversaciones, de los sentimientos y reacciones del observador sobre lo que está observando y
realizar síntesis y los «insights» o compresiones intuitivas que genera la observación y su interpretación. El observador debe seguir
ciertas estrategias para conseguir que su trabajo no afecte a su participación.
Las clases de registro que suelen utilizarse para organizar la información recogida son:
✓ el registro básico de notas tomadas durante las observaciones, entrevistas o grabaciones, que deben conservarse sin alte-
ración;
✓ el registro temático, basado en las descripciones y reflexiones del investigador en torno a diversos campos temáticos;
✓ el registro logístico, reflejando las dificultades encontradas, los acontecimientos significativos, las reflexiones personales y
los registros complementarios.
La observación participante combina la observación y la entrevista informal.
El trabajo de campo no es un método o técnica simple. El observador está en el sitio en el que se desarrolla el programa obser-
vando y participando con la gente, entrevistándola y consultando los documentos básicos del programa.
3.5.4. El análisis en la observación participante
Puede seguir los siguientes pasos:
1º Lectura de la información textual.
2º Asignación de códigos a las unidades de significado, al margen del texto.
3º Desarrollo de categorías para agrupar los códigos que representan ideas con significado similar.
4º Agrupación de categorías formando categorías de orden superior.
5º Revisión de las categorías, creación de nuevas categorías y reagrupaciones y reasignaciones.
6º Relación entre las categorías, explicación según su procedencia original y su relación con otras
7º Ampliación de la información para una comprobación de los datos y verificación de la información.
3.5.5. La elaboración del informe de la observación participante
El observador debe tener en cuenta los diferentes estadios del trabajo de campo, y deberá reflejar:
 Los motivos que le llevaron a interesarse por el tema y a iniciar el estudio.
 La revisión de la información disponible y la literatura relevante al tema.
 La formulación del problema a investigar y de los objetivos del estudio.
 Las negociaciones para estudiar la situación en el contexto.
 El plan de acceso al campo, el modo de introducirse en las situaciones y relacionarse con las personas y los grupos.
 Las técnicas de recogida de información utilizadas y los análisis de información y ampliación de la permanencia en el campo
y la búsqueda de información complementaria.
 La validación de los hallazgos y de sus interpretaciones y devolución de las mismas al grupo.
 La presentación de los resultados, elaboración de las conclusiones y recomendaciones.
 La presentación del informe final.
4. La evaluación de necesidades
Es otra técnica de recogida de la información que se ayuda de otras, de entrevistas, de observación, de cuestionarios, de informes
previos, etc.
Los estudios de evaluación de necesidades consisten en reunir información sobre un determinado tema de interés, y analizarla
con la finalidad de:
• Identificar las necesidades de los individuos, los grupos,
• Concretar las áreas en las que existen deficiencias, para realizar intervenciones tendentes a,
• Subsanar y mejorar la situación detectada, planificar su realización y valorar su aplicación y sus resultados.
La definición de "necesidad” se refiere a la discrepancia entre:
• El nivel deseable y el que se posee. Se da una carencia, una deficiencia que se pretende mejorar, subsanar con la intervención.
5. El cuestionario
El cuestionario es una técnica de recogida de información sobre opiniones, actitudes, habilidades, aplicable a amplias muestras
representativas de poblaciones definidas. Es muy utilizado en educación, en evaluación.
Su finalidad es recoger información de modo sistemático, de acuerdo con los objetivos de la investigación, o evaluación, sobre
las variables (dimensiones) que intervienen en la investigación.
El criterio (objetivo, meta) fundamental que guía la construcción de un cuestionario es el propósito de la investigación, sus ob-
jetivos, debiendo tener en cuenta la población a la que se destina, debiendo cumplir con las exigencias de los instrumentos de
medida como son su fiabilidad y su validez.
77
Las principales fases para la elaboración de los cuestionarios son las siguientes:
1º Delimitación del rasgo (constructo) o rasgos a medir, de los contenidos, en coherencia con los objetivos de la investigación,
concretado en las variables que se van a estudiar. (necesidades, cómo voy a intervenir, metas, características del programa,
intervención, recursas, medios, aplicaciones, resultados, etc.)
2º Creación de los ítems. Enunciación de proposiciones o elementos iniciales representativos de las cuestiones que se quieren
estudiar. Cada ítem debe centrarse en sólo un aspecto, dimensión o constructo, de un modo claro, preciso, no ambiguo y
no excesivamente largo. Las preguntas tendrán que ver con los objetivos de la investigación. Los tipos más frecuentes de
preguntas que se pueden introducir en un cuestionario se clasifican en abiertas y cerradas.
3º Análisis de los ítems por un grupo de jueces o expertos en la temática que se estudia. Valoración de:
a. la adecuación de las preguntas con el rasgo que pretendemos medir, con los objetivos,
b. la adecuación en la formulación de los elementos a la muestra a la cual se dirige, su grado de inteligibilidad y la
longitud o número de ítems de la prueba
Una vez el cuestionario ha sido valorado por el grupo de jueces, se aplica a un grupo piloto para el análisis de fiabilidad,
validez, homogeneidad y dificultad de los ítems a partir de las respuestas dadas por los encuestados.
4º Elaboración del cuestionario definitivo.
Ejemplo validez de contenido del cuestionarios
Validez de contenido del cuestionario:
Validez de contenido: se define como el grado en que un instrumento de medida contiene preguntas representativas del cons-
tructo, o contenido, que pretende evaluarse.
¿Los elementos o los ítems que conforman la prueba son relevantes y suficientemente representativos del constructo o contenido
que se pretende medir, recoger información?
Para ello hay que:
1º Definir el constructo, contenido, dimensión, que se medirá mediante la prueba. Fundamentado en la teoría. Identificando las
dimensiones o variables.
2º Especificación del dominio de conductas. Especificación de las conductas observables representativas de lo que se quiere
medir, por cada dimensión.
3º Representatividad del dominio. Selección de una muestra representativa, ponderada, equilibrada, de todas las conductas que
se quieren medir, recoger información.
El conjunto de ítems suele someterse al análisis de la relevancia mediante el juicio de expertos.
78
Ejemplos de cuestionarios
79
6. La entrevista
Complementa a la observación y al cuestionario.
La entrevista es otra técnica utilizada para la recogida de información. Se diferencia del cuestionario en que suele realizarse de
modo individual y oral, con la presencia del entrevistador y entrevistado o entrevistados.
Su característica y aportación principal es que permite profundizar más allá de la formulación de la pregunta, e incluso añadir
nuevas preguntas para obtener una información más completa y precisa.
Esto hace de la entrevista una técnica compleja, requiriendo de una gran profesionalidad del entrevistador para que sea prove-
chosa.
Puede utilizarse para completar la información obtenida mediante otras técnicas como puede ser la observación, el cuestionario
o la discusión grupal.
En la entrevista las preguntas son abiertas.
80
7. El análisis de contenido
El análisis de contenido es una técnica de investigación destinada a formular, a partir de ciertos datos, normalmente recogidos en
soporte físico (un documento escrito, información textual, una grabación, u otro medio), inferencias fiables y válidas mediante la
identificación objetiva y sistemática de las características de los mensajes que contienen. En todo análisis de contenido debe
tenerse en cuenta:
• Los datos que se analizan,
• La manera cómo vienen expresados,
• La población de la que proceden,
• El contexto del que se extraen,
• Los límites del análisis, -p.e. de tiempo y espacio-, y
• El objetivo de las inferencias
El análisis de contenido establece el objeto de investigación y sitúa al investigador en una posición concreta frente a la realidad.
El papel que desempeña el investigador tiene tres finalidades:
 prescriptiva, en el sentido de que debe guiar la conceptualización y el diseño de los análisis de contenido práctico en cual-
quier circunstancia;
 analítica en el sentido de que debe facilitar el examen crítico de los resultados del análisis de contenido efectuado por otros;
 metodológica en el sentido de que debe orientar el desarrollo y perfeccionamiento sistemático de los métodos de análisis
de contenido.
La finalidad del análisis de contenido es proporcionar conocimientos, nuevas compresiones y guía práctica para la acción en
relación con el tema que estudia.
Para la realización del análisis de contenido se señalan las siguientes fases:
1º Establecer la unidad de análisis
2º Seleccionar la muestra del material de análisis
3º Determinar las categorías de análisis
4º Realizar inferencias a partir de las categorías
5º Elaborar el informe
Todo análisis de contenido debe realizarse y justificarse en relación con el contexto de la información y los datos.
81
8. Técnica Delphi
Es una técnica originalmente utilizada para realizar estudios prospectivos, estudios de necesidades.
Es una técnica originalmente utilizada para recoger información de las aportaciones personales de un grupo de expertos sobre
los diferentes aspectos que definen un determinado problema y el modo posible de solucionarlo, haciendo partícipes de las opi-
niones subjetivas, de una manera anónima, a los otros miembros, con el fin de obtener el mayor grado de consenso para solu-
cionar dicho problema, estableciendo prioridades (estudios prospectivos, estudios de necesidades). Su nombre procede del
‘Oráculo de Delfos’, cuyas pitonisas adivinaban el futuro y prevenían de posibles problemas.
Los resultados aportados sobre las necesidades, junto con las posibles soluciones propuestas, guiarán la elaboración de planes
y programas específicos
El grupo de expertos, lo es, desde diversas perspectivas. Si se pretende que el grupo tenga cierta homogeneidad en su especiali-
zación, puede ser suficiente entre 10 y 15 miembros; si lo que se requiere es diversidad de expertos, porque así lo aconsejan las
características del problema a estudiar, el número de expertos a consultar será mayor, entre 30 y 50.
Entre las ventajas de la técnica Delphi destacan la posibilidad de:
 consultar a diversos expertos dispersos a lo largo y ancho de la geografía sin necesidad de reunirlos,
 que cada uno de ellos manifieste sus puntos de vista sin influencia de los otros
 tras la primera consulta abierta y libre, tener la información de otros expertos para considerarla, contrastarla con la suya
propia, y hacer síntesis enriquecedoras que:
o favorezcan la amplitud y profundidad para atisbar los problemas,
o anticiparse a las necesidades y
o promover planes y programas de intervención para tratar de resolverlos.
El grupo de expertos se basa en su experiencia y entre varios expertos, incluso de diferentes ámbitos, se les plantea una proble-
mática para que aporten modos de solucionar esa problemática. Se suelen dar dos o tres vueltas de consulta.
En la 1º vuelta, preguntas más abiertas, presentando la problemática, se les pide varias soluciones en el grado de mayor confianza
en que esa solución por parte de experto tenga más éxito.
El investigador hace un análisis de las coincidencias y diferencias y vuelve a elaborar, a partir de una síntesis de las aportaciones,
una 2º vuelva, formula preguntas más cerradas para que las respuestas sean más cerradas y si es necesario ampliar con preguntas
más abiertas se hace otra vuelta.
9. Los grupos de discusión
La técnica de los grupos de discusión en evaluación de programas se utiliza con la finalidad de recoger información sobre un tema
específico, durante un periodo de tiempo limitado. Puede ser para evaluar un programa en la acción y valorar sus resultados,
efectos, y necesidades de mejora.
Dado que los datos aportados en la discusión son, fundamentalmente, textuales, la técnica del análisis de contenido es la más
adecuada para el análisis de la información aportada por el grupo. (Mar0nez Mediano, 2004 y 2017).
La técnica de los grupos de discusión se utiliza para la recogida de información de grupos de sujetos, creado de modo artificial,
con la única finalidad de recoger información sobre un tema específico, durante un periodo de tiempo limitado. Los miembros
del grupo deben ser homogéneos con el fin de posibilitar una discusión libre entre ellos, recomendándose, en algunos casos, que
no se conozcan, para evitar prejuicios en su participación.
Puede ser para evaluar un programa en la acción y valorar sus resultados, efectos, y necesidades de mejora.
Dado que los datos aportados en la discusión son, fundamentalmente, textuales, la técnica del análisis de contenido es la más
adecuada para el análisis de la información aportada por el grupo.
Para la formación y funcionamiento de los grupos de discusión, conviene tener en cuenta alguna de estas indicaciones:
— El tamaño del grupo y su composición, en función de la temática y especificidad.
— Las característicos de los sujetos que deben formar parte de los grupos, contactar con ellos y conseguir su compromiso de
colaboración y participación.
— Definir el papel de cada sujeto en su colaboración en la investigación y conseguir su compromiso.
— Delimitar la duración del proceso total de la investigación, así como el número de reuniones a mantener, el lugar y su duración.
82
16. Ejemplo: Evaluación de un Programa de Escolarización Combinada entre un centro de educación especial y un centro de
educación ordinaria
Antecedentes:
La Convención sobre los Derechos de las personas con Discapacidad (ONU, 2006) es, en palabras de las propias Naciones Unidas,
el acuerdo que más signaturas reunió en el día de su apertura a la firma. Entre sus mandatos establece que los Estados Partes
deben asegurar un sistema de educación inclusivo que conceda a las personas con discapacidad el acceso a la educación sin dis-
criminación y con igualdad de oportunidades con los demás.
Estudio de necesidades:
De todos los factores identificados como causantes de la exclusión (sexo, etnicidad, pobreza, etc.), la discapacidad suele ser la
razón principal. Ante esta situación nos planteamos evaluar la experiencia del programa Escola Compartida que lleva a cabo el
Centro de Educación Especial junto con un Centro de Educación Ordinaria de Barcelona.
El Programa
El programa Escola Compartida” (EC) consiste en la asistencia de estudiantes con discapacidad psíquica a un centro de educación
especial (CEE) durante una parte del horario escolar y a un centro de educación ordinario (CEO) durante el resto de tiempo.
El objetivo general de dicha propuesta es conseguir la inclusión social del alumnado con discapacidad y que no se ha podido acoger
por completo a los principios de “normalización e inclusión” proclamados en la legislación educativa española y catalana vigente.
En la entrevista que le hicimos a la Directora de la EC, (Anexo 1), nos dijo que el beneficio principal que ofrece al alumnado del
CEE es la posibilidad de estar en un entorno normalizado. Sin bien esto también aporta ventajas para los estudiantes del CEO, que
se benefician de valores como la tolerancia, la comprensión, la aceptación, la diversidad, entender la discapacidad y comprender
que todos tenemos alguna "discapacidad", a todos nos falla alguna cosa, todos tenemos algún problema.
La aplicación del programa
El programa de “Escola Compartida”, requiere de la coordinación entre los profesionales de ambos centros (CEE y CEO) y del
Equipo de Asesoramiento Pedagógico (EAP), con el fin de garantizar la coherencia y la complementariedad de las actuaciones.
Para ello, estos tres agentes deben concretar un plan individualizado (PI) de atención para cada estudiante - prioridades educati-
vas, lugares donde se llevarán a cabo y criterios para el seguimiento y la evaluación, junto con los ajustes de horarios que corres-
pondan” y hacer un seguimiento y evaluación conjunta de la evolución del estudiante.
83
Preguntas test del tema 7 u otros:

1. Los resultados de satisfacción con un programa se miden mediante:
a. Pruebas de rendimiento
b. Grupos de discusión
c. Entrevistas
2. La satisfacción con un programa se mide mediante:
a. Análisis de expertos.
b. Cuestionario.
c. Grupo de discusión.
3. Los resultados de satisfacción con un programa se miden mediante:
a. Pruebas de rendimiento.
b. Cuestionarios.
c. Grupos de discusión.
4. La evaluación de resultados de un programa se mide mediante:
a. Pruebas de rendimiento.
b. Observación.
c. Técnica Delphi.
5. Para valorar los resultados de un programa de aprendizaje, está especialmente indicado el uso de:
a. Cuestionarios.
b. Pruebas.
c. Grupos de discusión.
6. La técnica Delphi está especialmente indicada en la evaluación de programas para la fase de evaluación de:
a. Los resultados del programa.
b. De necesidades.
c. La evaluación de proceso.
7. Para la priorización de necesidades, una de las técnicas más adecuadas es:
a. Dephi.
b. Entrevista.
c. Observación
8. Las organizaciones inteligentes son aquellas que:

a. Saben lo que quieren conseguir.
b. Aplican modelos de evaluación.
c. Cuentan con los mejores profesionales.
9. La evaluación de programas proporciona información sobre:
a. El programa, su aplicación y los beneficiaros.
b. El programa, el contexto y las personas.
c. El programa, sus resultados y mejoras.
10. La investigación evaluativa comparte una concepción de ciencia inclusiva que recoge:
a. Lo metafísico, lo experiencial, lo final.
b. Lo vital, lo personal, lo transcendental.
c. Lo holístico, lo personal, lo transcendental.
11. La evaluación de la eficacia de un programa en su fase piloto aconseja el uso de metodologías propias de:
a. El paradigma experimental.
b. Los enfoques mixtos.
c. El paradigma cualitativo.
12. La medición del logro del criterio se basa en:
a. Los resultados conseguidos en coherencia con las necesidades preestablecidas.
b. Los objetivos pretendidos por el programa en relación con las necesidades.
c. Los indicadores de realización de las dimensiones para lograr el estándar.
13. El criterio de adecuación en la evaluación de programas relaciona:
a. Las necesidades con lo que pretende conseguir el programa
84
b. Los recursos y el logro de los objetivos

c. Los medios y los resultados
a. Los contextos con las propuestas de mejora.
b. Las metas del programa con las necesidades especificadas.
c. Los recursos con el logro de los objetivos.
a. Los objetivos y el programa.
b. Los recursos y el logro de los objetivos.
c. Los medios y los resultados.
a. Los recursos y el logro de los objetivos.
b. Las necesidades y el logro del programa.
c. Los medios y los resultados.
17. Cuando realizamos la evaluación de resultados de un programa, los criterios que predominan son los de:
a. Viabilidad y evaluabilidad.
b. Eficiencia y eficacia.
c. Adecuación y satisfacción.
18. Cuando se valora el impacto que ha tenido un programa educativo, estamos hablando de:
a. Fiabilidad
b. Eficacia
c. Adecuación
19. Cuando realizamos la evaluación de producto de un programa, el criterio que predomina es el de:
a. Eficacia
b. Eficiencia
c. Adecuación
20. El criterio de calidad de la educación fundamental es el de:

a. Eficacia.
b. Pertinencia.
c. Eficiencia.
21. La metaevaluación interna ayuda a:
a. Garantizar la idoneidad del evaluador.
b. Mejorar la calidad de las evaluaciones.
c. Garantizar la responsabilidad de las evaluaciones
22. La evaluación del programa en sí, del modelo de Pérez Juste, se centra en valorar:
a. Los recursos y el personal que aplicará el programa.
b. El contexto y las características de la organización.
c. La adecuación del programa a la situación de partida de los destinatarios.
23. Una de las normas de Honradez o Legitimidad del Joint Committee:
a. Diseño y análisis adecuados.
b. Transparencia y divulgación.
c. Información relevante.
b. Credibilidad del evaluador.
c. Viabilidad contextual.
85

b. Oportuna y adecuada comunicación y presentación de los informes.
c. Metaevaluación interna
27. Una de las normas de Precisión del Joint Committee es:
b. Conclusiones y decisiones justificadas.
c. Comunicación en los participantes.
28. Una de las normas de viabilidad del Joint Commitee es:
29. Una de las normas de precisión del Joint Committee es:
b. Conclusiones y decisiones justificadas
c. Transparencia y divulgación.
Ejercicios del FORO DE LA ASIGNATURA

1. TEMA Conceptos y funciones de la evaluación de programas educativos
1.1. Elaboración de indicadores, o ítems, para la recogida de información evaluativa para cada una de las dimensiones que
ahora mencionamos (el programa en sí, su aplicación, implicación de los padres) de la evaluación de programas, aten-
diendo al criterio y estándar de cada indicador indicado.

El programa y sus metas El programa atiende las metas di- Adecuación Criterial
rigidas a que los niños se intere-
sen por una alimentación saluda-
ble, la actividad física, el cuidado
de la higiene, y las relaciones con
los compañeros del grupo de
clase.
El programa y sus fundamentos El diseño del programa se funda- Adecuación Criterial
menta en los principios de Educa-
ción para la salud, para la dad in-
fantil, recogidos en la OMS, y en
las recomendaciones de sanidad
del Ministerio y la Consejería.
El programa y sus estrategias de El programa incluye actividades Adecuación Criterial
aplicación diseñadas de acuerdo con las (calidad téc-
orientaciones didácticas y expe- nica del pro-
riencias bien valoradas, de bue- gramas, según
nas prácticas, adecuadas a las el modelo de
edades de 3 a 6 años. Pérez Juste)
La aplicación del programa El desarrollo del programa se Eficacia Criterial
efectuó siguiendo las actividades (cumplimiento
y tiempos establecidos en su di- del plan, según
seño. el modelo de
Pérez Juste)
Las metodologías aplicadas tie- Eficacia

nen en cuenta las necesidades de Criterial
higiene bucal de los menores
86
La implicación de los padres Los padres colaboraron apor- Eficacia Criterial

(comunicación, resultados) tando información para el diseño
realista de las actividades.
Los padres colaboraron apor-
tando información sobre las me-
joras que se iban consiguiendo
con la aplicación del programa.
La implicación de los padres en

las actividades planificadas
ayuda a conseguir los resultados Eficacia Criterial
pretendidos por el programa.
Resultados del programa Han adquirido conocimientos Eficacia Criterial

básicos respecto a la higiene bu-
codental
Los niños y niñas han adquirido Eficacia Criterial

conocimientos básicos respecto a
la higiene bucodental.
(no es el programa en sus metas,
es en sus resultados)
1.2. Define un concepto de evaluación de programas. Justifica su elección. ¿Cómo aplicarías el concepto elegido a la evaluación
de una actividad dirigida a promover un programa de educación par a la salud en primer curso de Educación Infantil?
Para Pérez Juste la evaluación es el proceso sistemático de recogida de información rigurosa (valiosa, válida y fiable) , que nos
permitirá valorar los logros y la calidad de un programa; será el fundamento para la futura toma de decisiones de mejora tanto
del programa como del personal que intervenga en el mismo.
He escogido esta definición porque nos permitirá avanzar en la reflexión e investigación de los procesos de enseñanza-aprendizaje,
podremos obtener un feedback directo y fiable, adaptándonos a los contextos y a los agentes implicados en el mismo.
Considero que es sumamente importante que los criterios (adecuación, eficacia, eficiencia, satisfacción, impacto) y los estánda-
res (normativo, criterial, idiosincrático) estén bien definidos ya que éstos nos permitirán establecer juicios de valor que nos
ayudarán a determinar en qué grado se ha alcanzado el objetivo pretendido y si hemos conseguido resultados de calidad.
La evaluación nos permitirá comprobar si el programa que hemos diseñado contempla los objetivos que pretendemos alcanzar y
que tras su aplicación los hemos conseguido y en qué grado.
Para la recogida de información rigurosa utilizaría listas de control a través de la observación directa, teniendo como criterios de
evaluación los objetivos que desarrolla el programa y que serían las conductas que el alumno debe adquirir:
Es capaz de utilizar los cubiertos.
Sabe hacer uso del vaso.
Reconoce los distintos tipos de menús.
Adquiere hábitos de higiene alimentaria.
Tiene un comportamiento adecuado en la mesa.
87
2. TEMA 2 Las teorías evaluativas de Michael Scriven. La evaluación como ciencia de la valoración
2.1. Cómo plantearíais la planificación de la evaluación de una actividad concreta a desarrollar en un aula, para atender un
objetivo de aprendizaje, con la lógica de la evaluación de Scriven. Poned un ejemplo y mencionar los 4 pasos, incluida la
síntesis evaluativa, o juicio valorativo.
Según Scriven (citado en Martínez Mediano, 2017) la evaluación es la "ciencia de la valoración", con ella se pretende determinar
el valor y el mérito de aquello que se desea evaluar. para ello se debe determinar los criterios que orientarán si las metas fijadas
en el programa han sido alcanzadas, el nivel en que éstas han sido alcanzadas, todos los resultados obtenidos y si han dado res-
puesta a las necesidades y expectativas de los beneficiarios.
Atendiendo a lo anterior, la planificación de una evaluación de una actividad en el aula aplicando la lógica de Scriven, pasaría por:
determinar el programa, determinar los criterios del mérito, determinar las normas del mérito, medir la realización, resumir los
resultados emitiendo un juicio de valor.
CRITERIOS DE MÉRITO O CALIDAD

Adecuación
Eficacia
Eficiencia
Satisfacción
Impacto
NORMAS SOBRE EL MÉRITO - CÓMO CONSEGUIR LOS OBJETIVOS Y METAS. Fijación de normas claras sobre lo que debe conseguir
la práctica para considerar conseguidos los criterios de mérito de los programas. Supone señalar cómo deben realizarse esas metas
y objetivos para poder considerar que el programa ha trabajado bien para conseguir lo que el programa pretendía desarrollar
Se llevan a cabo actividades en el aula:

Se les explica al alumnado la temática de la práctica: qué tipo de acciones se considera acoso escolar, exclusión social y agresión.
Las diferentes personas que pueden participar en estas acciones bien de forma directa o indirecta, etc.
Proyección de videos sobre acoso escolar, agresión y exclusión social, adaptados a las edades de los alumnos, de acuerdo con el
Plan de Convivencia de la Consejería de Educación de la Comunidad de Madrid.
Posteriormente se les pasa un cuestionario con respuestas alternativas sobre:
Identificación de acciones de acoso escolar.
Identificación de acciones de exclusión social.
Identificación de acciones de agresión.
Identificación del acosador o acosadores.
Identificación del la víctima.
Identificación del espectadores activos/pasivo
.
MEDIDA O EVALUACIÓN DE LOS RESULTADOS. para confirmar que los programas se aplican siguiendo los criterios de su mérito, y
el grado con que éstos logran lo que afirman pretender conseguir, de acuerdo con las normas fijadas. Requiere medir los resulta-
dos conseguidos por el programa y compararlos con las normas de mérito.
INSUFICIENTE ACEPTABLE BUENOS EXCELENTE

Reconoce a la Reconoce a la víc- Reconoce a la víctima, Reconoce a la víctima, agre-
víctima, agresor, tima, agresor, ac- agresor, acciones de sor, actores activos/pasivos,
acciones de ciones de agresión agresión, exclusión so- acciones de agresión, exclu-
agresión. y exclusión social. cial y acoso escolar. sión social y acoso escolar.
JUICIOS EVALUATIVO - VALORACIÓN. La comparación entre lo deseable, lo posible y lo conseguido nos permitirá realizar la valo-
ración, o juicio evaluativo, basándonos en las necesidades, el contexto, el proceso y los resultados
Comparamos los resultados con lo deseado con la actividad y lo que hemos conseguido las actividades realizadas.
Se realiza un informe de evaluación y se comunica la información a las partes interesadas.
88
2.2. Os pido que señaléis, mediante una tabla, los paralelismos entre la lógica de la evaluación de Scriven y el proceso de
investigación científica
El proceso de investigación experimental Investigación evaluativa. La lógica de la evaluación de Scriven
El problema de estudio, Justificación. El problema de estudio. Justificación.
Revisión de la literatura sobre el problema Revisión de la literatura
Método. Problema, objetivos, hipótesis, Selección/elaboración del programa

Constitución del plan experimental. participan- Constitución del plan de actuación. Determinar los criterios de
tes, procedimientos, materiales, instrumentos evaluación de la calidad: Adecuación del programa a las necesida-
de recogida dce datos. des. Eficiencia, uso de personas, medios, recursos. Eficacia, Logro
de los objetivos. Satisfacción:
Cumplimiento de las expectativas. Impacto: resultados duraderos
y extensivos.
Determinar normas de mérito.
Instrumentos de recogida de datos.
Realización del experimento Comprobación de la aplicación: Aplicción de los instrumentos de
Aplicación de instrumentos. Análisis de la infor- recogida de información, de evidencias, para
mación. comparar lo que pretende conseguir el programa y lo que consi-
gue. Instrumentos. Durante la aplicación, evaluación formativa.
Después de la aplicación, evaluación sumativa.
Resultados. Interpretación Conclusiones Discu- Análisis de los resultados.
sión Valoración. Síntesis valorativa o juicio valorativo sobre lo que está
bien y lo que hay que cambiar
Referencias bibliográficas Referencias bibliográficas
El informe de investigación El informe de investigación
89
3. TEMA 3: El modelo CIPP de Daniel Stufflebeam. La evaluación orientada a la toma de decisiones para la mejora de los
programas
3.1 Os pido que realicéis la aplicación del marco de trabajo del modelo CIPP a una lección, o a un tema, en el que tengáis
interés, incluyendo los 4 tipos de evaluación del modelo CIPP, en su actuación proactiva . Poner sobre la tabla su título
(Tabla 1). Y sustituir la información general de la tabla por contenidos referidos a la actividad o tema a evaluar, de un modo
concreto y preciso.
Teniendo en cuenta la tres ideas importantes incluye la definición de evaluación de progamas de Stufflebeam:
1.La evaluación es un proceso sistemático: continuo y global.
2.El proceso de evaluación incluye tres acciones básicas: delinear o planificar, formular cuestiones a responder para recoger,
obtener, información.
3.La evaluación es un proceso cuya finalidad es servir para la toma de decisiones.
Operacio- Evaluación de Contexto Evaluación de Entrada Evaluación de Proceso Evaluación de Producto
nes
Delinear Variables y valores del sis- Especificaciones de pro- Procesar información en de- Resultados.
tema blemas terminados hitos, barreras. Los mismos criterios que en
-necesidades- criterios de diseño, Criterios de adecuación, efi- E. de proceso, más impacto.
restricciones. Adecua- ciencia, eficacia, satisfac-
ción. ción.
Obtener Datos de desempeño y jui- Identificación y análisis Supervisión de procedimien- Efectos primarios, secunda-
cios sobre lo que se debe ha- de estrategias. tos, de resultados parciales rios y terciarios.
cer. en determinados momen-
tos.
Proporcio- Perfiles de necesidades, Estrategias mediante una Informes de progreso. Descripción y explicación de
nar infor- oportunidades y problemas. matriz de problemas. Informes de dificultades, de los logros e impacto del pro-
mación excepciones. yecto.
JUSTIFICACIÓN DEL MODELO: (ejemplo de prevención acoso escolar) Este modelo presenta ventajas y es aplicable a cualquier
programa, además nos permite evaluar el programa en su totalidad y nos proporciona una visión global en el progreso del diseño.
Además, resulta práctico para la toma de decisiones. A continuación, se detalla los cuatro tipos de evaluación:
EV. CONTEXTO: Incluye la identificación de problemas y necesidades, así como el análisis de los elementos relevantes en un esce-
nario educativo especifico.
Manifestaron familias y docentes la necesidad de dar información y formación en educación para la convivencia a partir de acoso
escolar detectado en el centro,
EV. ENTRADA: Involucra los juicios sobre recursos y estrategias necesarios para lograr las metas y objetivos del programa. Me-
diante cuestionarios a familias y docentes para tener info sobre conocimientos previos que tienen sobre el tema.
Se realizan charlas formativas de expertos dirigida a docentes y familiares. Se establecen estrategias de mediación y cooperación
que se aplicaran al grupo aula para lograr metas y objetivos del programa.
EV. PROCESO: Se recolectan datos evaluativos una vez que el programa se ha puesto en funcionamiento para identificar posibles
defectos.
Mediante la recogida de datos en todas sus fases para que la implementación del programa sea la correcta y se puedan subsanar
defectos durante su aplicación.
EV. PRODUCTO: Intenta medir e interpretar los logros producidos por el programa educativo, tanto en su conclusión como durante
su desarrollo, recopilando info acerca de los resultados y su relación con los objetivos.
Se recoge toda la info y se evalúa para saber si se ha cumplido con los objetivos planteados.
90
Buenas noches, creo que no termino de concretar en lo que se requiere, realmente me cuesta aplicarlo en un
supuesto práctico.
Aplicación de marco de trabajo del modelo CIPP a la evaluación del “autoconocimiento como compo-
nente esencial en la educación emocional”
Operaciones Evaluación de Evaluación de en- Evaluación de Evaluación de
contexto trada proceso producto
Delinear Se percibe en el Revisión de recur- Adecuación: las ¿Se han obtenido
alumnado falta de sos materiales, estrategias utiliza- resultados positi-
autoconocimiento, económicos y per- das para el logro vos con relación a
lo que pone de ma- sonales necesarios de las metas se las metas propues-
nifiesto la necesi- para el diseño y ajustan a las nece- tas?
dad de emplear ac- aplicación del pro- sidades de los des-
ciones educativas grama; así como tinarios. ¿Estos El alumnado co-
para mejorar las las necesidades objetivos están noce mejor sus de-
competencias formativas del siendo bien recibi- fectos, cualidades,
emocionales en profesorado y de- dos por los mis- singularidades,
los destinatarios. más encargados mos? características, sus
de llevar a cabo el Efectividad: están propias emocio-
desarrollo del pro- siendo utilizados nes.
yecto. adecuadamente
Los espacios y es- los recursos para Existe una mejora
tructuras con las el desarrollo de las
significativa en las
que cuenta la insti- actividades plan- relaciones intra e
tución para la rea- teadas.
interpersonales en
lización de diver- Eficacia: ¿se apre- el grupo.
sas actividades. cia mejora en la
formación del au-
toconcepto y la Ha aumentado la
autoestima en el autoestima entre
los jóvenes.
alumnado?
Satisfacción: ¿el
alumnado está
motivado, parti-
cipa activamente
en las actividades
propuestas, se per-
cibe mejora en las
relaciones en el
grupo?
Obtener informa- Mediante observa- Junto con los da- Se realizará un re- Los efectos que se
ción ción sistemática tos obtenidos gistro observacio- ven tras la aplica-
del grupo y diná- acerca de los ma- nal durante la rea- ción del programa,
micas en el aula, teriales necesa- lización de todas contribuyen a un
obtenemos infor- rios, las necesida- las actividades, en nivel de desarrollo
mación pertinente des formativas re- que se medirá el del autoconcepto
para realizar un queridas en el pro- nivel de participa- de los beneficia-
juicio valorativo fesorado en edu- ción del grupo y la rios y facilita la
acerca de la nece- cación emocional aceptación de las adquisición de
sidad de diseñar y la organización actividades. otras competen-
un programa espaciotemporal En debates refle- cias emocionales.
orientado a cono- que se requiere xivos se recogerá
cer, reconocer y para la puesta en información
mejorar el marcha del pro- acerca de cómo
grama, se define marcha la
91
autoconcepto en el su estructuración formación del pro-

alumnado. en base a las metas pio autoconcepto.
planteadas y las
actividades que se
llevarán a cabo
para su consecu-
ción.
Proporcionar in- Las reuniones y Definición de es- La obtención de Elaboración del
formación debates realizados trategias para una las distintas apor- informe final de
con los diferentes correcta adecua- taciones, se anali- los logros del pro-
implicados, han ción y viabilidad zarán y debatirán grama y los efec-
determinado que del programa. Me- en las reuniones tos deseados y no
el clima institucio- diante una matriz pertinente, apor- deseados; así
nal y la cohesión de problemas. tando posibles como el impacto
del grupo son ade- modificaciones o previsto en los be-
cuados para moti- pautas para conti- neficiarios del
var y dinamizar a nuar con el desa- programa.
los beneficiarios rrollo del pro- Recomendaciones
en el trabajo de de- grama. Se reali- para su mejora,
finir y mejorar el zará un informe suspensión o apli-
autoconcepto en parcial de la situa- cación nueva-
pro de adquirir las ción actual del mente.
bases para desa- programa (pro-
rrollar una buena greso, dificulta-
autoestima. (com- des, etc) y los re-
ponente clave en sultados obtenidos
la inteligencia hasta el momento.
emocional).
3.2. Os pido que señaléis, mediante una tabla, los paralelismos entre el proceso de investigación general y el proceso de inves-
tigación con el modelo CIPP.
PROCESO DE INVESTIGACIÓN GENERAL PROCESO DE INVESTIGACIÓN CON EL MODELO CIPP
El problema de estudio. Justificación. Introducción. Justificación. Contexto, fundamentación teórica.
Revisión de la literatura sobre el problema.
Método. Problema, objetivos, hipótesis. Modelo CIPP (cualitativo o cuantitativo). Fines y objetivos.
Constitución del plan experimental. Participantes, Contenidos, actividades y recursos. Sujetos. Estrategias y procedi-
procedimientos, materiales, instrumentos de reco- mientos para su aplicación. Resultados esperados.
gida de datos.
Recogida de datos. Aplicación de instrumentos. Aná- Funciones de la evaluación (contexto, entrada, proceso y pro-
lisis de la información. ducto). Metodologías y Técnicas para la recogida de información.
Resultados. Interpretación Conclusiones Discusión Resultados de la evaluación del programa (contexto, entrada, pro-
ceso y producto) y su valoración. Conclusiones y propuesta de me-
jora..
Referencias bibliográficas Referencias bibliográficas.
El informe de investigación Valoración personal y crítica (autoevaluación).
Metaevaluación por un grupo independiente (informe final de sín-
tesis).
92
4. TEMA 4: Pérez Juste

4.1. Elaboración de ítems para la recogida de información evaluativa con el modelo de Pérez Juste
En un Instituto de Educación Secundaria en el que trabajas, se ha comprobado la necesidad de que los estudiantes de primer curso
de Bachillerato mejoren en comprensión verbal, expresión escrita y expresión oral en la asignatura de Inglés. Por ello se ha decido
contratar a un profesor nativo durante una hora semanal, complementaria a las asignadas para la asignatura de Inglés, para que
mejorar estas debilidades. El Departamento de Inglés, conocedor de que eres experto en evaluación de programas te pide que
coordines la evaluación del programa de refuerzo de Inglés.
Decides aplicar el modelo evaluación de programas de Pérez Juste, y planificas la recogida de información, mediante un cuestio-
nario, utilizando la siguiente tabla.
Momento Dimensión Item Criterio Estándar
Adecuación a
Primer ¿El programa de refuerzo de Inglés responde a
los destinata- Adecuación Idiosincrática
momento las demandas del alumnado?
rios
¿Se ha explicado bien el programa de refuerzo,
Adecuación al
quedando bien definida la metodología en la Adecuación Criterial
contenido
que se basa?
Puesta en
Segundo ¿Las actividades son coherentes con los obje-
marcha del Adecuación Criterial
Momento tivos, destinatarios y recursos planificados?
Programa
Marco de apli-
¿Se aprecia la satisfacción de los destinatarios
cación del Pro- Satisfacción Idiosincrática
del Programa de Refuerzo?
grama
¿Se han observado efectos beneficiosos en la
Tercer Mo- Logros del
expresión verbal y escrita del Programa de in- Adecuación Criterial
mento Programa
glés que no estaban previstos inicialmente?
¿ Los alumnos se muestran contentos con los
Valoración Eficacia Criterial
resultados obtenidos con el Programa?
¿Se muestra contenta la Comunidad Educativa
Continuidad Impacto Criterial
con el programa realizado?
Institucionali-
Cuarto ¿Establece el Programa propuestas de mejora
zación de la Eficiencia Criterial
Momento para garantizar su progreso?
evaluación
93
5. TEMA 5: Modelos Lógico

5.1. Qué destacaríais del enfoque del modelo lógico para la evaluación de programas. Argumentar vuestras respuestas
Alumna: De primeras, destacaría la manera en que un modelo lógico puede contribuir a describir todos los elementos necesarios
en la composición de un programa educativo y las relaciones existentes entre estos elementos es de gran ayuda para visualizarlo
mentalmente y por tanto interiorizarlo. De esta manera se podrán diseñar y desarrollar programas educativos y sus correspon-
dientes evaluaciones con mayor claridad, control, rigor y en definitiva calidad.
Personalmente, mientras estudiaba este tema e imaginaba lo que se explicaba, en el formato de un modelo lógico, sentía como
avanzaba un paso más en la asimilación del resto de temas ya estudiados, a la vez que se me ocurrían ideas para llevar a cabo en
mi Trabajo Fin de Grado y en el programa que quiero desarrollar. Creo que, sin todavía haber trabajado en profundidad en los
modelos lógicos, ya me están ayudando a clarificar ideas.
Alumna: Comparto plenamente la aportación de mi compañera. El enfoque del modelo lógico ayuda a comprender todo el proceso
de evaluación de programas, de una manera estructurada y lógica (como su nombre indica), entendiendo el fundamento de cada
una de sus partes y la necesaria interrelación entre ellas
Bajo mi punto de vista se insiste en tres ideas principales: el porqué de un programa, el punto de partida, las necesidades, el
proceso y los recursos para llevarlo a cabo y cómo estos hacen que el programa sea viable o no; la viabilidad del programa en
cuanto a la relación objetivos/recursos disponibles; y la importancia de la evaluación (tanto formativa como sumativa) para lograr
las metas, que son su razón de ser: la atención a unas necesidades concretas. Quisiera destacar también otra idea que aporta este
tema que, aunque ya se ha mencionado anteriormente, en este momento se da un mayor peso y es la importancia de investigar
y apoyarnos en programas realizados anteriormente y que ya nos aportan indicios y líneas de acción para lograr el éxito en el
nuevo programa, así como favorecer el consenso de todos los implicados
Son todas ellas ideas que ya se planteaban de uno u otro modo en los termas anteriores, pero que en este se concreta y explica
de modo más claro y, como dije al inicio y apunta mi compañera, te ayuda a comprender los modelos estudiados en temas ante-
riores
CATALINA: Estimados alumnos y alumnas, os animo a que sigáis aportando vuestras valoraciones, reflexiones, sobre el modelo
lógico ,que, ciertamente, es un enfoque que ofrece una secuenciación muy adecuada para valorar de un modo global, holístico, la
razón de la Evaluación de Programas sobre el diseño, planificación, aplicación y sus resultados.
Y las ventajas que ofrece el modelo lógico, y su diagrama, en las veces que queramos hacerlo, con finalidades distintas, para
asegurar que se han analizado y priorizado las necesidades, en función de las oportunidades para su solución, y consenso, ...
Facilita realizar la comunicación, la información, para conseguir la colaboración, la implicación de todos.
Imaginad el diagrama en una transparencia sobre otras, o una página sobre otra, con distintas finalidades, para juntas ofrecer una
información completa de todo el proceso.
Para evaluar todo el proceso, dimensión a dimensión, paso a paso, con las técnicas que consideremos más adecuadas, informando
a todos, consensuando con todos...la formulación de relaciones, la búsqueda de relaciones de causa efecto, explicaciones, prue-
bas,
Para recoger información,
Para realizar el informe...
Os he puesto el power point, que lo he revisado, de la grabación del team sobre el modelo lógico, -os lo digo porque ofrece una
síntesis que os puede ayudar a comprenderlo mejor-, y ya sabéis que volví a grabarla.
94
6. TEMA 6: Joint Committee

Comenzamos los debates sobre el Tema 6. Y nos vamos a referir a la calidad de los programas educativos y a su evaluación.
La calidad debe prevenirse. Es decir, los programas, las organizaciones, deben diseñarse, organizarse, atendiendo a los principios
de calidad, a los criterios de la calidad.
Calidad se define como la adecuación de un producto o servicio a las características especificadas.
Así lo define Phil Crosby (1979): calidad es conformidad con las características inherentes.
Una organización, un programa, un producto, un servicio, es de calidad si lo que dice que es, sus características inherentes, las
cumple. Para conseguir que un producto o servicio sea de calidad hay que prevenir, definir qué se entiende porque ese producto
o servicio sea de calidad, desarrollarlo, realizarlo de acuerdo con esas características que dice tener, que le son inherentes a su
definición, y medirlo, recoger evidencias, de una manera sistemática, válida, valiosa y fiable, para comprobar, garantizar, que lo
que dice ser es.
Pues teniendo en cuenta lo que es la calidad, y lo estudiado en la asignatura y en este Tema sobre las Normas del Joint Committee:
¿Cómo aplicaríais los principios sobre la calidad a un programa educativo para desarrollarlo en un centro educativo?
Para conseguir que los programas sean de calidad, se debe dar un alineamiento entre:
1) las especificaciones del programa para atender las necesidades, junto con las estrategias y los recursos necesarios para su
aplicación,
2) su aplicación mediante los procesos necesarios para ello y
3) los resultados conseguidos para atender las necesidades.

Contestad de modo breve, concreto y preciso, reflexionando sobre lo que se pregunta, y teniendo en cuenta los contenidos que
se estudian en la asignatura.
Alumna:
1) las especificaciones del programa para atender las necesidades, junto con las estrategias y los recursos necesarios para su
aplicación,
Para asegurarnos de que un programa educativo cumple con un nivel de calidad debemos hacer una evaluación del programa, y
esta evaluación debe cumplir con un mínimo de criterios de calidad, como pueden ser:
- Metas claras, concisas, definidas, acompañadas de criterios de valor y estándares acordes con las necesidades que busca satis-
facer el programa y/o evaluación
- Coste-beneficio: que los beneficios del programa evaluativo superen los costes, esfuerzos, y recursos que se requieren
- Que los recursos (humanos, materiales y económicos) a utilizar estén optimizados
- Que las estrategias de la evaluación concuerden con lo que se pretende conseguir a partir del programa (coherencia interna)
2) su aplicación mediante los procesos necesarios para ello y
En la parte de la aplicación del programa (evaluación procesual), se deben estudiar todos aquellos elementos que se han puesto
en marcha con el fin de detectar posibles dificultades, problemas, deficiencias en el programa y en la evaluación del programa, de
igual modo, es conveniente hacer una comparación entre lo que se pretendía realizar con lo que se está llevando a cabo, para
comprobar si se están siguiendo los criterios, organización, y la planificación programada. Podemos hacernos preguntas tales
como: ¿Se está aplicando adecuadamente la evaluación? ¿la evaluación se está usando para los fines para los cuales se ha creado?
¿los participantes de la evaluación están implicados en este procedimiento? ¿Los profesionales participantes tienen problemas
para llevar a cabo las actividades que se les ha encomendado?
3) los resultados conseguidos para atender las necesidades.
En esta fase nos centramos en estudiar los resultados conseguidos a partir de la evaluación, se trata de comprobar qué criterios
se han logrado, cómo, por qué, y qué objetivos no se han conseguido y por qué, con el fin de comprobar la calidad misma del
programa y su evaluación, no solo por sus resultados, sino también por su planificación y actuación. Nos planteamos si se han
cumplido los criterios éticos y legales, si hemos conseguido información relevante para mejorar la calidad del programa, si hemos
conseguido satisfacer las necesidades de los beneficiarios y/o audiencias, si se han difundido los informes evaluativos con hones-
tidad, transparencia, precisión, y acorde a las audiencias a las que va dirigida la evaluación, si el diseño del programa evaluativo
ha seguido las normativas acordadas, lo que aseguran una calidad en la evaluación, si las conclusiones están justificadas y están
encaminadas a la aplicación práctica para futuros programas y evaluaciones de dicho programa…
Catalina : Estimada alumna, está aceptable, se trataba de reflexionar, y lo has hecho en relación con tres momentos clave del di-
seño y evaluación de programas.
95
En el primer momento para asegurar que el programa está bien diseñado de acuerdo con las metas, los resultados que quiere con-
seguir, a través del desarrollo de los contenidos y las estrategias que necesita desarrollar, utilizar, aplicar, para conseguirlos. Esta
sería la evaluación en sí del programa, con fines de aseguramiento de la calidad, de prevención.
El segundo momento, para comprobar cómo se aplica el programa, de acuerdo con los propósitos, sus contenidos, las estrategias,
en el contexto, con los beneficiarios, observando, comprobando, si la aplicación del programa está realizándose de acuerdo con lo
planificado, y si consigue los efectos pretendidos. Esta sería la evaluación procesual, con fines de mejorar a tiempo.
El tercer momento, valoración de los resultados conseguidos, y su relación con los pretendidos por el programa, y cómo se ha
aplicado. Sería la evaluación retroactiva, sumativa.
Se asegura la calidad del programa diseñando bien el programa.
Y se evalúa la calidad del programa, su aplicación y sus resultados, utilizando las normas de evaluación de la calidad de progra-
mas del Joint Committee, asegurando que la evaluación sea realizada con el propósito de su utilidad, su viabilidad, su honestidad,
su precisción y su responsabilidad.
La calidad de los programas educativos, y de cualquier empresa humans, hay que asegurarla. Y evaluarla.
saludos cordiales,
Catalina Martínez Mediano
96

Ev. de Programas Mis Apuntes, SFP

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Ev. de Programas Mis Apuntes, SFP

Cargado por

Copyright:

Formatos disponibles

Sonia Fernández Peña Evaluación de programas 2020-2021

2.6 La evaluación formativa y sumativa ............................................................................................................................ 21

2.1 Primer momento: Etapa inicial: Evaluación del programa en sí mismo...................................................................... 48

Lalala Sale en los apuntes de Catalina o lo ha comentado

Abarca diversos grupos de actividades, sucesivas, según se trate de:3

Los criterios y las referencias para la evaluación de programas

Preguntas test. Tema 1

c. El valor y el mérito del programa

Ejercicios del foro. TEMA 1 Items, Criterios y estándar o referencia

Las metodologías aplicadas tie- Eficacia

La implicación de los padres Los padres colaboraron apor- Eficacia Criterial

La implicación de los padres en

Resultados del programa Han adquirido conocimientos Eficacia Criterial

Los niños y niñas han adquirido Eficacia Criterial

2.4 La evitación de los prejuicios

3. La evaluación orientada al consumidor

6. Tabla resumen del enfoque de evaluación de programas de Scriven

Preguntas test. Tema 2

7. La evaluación formativa, en relación con el programa, se centra en:

b. Los objetivos del programa

3.1 El concepto de evaluación de programas

La evaluación es definida por Stufflebeam, del siguiente modo:

3.2 Los cuatro tipos de evaluación del modelo CIPP

3.4 Componentes esenciales de valor del modelo CIPP

- valorar cómo el personal lo aplica.

5. La lista de control para la evaluación

6. Evaluación de la eficacia y eficiencia

10. Informe final de síntesis

6. Resumen del modelo CIPP de evaluación de programas

Pregunta test. Tema 3

13. La evaluación del producto en el modelo CIPP ayuda:

TEMA 4: El Modelo de Evaluación de Programas Educativos de Ramón Pérez Juste

Pérez Juste define la evaluación de programas como:

Momentos clave para la mejora de los programas a través de su evaluación

2. El modelo evaluativo para la práctica evaluativa

2.4 Cuarto momento: Institucionalización de la evaluación

3. EJEMPLO PÉREZ JUSTE Pautas para la mejora la evaluación de programas educativos.

TERCER MOMENTO: Evaluación final del programa

Pregunta test: Tema 4

c. Las propuestas de mejora del programa.

Marco de trabajo del modelo lógico

1) Análisis de las necesidades en las situaciones concretas

Se alinean en dos bloques:

Desde la perspectiva de la evaluación, un modelo lógico:

9. Importante para el caso práctico. Modelos LOGICOS

4. Los criterios de calidad

5.2. La elaboración de instrumentos para la recogida de información

La recogida de información en la evaluación de programas

Compromiso con el rigor y la responsabilidad en la investigación evaluativa

12. Estructura del informe de evaluación

Portada: Título/ autor/ fecha

Pregunta test: Tema 5

3. Las Normas para la evaluación de programas del Joint Committee

3.3. Normas de probidad o adecuación legal y ética

Pregunta test: Tema 6

TEMA 7: Técnicas e instrumentos para la recogida de información en la evaluación de programas

Ambos enfoques de observación son aplicables en la evaluación de programas para:

3.4. Instrumentos para el registro de la información

14. EJEMPLO DE REGISTRO NARRATIVO ABIERTO (OBSERVACIÓN)

15. EJEMPLO REGISTRO DE OBSERVACIÓN PARTICIPANTE

3.5. Características de la observación participante

Preguntas test del tema 7 u otros:

8. Las organizaciones inteligentes son aquellas que: