Secretaria de Educación de Chiapas

Dirección de Educación Superior

Centro de Estudios Universitarios San Cristóbal
(CEUSC)
Área: Posgrado
Maestría en Educación

Asignatura: Teoría de evaluación de proyectos educativos.

UNIDAD 3. PROCEDIMIENTOS PARA LA REALIZACIÓN DE
UNA EVALUACIÓN DE PROGRAMAS.

Elaborado por:

LIC. JESÚS EDUARDO SUASNAVAR LOPEZ

Catedrático:

DR. AMILCAR PÉREZ CAÑAVERAL

San Cristóbal de las Casas, Chiapas; 20 de abril de 2018

 PROCEDIMIENTOS PARA LA REALIZACIÓN DE UNA EVALUACIÓN DE
PROGRAMAS.

Características de los programas.

Un programa se basa en una teoría para conseguir unos cambios y la evaluación

es la prueba de cómo lo consigue.

Para organizar una evaluación que proporcione pruebas fidedignas, rigurosas,

válidas y fiables, el evaluador o evaluadores necesitan comprender las premisas
teóricas que subyacen en los programas.

El modelo lógico para el diseño y evaluación de programas.

El enfoque lógico de programas pretende facilitar el diseño de un mapa y de las

acciones para conseguir sus metas, para, de ese modo, ayudar a su
comprensión y a su evaluación.

1 2 3 4 5 6

Programa Medios Procesos Resultados Metas Impacto

Lo planeado Los resultados pretendidos

En el lado planeado se debe incluir una descripción de todo lo

necesario para conseguir los resultados pretendidos, es decir:

2.- Los recursos de 3.- Los procesos de

personal, de organización,
de financiación y los
1. - El propio Programa
recursos de la comunidad
en la que se va a aplicar el
programa.
personal, de organización,
de financiación y los
recursos de la comunidad
en la que se va a aplicar el
programa.
 En el lado de los resultados se incluye todo lo que el programa
pretende conseguir, y nos referimos a:

4.- Los Resultados, 5.- Las metas específicas 6.- El impacto o metas a largo
de organización, de conseguidas en corto plazo, a través de los cambios
financiación y los plazo, y su grado de conseguidos que benefician a los
recursos de la consecución, con una participantes, a la organización y
comunidad en la perdurabilidad en torno a a la comunidad con duración en
que se va aplicar el 3-4 años. torno a 5-7 años y más.
programa.

Relaciones entre los

elementos fundamentales para la aplicación de un programa y su
evaluación.
Diseño del programa y su presentación.
Planificación de su implementación.
Elementos del programa. Implementación y gestión del programa
Evaluación Formativa
Evaluación sumativa
Informes de los resultados

Buena definición de las metas y objetivos del

programa, así como de sus posibles efectos a lo
largo del tiempo.
Las metas y objetivos del programa deben ser
Criterios para garantizar el éxito del programa. plausibles y posibles de conseguir.
Debe permitir obtener información relevante,
creíble y útil sobre la realización del programa.
La evaluación continua del programa durante su
aplicación.
Relaciones entre los elementos fundamentales Identificación de los que van a usar los resultados
para la aplicación de un programa y su evaluación. de la evaluación.

Facilita comprobar las lagunas existentes entre los

Beneficios de usar el modelo lógico para la
evaluación del programa.
principios o lógica del programa, y ayuda a
resolverlos.
Construye una comprensión compartida sobre el
programa en su totalidad y como debe funcionar
cada una de sus partes.
Centra la atención de la gestión sobre las
relaciones más importantes entre las acciones y los
resultados.
Facilita la mejora del diseño del programa, la
adecuación de los recursos para la planificación y
realización de los procesos.
Información acerca de las metas conseguidas tras
su aplicación, y la resolución de necesidades o de
un problema.
Proporciona un modo de implicar y comprometer a
los responsables en el diseño, procesos y uso de
los resultados de evaluación.
 El enfoque lógico para el diseño, implementación y evaluación de los programas
sugiere tener en cuenta tres ideas:

- Describir los programas con un lenguaje claro y específico para que

puedan ser entendidos y evaluados.
- Centrarse, para su aplicación, en los recursos y actividades prioritarias del
programa y en los resultados claves, como propósitos de aprendizaje
sobre el programa y su mejora.
- Elaboración de informes y desarrollo de comunicaciones para los distintos
grupos de audiencias, con estrategias de marketing para la mejor difusión
de los resultados del programa.

Cuestiones para la realización de una evaluación de programas.

CUESTIONES PARA LA
REALIZACIÓN DE UNA
EVALUACIÓN DE
PROGRAMAS.

La El programa y Las audiencias a Normas de Tipo de La utilización de Las normas de

evaluabilidad sus las que se debe actuación para la información que los resultados la evaluación y
de los componentes informar sobre la aplicación del debe ser recogida de la la meta –
programas. Principales. evaluación. programa. en la evaluación evaluación. evaluación.
de programas.

La evaluabilidad de los
programas.

Entrevistar al
personal implicado
1.- Disponer del en el programa Explorar como se Desarrollar un Identificar a los Lograr acuerdos
propio documento para conocer su está aplicando el modelo de usuarios de los del procedimiento.
del programa, o disponibilidad para programa. evaluación del resultados de la
poder elaborar colaborar en la programa, y un evaluación y sus
una descripción evaluación de plan para la beneficiarios.
clara del mismo. programas. evaluación.
El programa y sus componentes principales.

Los diferentes modelos de la evaluación de programas son guías para la

realización de evaluaciones de programas, tanto para orientar sobre los
elementos del propio programa, como procedimientos para su evaluación.

Stufflebeam y colaboradores incluyen cuatro áreas que deben ser objeto de

evaluación, como componentes importantes de la vida de un programa, que son
las siguientes:

Las metas que debe de alcanzar el programa, en

coherencia con los problemas y necesidades sentidas
por la comunidad, y que son la razón de ser del
programa.

El diseño del programa, que presenta de modo

coherente los contenidos del programa, fundamentos
en teorías, que guiarán la planificación de las acciones
que debe realizar el programa para resolver los
problemas.

La aplicación del programa, con acciones coherentes

con la teoría que subyace en el programa, y que
deberán evidenciarse durante los procesos de
realización.

Los resultados que obtiene el programa y el impacto

en el medio y largo plazo.
Las audiencias a las que debe informar sobre la evaluación.

Se identifican varios grupos que pueden promover una evaluación y se

beneficiarían de ella:

- Los responsables del programa

- Los que lo ponen en práctica
- Aquellos a quienes va dirigido el programa: sus beneficiarios directos,
alumnos y los padres.
- Los siguientes niveles educativos que acogerán a los alumnos del anterior
nivel, las empresas que acogerán a los egresados formados en ese
programa,
- Las autoridades educativas y los patrocinadores y promotores de los
programas.
- La comunidad y la sociedad.

Los criterios de calidad del programa.

En esta fase se deben seleccionar y definir los criterios de calidad, tanto referidos
al propio programa como a los principios y contenidos que orientan la acción.

En relación con los criterios de la evaluación, los evaluadores deben lograr

acuerdos con los patrocinadores o los promotores de los programas. Clarificar
los criterios de calidad con los que debe trabajar el programa para conseguir sus
objetivos es clave para la evaluación.

Normas de actuación para la aplicación del programa.

La elaboración de las normas de actuación de los programas guarda relación

con la concreción de cómo se debe aplicar el programa para conseguir los
objetivos pretendidos para resolver las necesidades, en coherencia con los
criterios de calidad previamente determinados.
 Tipos de información que debe ser recogida en la evaluación de programas.

La recogida de información del programa debe realizarse durante todo el proceso

de vida del programa, comenzando por la propia conceptualización del
programa, seguido de los procedimientos para su puesta en práctica,
continuando por el seguimiento de su aplicación, y terminado por los resultados
y su impacto.

Para la recogida de información deben elaborarse instrumentos que tengan en

cuenta las características del programa y de su aplicación, y la información en
relación a dichas características y las necesidades de las distintas audiencias.

Scriven utiliza la evaluación formativa, como recogida de información para

ayudar a la mejora del programa, y a la evaluación sumativa, para probar si el
programa ha funcionado del modo en que se había planeado y si consigue los
resultados pretendidos.

La evaluación formativa. La evaluación sumativa.

Para mejorar la calidad del programa.

Para probar la calidad del programa. Proporciona
Proporciona información que puede ser
información que puede ser utilizada para
compartida rápidamente por aquéllos que están
demostrar a los patrocinados y a la comunidad
aplicando el programa. Genera informes
los resultados del programa.
periódicos.

Se centra principalmente en los resultados

Se centra principalmente en las actividades del
inmediatos del programa y en su impacto. Si bien
programa, los recursos, las meta a corto plazo,
los datos pueden ser recogidos a lo largo de la
con propósitos de supervisar el progreso y hacer
vida del programa, su propósito es determinar el
correcciones durante el curso del programa,
valor y el mérito del programa concentrándose
cuando se necesite.
en los resultados.

Ayuda en la descripción de la calidad y de

Ayuda a aportar sugerencias para la mejora
del programa y su aplicación, y para informar
al personal que lo aplica.
eficacia del programa mediante la
documentación de su impacto sobre los
participantes y la comunidad.
 Los métodos en la evaluación de programas.

La evaluación utiliza un gran variedad de métodos, ya sean cualitativos, como la

observación participante, la discusión en grupo, o cuantitativos, como los diseños
de investigación, utilizando metodologías de recogida de información tales como
la observación sistemática, pruebas de rendimiento, cuestionarios de valoración,
dependiendo del objetivo y fase de la evaluación del programa.

LA RECOGIDA DE INFORMACION EN LA EVALUACION DE PROGRAMAS

Componentes Dimensiones Objeto Finalidad

Resultados de evaluaciones
previas, lectura de informes,
ANÁLISIS DE Las personas y sus
El contexto memorias, realización de
NECESIDADES contextos
encuestas, entrevistas y
observaciones.
Análisis de la conceptualización,
La calidad de las
estructura y contenido del
EL PROGRAMA EN SU metas, y su Principios y teorías,
programa, comparación con otros
CONCEPTUALIZACIÓN Y organización en metas, contenido,
programas que han sido eficaces,
ESTRUCTURA relación con las estructura y viabilidad.
en condiciones y problemas
necesidades a resolver
similares.
Análisis del contexto, evaluación
Contexto, recursos, Estrategias, de la planificación, evaluación de
PLANIFICACIÓN DE LA
estrategias para su actividades, clima, los recursos, comparación con
PUESTA EN ACCIÓN
aplicación criterios y referencias criterios de calidad para
implementación de programas.

Evaluación de los ritmos del

ANÁLISIS DE LOS Clima, medida de Constatación, criterios programa, de la participación y
PROCESOS logros y valoración y referencias satisfacción (Observación,
cuestionarios, entrevistas).

Comparación con criterios de

Inmediatos y a medio y
ANÁLISIS DE LOS calidad, efectos del programa,
largo plazo, Continuidad, cambio y
RESULTADOS Y DEL positivos y negativos, evaluación
Satisfacción de las mejoras y terminación
IMPACTO de satisfacción y diseños causi-
necesidades
experimentales.

Decisiones sobre los Informe y propuestas de mejoras,

PROPUESTAS DE Programa, personas,
distintos elementos del planificación de su aplicación y
MEJORA contextos y recursos
programa seguimiento.
 Elaboración de los informes de la evaluación de programas.

LOS INFORMES DE EVALUACIÓN DEBEN

MOSTRAR.

Los procesos seguidos Las fuentes de donde Los métodos, técnicas Los criterios con los Los criterios en los que se
Las cuestiones que para realizar la toman sus datos en los e instrumentos que se comparan los basa que le lleven a emitir
han aconsejado la diferentes momentos utilizados, de acuerdo programas, su los juicios valorativos sobre
evaluación.
evaluación. de la evaluación. con el objetivo y la funcionamiento y sus el programa, e indicaciones
dimisión a evaluar. resultados. para el seguimiento de su
puesta en práctica.

El plan para incorporar las

Las recomendaciones que se derivan recomendaciones al programa, e
de la evaluación. indicaciones para el seguimiento de
su puesta en práctica.

La utilización de los resultados de la evaluación.

El evaluador debe ser consciente de que los resultados de la evaluación deben
ser comunicados a todos los que tienen derecho a conocerlos, y debe llegar allí
adónde se toman las decisiones, de un modo adecuado y a tiempo.

Los resultados de la evaluaciones tiene como finalidad contribuir a la toma de

decisiones de cambio y mejora delos programas, de la organización en la que se
desarrolla, del personal que los aplica y de los que se benefician de ellos.
 Las normas de evaluación y la meta- evaluación.

Normas de utilidad: dirigidas a asegurar que una evaluación servirá a las

necesidades de información práctica de las audiencias y posibles usuarios. Estas
normas tienen que ver con la identificación y formulación de las cuestiones para
la evaluación centrada en cuestiones relevantes atendiendo las necesidades de
información de los promotores de la evaluación y los usuarios y beneficiarios.

Normas de viabilidad: dirigidas a asegurar que una evaluación esté diseñada y

conducida de tal modo que sea realista, prudente, diplomática, y ajustada frugal
en relación con el coste-beneficio. Una evaluación debe ser viable, factible, y
asegurar que es realista y eficiente.

Normas de Honradez: Para asegurar que es conducida de un modo legal y

éticamente, basada en compromisos explícitos, que aseguren la necesaria
cooperación, la protección de los grupos implicados, y la honestidad de los
resultados.

Normas de Precisión: Para asegurar que revela y comunica la información

encontrada, describe con claridad el objeto evaluado en su evolución y en su
contexto, revela las virtudes y defectos del plan de evaluación, de los
procedimientos y de las conclusiones (meta- evaluación) y proporciona
conclusiones válidas y fidedignas.

LAS NORMAS PARA LA EVALUACION DE PROGRAMAS EDUCATIVOS Y

LISTAS DE CLAVES DE CONTROL DE LA EVALUACIÓN.

U: NORMAS DE UTILIDAD

U1 Credibilidad del U2 Atención a las U5 Información

U3 Fines negociados U4 Valores explícitos
evaluador audiencias Relevante

U6 Procesos y productos U7 Oportuna y adecuada U8 Preocupación por las

significativos comunicación y presentación de los consecuencias y la influencia
informes
 U: NORMAS DE VIAVILIDAD.

F1 Gestión de F2 Procedimientos F3 Viabilidad F4 Uso de Recursos

Proyectos prácticos contextual

P NORMAS DE LEGITIMIDAD

P1 Orientación de P3 Derechos P5 Transparencia y

confianza e P2 Acuerdos formales Humanos y Respeto P4 Claridad y Equidad
Divulgación
integradora

P6 Conflictos de P7 de
Intereses Responsabilidad
Fiscal

P NORMAS DE LEGITIMIDAD

P6 Conflictos de P6 Conflictos de P6 Conflictos de P6 Conflictos de P6 Conflictos de

Intereses Intereses Intereses Intereses Intereses

P6 Conflictos de P6 Conflictos de P6 Conflictos de

Intereses Intereses Intereses