Documentos de Académico
Documentos de Profesional
Documentos de Cultura
EVALUACIÓN DE PROGRAMAS Y
PROYECTOS DE EDUCACIÓN
SOCIAL
Vicente Matia Portilla
Brizeida Hernández Sánchez
BLOQUE 1
CONCEPTO, CARACTERÍSTICAS Y
FUNCIONES DE LA EVALUACIÓN DE
PROGRAMAS
1
14/09/2023
EL CICLO DE LA INTERVENCIÓN
SOCIOEDUCATIVA
EL CICLO DE LA INTERVENCIÓN
SOCIOEDUCATIVA
2
14/09/2023
EL CICLO DE LA INTERVENCIÓN
SOCIOEDUCATIVA
Aunque la evaluación se percibe como uno de los
eslabones de este ciclo en espiral, en realidad constituye
un elemento básico que afecta a todos los procesos:
• Evaluación de la idea: habrá que analizar si la idea de la que se parte
es oportuna, útil, viable y posible, si merece la pena, si realmente
ayudará a resolver la situación de partida, etc.
• Evaluación del diseño: será preciso examinar si el diseño es
adecuado, si tiene la calidad necesaria, si las decisiones tomadas son
válidas, si la propuesta es pertinente, etc.
• Evaluación del desarrollo: deberá averiguarse si la implementación
de la propuesta cumple unas condiciones mínimas de calidad, si
produce resultados, tanto deseados (efectos primarios) como no
deseados (efectos secundarios), etc.
• Evaluación de la evaluación: será conveniente estudiar tanto la
viabilidad y oportunidad de la propia evaluación (evaluación de la
evaluabilidad), como la calidad del propio proceso evaluador
(metaevaluación).
3
14/09/2023
4
14/09/2023
5
14/09/2023
TIPOS DE EVALUACIÓN
TIPOS DE EVALUACIÓN
SEGÚN EL NIVEL DE GESTIÓN:
6
14/09/2023
TIPOS DE EVALUACIÓN
TIPOS DE EVALUACIÓN
SEGÚN EL MOMENTO:
Los distintos tipos de evaluación varían según el momento en que se
realicen. Los tipos de evaluación son: ex-ante, de proceso, ex-post y
de impacto.
•Evaluación ex-ante (evaluación inicial): Se efectúa antes de la
aprobación de la propuesta, con el fin de conocer su pertinencia, viabilidad y
eficacia potencial. Con ella, se pretende seleccionar, de entre varias
alternativas técnicamente factibles, aquélla que produzca el mayor impacto
con el mínimo costo. Este tipo de evaluación puede generar la necesidad de
incorporar ajustes que resulten convenientes al desarrollo de la propuesta,
lo cual podría acarrear, a su vez, cambios en el diseño inicial de la misma
(en los objetivos, en la definición de los beneficiarios, en la temporalización,
en el presupuesto,…).
•Evaluación de proceso, operativa, de medio término o continua
(evaluación procesual): Se realiza a medida que la propuesta se va
desarrollando y guarda estrecha relación con el seguimiento de la misma.
Permite conocer los logros, los avances y las dificultades que se producen
en el cumplimiento de los objetivos, en la consecución de resultados, en la
calidad de las acciones, en la idoneidad de las metodologías, los medios y
recursos empleados, en la calidad de la propia evaluación, etc. La finalidad
es descubrir los aspectos positivos y negativos del proceso, al objeto de
promover la mejora continua del mismo. También permitirá el sucesivo
perfeccionamiento del modelo de intervención.
7
14/09/2023
TIPOS DE EVALUACIÓN
SEGÚN EL MOMENTO:
8
14/09/2023
TIPOS DE EVALUACIÓN
TIPOS DE EVALUACIÓN
SEGÚN SU EXTENSIÓN:
– Evaluación global: se centra en el análisis de todos
los componentes o dimensiones que conforman la
propuesta. Se considera el objeto de la evaluación
desde una perspectiva holística, como una totalidad de
elementos que interactúan entre sí, de modo que
cualquier modificación en uno de sus componentes o
dimensiones afectaría a todos los demás. Este tipo de
evaluación permite lograr una mayor comprensión de la
realidad evaluada, aunque también es más compleja y
a veces no resulta posible o viable.
– Evaluación parcial: Focaliza el objeto de evaluación
en el estudio de algunos de los componentes o
dimensiones que configuran la propuesta (objetivos,
acciones, medios empleados, presupuesto,…).
9
14/09/2023
TIPOS DE EVALUACIÓN
SEGÚN LOS AGENTES EVALUADORES:
• Evaluación interna: es aquella que es llevada a cabo y promovida por los
propios agentes de la entidad, implicados en el diseño y desarrollo de la
propuesta. Esta tipología permite diversas modalidades: autoevaluación,
heteroevaluación y coevaluación.
Autoevaluación: los evaluadores evalúan su propia labor (la
propuesta, su desarrollo). Los roles de evaluador y evaluado coinciden
en las mismas personas.
Heteroevaluación: La evaluación se realiza por personal de la propia
entidad, pero los evaluadores son personas diferentes a los ejecutores
de la propuesta.
Coevaluación: es aquella en la todos los agentes implicados se
evalúan entre sí (todos evalúan a todos). Así, el papel de evaluador y
evaluado es realizado por todos, intercambiando alternativamente su
rol.
• Evaluación externa: es aquella que es llevada a cabo por agentes ajenos
a la entidad y a las funciones de diseño y desarrollo de la propuesta.
Generalmente se trata de evaluadores expertos contratados por la propia
entidad o por algún organismo de control externo a la misma.
Ambos tipos de evaluación se consideran necesarios y se
complementan mutuamente.
TIPOS DE EVALUACIÓN
10
14/09/2023
A) El objeto de evaluación.
B) La finalidad.
C) El momento evaluativo.
E) La instrumentalización.
F) El evaluador.
G) El referente.
• educandos,
• educadores y otros profesionales,
• propuesta educativa,
• recursos,
• planes y programas, proyectos,
• estrategias metodológicas,
• instituciones socioeducativas
• Contextos
• Etc.
11
14/09/2023
• La evaluación formativa tiene que ver con el desarrollo del programa (evaluación de
proceso) en un contexto determinado. Su propósito está directamente relacionado con la
mejora y optimización del mismo en el transcurso de la acción educativa. Permite, pues,
el ajuste racional de dicha acción según las vicisitudes que la misma encuentra y afecta
básicamente a las estrategias de desarrollo (implementación de nuevos medios y
recursos, ajuste de la temporalización cambio de actividades y papel de los agentes, etc.)
12
14/09/2023
13
14/09/2023
G) El referente:
14
14/09/2023
15
14/09/2023
EVALUACIÓN DE LA EVALUABILIDAD
EVALUACIÓN DE LA EVALUABILIDAD
16
14/09/2023
EVALUACIÓN DE LA EVALUABILIDAD
DEFINICIONES:
• “La evaluación de la evaluabilidad es un medio que nos
sirve para asegurar usos más prudentes con los escasos
medios humanos y materiales disponibles… (así como)
para ayudar con este tipo de pre-evaluación a conseguir
evaluaciones técnicamente más factibles que logren sus
objetivos con mayor probabilidad” (Rutman, 1980).
• “La evaluación de evaluabilidad no muestra sólo si un
programa puede ser significativamente evaluado
(admitiendo que todos los programas pueden serlo), sino
que contribuye a clarificar si la evaluación aportará
mejoras sobre el rendimiento del programa”. (Wholey,
1994) .
EVALUACIÓN DE LA EVALUABILIDAD
CARACTERÍSTICAS DE LA EVALUABILIDAD (Merino, 2007).
• Saca a la luz la calidad de la conceptualización de la propuesta en la
fase de planificación, analizando su diseño, necesidades y objetivos.
• Cuanto mayor rigor haya observado el diseñador de la propuesta en la fase
de planificación, más fácil será comprobar su evaluabilidad.
• Responde a una lógica sistemática de “abajo arriba”, que irá
reconstruyendo un proceso desde las acciones concretas de la propuesta y
sus resultados hasta su fundamento y objetivos.
• Verifica la existencia y la accesibilidad a la información necesaria, en
calidad y cantidad, que permitiría llevar a cabo la evaluación. Si no hay
datos suficientes o los que hay no resultan relevantes, la evaluabilidad
desaconsejaría la evaluación.
• Informa sobre la implicación y disposición del órgano gestor y
responsable frente a la posible evaluación, constatando sus resistencias o
colaboración. En definitiva, uno de los objetivos perseguidos con el análisis
de la evaluabilidad es crear un clima favorable, de cooperación e interacción
entre “evaluados y evaluadores” para facilitar la evaluación.
• Analiza la dotación de recursos con los que cuenta para la evaluación.
17
14/09/2023
EVALUACIÓN DE LA EVALUABILIDAD
LAS PREGUNTAS A LAS QUE DEBE DAR RESPUESTA SON:
1) En Primer lugar, cuestiones referentes a la propia
evaluación:
¿Merece la pena evaluar?
¿Cómo se podría analizar la propuesta?
¿Qué tipología de evaluación resultaría más conveniente?
¿Cuál sería el diseño más apropiado para evaluar la
propuesta?
¿Con qué técnicas e instrumentos conviene hacerlo?
2) En segundo lugar, aspectos relacionados con la propuesta:
¿Qué cosa era en su origen una propuesta y en qué se ha
convertido tras la implementación?
¿Cuáles eran las metas y objetivos perseguidos?
¿Cómo se alcanzan en la actualidad?.
¿Cuáles son los medios utilizados y cómo se utilizan?
¿Cuál es la teoría política subyacente a la propuesta?
META-EVALUACIÓN: CONCEPTO
Se define como:
18
14/09/2023
META-EVALUACIÓN: CARACTERES
META-EVALUACIÓN: FINALIDAD
La meta-evaluación cumple dos finalidades básicas (Stufflebeam, 1974):
•La meta-evaluación que sirve a la toma de decisión debe ser llamada meta-
evaluación formativa.
19
14/09/2023
META-EVALUACIÓN: TIPOLOGÍA
META-EVALUACIÓN: TIPOLOGÍA
20
14/09/2023
META-EVALUACIÓN: TIPOLOGÍA
Según el contenido o la fase del programa evaluado (diseño, proceso o
resultados):
META-EVALUACIÓN: TIPOLOGÍA
21
14/09/2023
META-EVALUACIÓN: TIPOLOGÍA
2. La evaluación sirve a la toma de decisión y a la rendición La meta-evaluación debe proporcionar información proactiva de
de cuentas. soporte (o respaldo) a las decisiones que se toman en la conducción
del trabajo evaluativo y debe proporcionar información retroactiva
para ayudar a los evaluadores responsables de su trabajo evaluativo
anterior. Es decir, la metaevaluación debe ser formativa y sumativa.
3. La evaluación deben valorar la finalidad, diseños, La meta-evaluación debe evaluar la importancia de los objetivos de la
implementación y resultados. evaluación, la idoneidad de su diseño, la adecuación de la
implementación al diseño de la evaluación y la cualidad e importancia
de los resultados de la evaluación.
4. La evaluación debe proporcionar una información La meta-evaluación debe describir y juzgar el trabajo evaluativo,
descriptiva, crítica y además recomendaciones apropiadas. también debe recomendar cómo las evaluaciones pueden ser
perfeccionadas y cómo los hallazgos pueden ser usados
apropiadamente.
5. La evaluación debe servir a todas las personas, tanto La meta-evaluación debe servir a los evaluadores y a todas las
aquellas que están involucradas en ella como aquellas que personas que están interesadas en el trabajo de los evaluadores.
han sido afectadas por el programa.
6. La evaluación debe ser conducida por personas internas La meta-evaluación debe realizarse con carácter formativo, y a la vez
(evaluación formativa) y externas al programa (evaluación obtener juicios externos del valor global de las actividades evaluativas
sumativa). realizadas.
7. La evaluación involucra el proceso de esbozar los Los meta-evaluadores deben implementar tres pasos: determinar los
asuntos a los que se deben dirigir, el proceso de obtención asuntos específicos a que debe dirigirse la meta-evaluación; acopiar,
de la información necesaria y el uso de la información para organizar y analizar la información necesaria y finalmente emplear la
la toma de decisión y la rendición de cuentas. información obtenida en la toma de decisiones apropiadas y en la
rendición de cuentas.
8. La evaluación debe ser técnicamente adecuada, útil y La meta-evaluación debe satisfacer los mismos criterios.
efectiva.
22
14/09/2023
PAPEL DE LA META-EVALUACIÓN
23
14/09/2023
UTILIZACIÓN Se utilizan en todos los momentos de la evaluación (al diseñar la evaluación, al evaluar el
propio diseño y durante la implementación del mismo.
24
14/09/2023
ESTÁNDARES DE UTILIDAD
ESTÁNDAR DESCRIPCIÓN
U1 Identificación de los interesados. Debería identificarse a las personas implicadas o afectadas por la evaluación para
poder dar respuesta a sus necesidades.
U2 Credibilidad del evaluador. Las personas que llevan a cabo la evaluación han de ser dignas de confianza y
competentes como evaluadores, de modo que sus resultados tengan una credibilidad y
aceptación máxima.
U3 Foco y selección de la información. La información recogida debería seleccionarse en términos generales para responder a
cuestiones pertinentes del programa y a los intereses de los clientes y otros
interesados que se especifiquen.
U4 Identificación de valores. Deberían describirse cuidadosamente los enfoques, procedimientos y fundamentos
utilizados para interpretar los resultados de modo que queden claras las bases de los
juicios de valor.
U5 Claridad del informe. Los informes de evaluación deberían describir claramente el programa evaluado,
incluyendo el contexto y el propósito, procedimientos y resultados de la evaluación, de
modo que se proporcione información esencial y se entienda fácilmente.
U6 Oportunidad y difusión del informe. Deberían divulgarse los resultados provisionales significativos y los informes de
evaluación a los usuarios destinatarios, de manera que puedan utilizarlos en el
momento oportuno.
U7 Impacto de la evaluación. Las evaluaciones deberían ser planificadas, llevadas a cabo, e informar de ellas de
modo que fomenten su seguimiento por parte de los interesados, de manera que
aumente la probabilidad de que se utilice la evaluación.
25
14/09/2023
ESTÁNDARES DE VIABILIDAD
ESTÁNDAR DESCRIPCIÓN
V1 Procedimientos prácticos. Los procedimientos de evaluación deberían ser prácticos para reducir al
mínimo las interrupciones y molestias mientras que se obtiene la información
necesaria.
V2 Viabilidad política. La evaluación debería planificarse y llevarse a cabo anticipando las diferentes
posiciones de los diversos grupos de interés, de manera que pueda lograrse su
cooperación y puedan evitarse o contrarrestarse los posibles intentos de
cualquiera de estos grupos para limitar las actividades de evaluación o para
sesgar o usar indebidamente los resultados.
V3 Eficacia de costos. La evaluación debería ser eficiente y producir informaciones con el suficiente
valor, de modo que puedan justificarse los recursos empleados.
ESTÁNDAR DESCRIPCIÓN
P1 Orientación hacia el servicio. Las evaluaciones deberían diseñarse para ayudar a las organizaciones a atender y
responder con eficacia a las necesidades de toda la variedad de participantes destinatarios.
P2 Acuerdos formales. Las obligaciones de las partes formales de una evaluación (qué debe hacerse, cómo, por
parte de quién, cuándo) deberían ser acordadas y redactadas de manera que las partes
estén obligadas a adherirse a todas las condiciones de acuerdo o renegociarlo formalmente.
P3 Derechos de las personas. Las evaluaciones deberían diseñarse y llevarse a cabo respetando y protegiendo los
derechos y el bienestar de las personas.
P4 Relaciones humanas. Los evaluadores deberán respetar la dignidad y el valor de las personas en sus
interacciones con otras personas relacionadas con la evaluación, de manera que los
participantes no estén amenazados ni resulten dañados.
P5 Evaluación completa y justa. La evaluación debería ser completa y justa en su examen y registro de los puntos fuertes y
débiles del programa evaluado, de modo que se puedan desarrollar los puntos fuertes y
atender a las áreas problemáticas.
P6 Revelación de los resultados. Las partes formales de una evaluación deberían asegurarse de que la totalidad de los
resultados de la evaluación, teniendo en cuenta las limitaciones pertinentes, resulten
accesibles a personas afectadas por la evaluación y a cualquier otra con derecho legal
reconocido a recibir los resultados.
P7 Conflicto de interés. Los conflictos de intereses deberían afrontarse abiertamente y de un modo honesto, de
modo que no comprometan los procesos y los resultados de la evaluación.
P8 Responsabilidad fiscal. La disposición y el gasto de recursos por parte del evaluador deberían llevarse a cabo
mediante procedimientos de rendición de cuentas acertadas y además debe ser prudente y
éticamente responsable de manera que los gastos sean apropiados y se responda de ellos.
26
14/09/2023
ESTÁNDARES DE PRECISIÓN
ESTÁNDAR DESCRIPCIÓN
Pr1 Documentación del El programa evaluado debería ser descrito y documentado con claridad y precisión, de manera que se identifique
programa. claramente el programa.
Pr2 Análisis del contexto. Debería examinarse con el suficiente detalle el contexto en el que existe el programa, de modo que puedan
identificarse las posibles influencias sobre el programa.
Pr3 Propósitos y Debería realizarse un seguimiento y una descripción suficientemente detallada de los propósitos y procedimientos
procedimientos descritos. de la evaluación, de modo que puedan ser identificados y valorados.
Pr4 Fuentes de información Deberían describirse con el detalle suficiente las fuentes de información utilizadas en la evaluación de un programa,
defendibles. de modo que pueda valorarse la adecuación de la información.
Pr5 Información válida. Los procedimientos de recogida de información deberían ser elegidos o elaborados y posteriormente
implementados de modo que aseguren que la interpretación a la que se llegue es válida para el uso pretendido.
Pr6 Información fiable. Los procedimientos de recogida de información deberían ser elegidos o elaborados y posteriormente utilizados de
modo que aseguren que la información obtenida es suficientemente fiable para el uso pretendido.
Pr7 Información sistemática. La información recogida, procesada y de la que se informa en una evaluación debería ser revisada
sistemáticamente y todos los errores hallados deberían ser corregidos.
Pr8 Análisis de la La información cuantitativa de una evaluación debería ser analizada de un modo apropiado y sistemático para que
información cuantitativa. se responda eficazmente a las preguntas de la evaluación.
Pr9 Análisis de la La información cualitativa de una evaluación debería se analizada de un modo apropiado y sistemático para que se
información cualitativa. responda eficazmente a las preguntas de la evaluación.
Pr10 Conclusiones Las conclusiones a las que se llegue en una evaluación deberían ser justificadas explícitamente, de modo que los
justificadas. interesados puedan valorarlas.
Pr11 Informes imparciales. Los procedimientos seguidos para la elaboración del informe deben estar protegidos contra la distorsión causada
por los sentimientos personales y el sesgo de cualquier parte en la evaluación, de manera que los informes de la
evaluación reflejen con justicia los informes de la evaluación.
Pr12 Metaevaluación. Debería evaluarse la propia evaluación, formativa y sumativa, en referencia a estos u otros estándares pertinentes,
de manera que se guíe adecuadamente su proceso y, además, los interesados puedan examinar detalladamente
sus puntos fuertes y débiles tras su conclusión.
27