TEMA 1.

INTRODUCCIÓN A LA
EVALUACIÓN DEL IMPACTO

Leticia Velasco
3º Grado en Educación Social.
Módulo: Análisis, evaluación e investigación
de la realidad socioeducativa
Asignatura: Análisis del Impacto y la
Influencia Social
INDICE

TEMA 1. INTRODUCCIÓN A LA EVALUACIÓN DEL IMPACTO

1.CONCEPTOS BÁSICOS DE LA EVALUACIÓN

2.CARACTERÍSTICAS
3.FASES:
1.1.Diseño o planteamiento de la evaluación
1.2.Selección de operaciones a observar
1.3.Recolección de información
1.4.Análisis de datos
1.5.Informe
1. CONCEPTOS BÁSICOS

ACTIVIDAD 1: ¿Qué es para ti la evaluación?

Escribe en un papel una palabra sinónima de evaluación.

https://www.nubedepalabras.es/
1. CONCEPTOS BÁSICOS

¿Qué palabra destaca?

1. CONCEPTOS BÁSICOS

Se relaciona con términos como:

Clasificar
Examinar
Medir (Re)Valorizar

Analizar
Verificar
Orientar
Diagnosticar
Comprender
Criticar

Cooperar
Investigar
…
Describir
1. CONCEPTOS BÁSICOS

¿Qué es Evaluación de Programas?

“Un proceso sistemático, diseñado intencional y

técnicamente, de recogida de información rigurosa
—valiosa, válida y fiable— orientado a valorar la
calidad y los logros de un programa, como base
para la posterior toma de decisiones de mejora,
tanto del programa como del personal implicado y,
de modo indirecto, del cuerpo social en que se
encuentra inmerso”
(Pérez Juste, 1995)
1. CONCEPTOS BÁSICOS

¿Qué es Evaluación de Programas?

“El objeto de la evaluación es emitir un juicio

sobre la bondad de un programa para ayudar
a una toma de decisión y servir a una
función política”

Talmage (1982, p. 594)

 1. CONCEPTOS BÁSICOS

¿Qué es Evaluación de
Programas?

La evaluación se entiende como

un proceso que registra el cambio
experimentado en un sistema
mediante la monitorización del
programa (obtención de datos
basado en evidencias) y que tiene
como objetivo tomar decisiones
con relación al diseño, desarrollo o
resultado el programa

(Matas, 2019)
 1. CONCEPTOS BÁSICOS

¿Qué es Evaluación del impacto (efecto causal)?

“Determina si un programa generó los efectos

esperados en la población beneficiaria, y en qué
medida estos efectos se pueden atribuir
exclusivamente al programa implementado”.

Ejemplo: ¿Cuál es el efecto causal de las

becas sobre la asistencia escolar y el
logro académico? (Relación causa-efecto)
 2. CARACTERÍSTICAS
 Dinámica (proceso, cambiante actualizado en espiral)

 Contextualizada (complejos contextos sociales)

 Procedimiento y técnicas científicas (rigurosas y sistematizadas)

*¿Para evaluar un programa necesitas ser

un experto en el contenido del programa?

 Emisión de juicios de valor relativo a criterios. Por ejemplo:

 Pertinencia  ¿responde a necesidades concretas bien establecidas?

 Suficiencia  ¿los medios que se proponen son suficientes?

 2. CARACTERÍSTICAS
 Dirigida a la toma de decisiones:

 El mantenimiento o no del programa.

 Priorizar o justificar la dotación presupuestarla
 Modificar elementos del programa(ej.: contenidos, actividades, …)
 La generalización del programa a otras
situaciones.
 Modificar estrategias de implantación.
 La aceptación/rechazo de un modelo o
teoría del programa en ejecución

 Función política dependiente del objetivo/s de evaluación.

3. FASES DE LA EVALUACIÓN

Las fases de la Evaluación de Programas:

1. Diseño o planteamiento de la evaluación

2. Selección de operaciones a observar
3. Recolección de información
4. Análisis de datos
5. Informe
3. FASES DE LA EVALUACIÓN

1. Diseño o Planteamiento de la Evaluación

⚫ ¿Quién la solicita?
•Contabilidad pública
⚫ ¿Para qué? • Actuaciones sobre el Programa
⚫ ¿Qué evaluar? • Contrastar teorías
• Justificar decisiones
⚫ ¿Qué obstáculos? (Fernández-Ballesteros, 1995)

⚫ ¿Es factible?
•Descripción /Información /comprensión del Pr.
•Comprobar efectos
•Mejorar el programa Transformación
 3. FASES DE LA EVALUACIÓN

1. Diseño o Planteamiento de la Evaluación

Paradigmas en evaluación de programas (Colas y Buendía, 1998)
Dimensión Empírico-analítico / objetivista / Interpretativo / humanista / naturalista / Crítico / sociocrítico / investigación-
realista / cuantitativo hermenéutico / cualitativo acción / orientando al cambio
Fundamentos Positivismo lógico, empirismo Fenomenología, antropología Praxeología, teoría crítica

Naturaleza de la realidad Objetiva, externa, observable, Dinámica, múltiple, construida, holística, Compartida, holística, histórica,
(ontología) fragmentable, convergente divergente construida, dinámica, divergente
Valores (axiología) Neutros Explícitos Integrados, compartidos

Teoría / práctica Independientes, la teoría es norma para la Relacionadas, retroalimentación Indisociable, relación dialéctica, la
práctica práctica es teoría en acción
Objetivos de la Explicar, predecir, controlar los Comprender e interpretar la realidad, Emancipar, criticar, identificar
investigación fenómenos, verificar hipótesis, buscar significados, intenciones, hipótesis de Trabajo potencial de cambio, transformar la
leyes, construir teorías realidad
Diseño Predeterminado Emergente Negociado

Relación investigador– Independencia, investigador externo,
sujeto sujeto como objetivo de investigación
Técnicas e instrumentos Pruebas objetivas, cuestionarios y
entrevistas estructuradas, observación
sistemática …
Análisis de datos Cuantitativo
Dependencia, interacción Relación de compromiso, investigador
como un sujeto participante
Estudios de casos, cuestionarios abiertos, Estudios de casos, diarios de campo,
entrevistas informales, diarios, observación técnicas dialécticas
participante…
Cualitativo Cualitativo

Criterios de calidad Fiabilidad y validez Veracidad, autenticidad Intersubjetividad, validez consensuada

 3. FASES DE LA EVALUACIÓN

1. Diseño o Planteamiento de la Evaluación

Dimensiones del Programa a evaluar

(Tipos de evaluación)
Contenidos de evaluación Tipos de evaluación

1) Necesidades /Contexto 1) Evaluación preformativa o análisis

2) Diseño y/o Planificación de necesidades.
3) Desarrollo o Ejecución 2) Evaluación formativa.
4) Resultados o Logros 3) Evaluación sumativa.
 3. FASES DE LA EVALUACIÓN

1. Diseño o Planteamiento de la Evaluación

Modelos de Evaluación de Programas
Aspectos Finalidad Contenido Unidad de Toma de decisiones Papel del
/ Modelos Evaluación Evaluador
Basadoen Prescribir Producto Sujetos Autoridad Externo
criterios (Tyler)
Planificación Prescribir Proceso / Producto Sujetos Autoridad Externo
Educativa
(Cronbach)
CIPP Prescribir Contexto / Diseño / Sujetos Autoridad Externo
(Stufflebeam) Proceso / Producto
Sin referencia a Prescribir Contexto / Proceso / Sujetos Contrato Autoridad Externo
objetivos Producto Evaluador
(Scriven)
Ev. Respondente Describir Proceso / Producto Sujetos / Centros Contrato Evaluador - Cooperación
(Stake) Cliente
Ev. Iluminativa Describir Contexto / Proceso Centros / Instituciones Contrato Evaluador – Cooperación
(Parlett y Cliente
Hamilton)
Ev. Democrática Transformar Contexto / Proceso Centros / Instituciones Contrato Autoridad Cooperación
(McDonald) Evaluador – Cliente
Ev. Crítica Transformar Contexto / Proceso Centros / Instituciones Participantes Compromiso
3. FASES DE LA EVALUACIÓN

2. Selección de operaciones a observar

⚫ ¿Qué unidades?
⚫ ¿Otros efectos?
⚫ ¿Existen indicadores?
⚫ ¿Qué garantías?
⚫ ¿Qué criterios de bondad?
⚫ ¿Qué datos del contexto?
 3. FASES DE LA EVALUACIÓN

2. Selección de operaciones a observar

Criterios de bondad

Inf. Cuantitativa Inf. Cualitativa

 Fiabilidad  Validez  Credibilidad (transparencia en las
interpretaciones del evaluador y los hechos
 Interna ocurridos).
 Externa  Confirmabilidad (evaluador neutro y los datos
independientes).
 Transferibilidad (generar hipótesis que puedan
aplicarse a situaciones similares).
 Dependencia (consistencia de resultados:
estabilidad/triangulación).
(Guba, 1981)
 3. FASES DE LA EVALUACIÓN

3. Recogida de Información

¿Qué logística? ¿Qué sesgos

potenciales?

 Calendarios
 Recursos (grabadora, Internet, vídeo, etc.)
 ¿Será un evaluador externo o interno?
 Formación (observadores, encuestadores, etc.)
 Autorizaciones
 Garantía datos
 3. FASES DE LA EVALUACIÓN
3. Recogida de Información
Técnicas de recogida de información
Documentales  Análisis de contenido
 Análisis del discurso
Cuestionarios  Cerrados o Abiertos
Tests o pruebas
estandarizadas
 Pruebas de rendimiento
Entrevistas No estructuradas /
Semiestructuradas / Tipo
test o cuestionarios cerrados
Observación  Participante
 Colaborativa
Técnicas Reuniones de trabajo
dialécticas  Grupos de discusión
Documentos e informes
Imágenes y sonidos
En general , registros o archivos
Ya estandarizados o diseñados
para la propia evaluación
Tener en cuenta la formación
del entrevistador
Tener en cuenta la formación
del observador
Tener en cuenta el clima de
confianza y escucha activa
 3. FASES DE LA EVALUACIÓN

3. Recogida de Información
Técnicas de recogida de información
Documentales  Análisis de contenido Documentos e informes
 Análisis del discurso Imágenes y sonidos
En general , registros o archivos
Cuestionarios  Cerrados o Abiertos Ya estandarizados o diseñados
Tests o pruebas para la propia evaluación
estandarizadas
 Pruebas de rendimiento
Entrevistas No estructuradas / Tener en cuenta la formación
Semiestructuradas / Tipo del entrevistador
test o cuestionarios cerrados
Observación  Participante Tener en cuenta la formación
 Colaborativa del observador
Técnicas Reuniones de trabajo
dialécticas  Grupos de discusión
3. FASES DE LA EVALUACIÓN

4. Análisis de la información
Evaluación Evaluación
cualitativa cuantitativa
3. FASES DE LA EVALUACIÓN

4. Análisis de la información

Programas informáticos para el tratamiento

de los datos
Cuantitativos Cualitativos

 SPSS  Nvivo

 Sistema estadístico R  Atlas.ti

3. FASES DE LA EVALUACIÓN

5. Informe de evaluación
¿Qué partes ha de constar?

 Portada
 Resumen
 Información sobre el Programa
 Metodología
 Resultados
 Discusión
Conclusiones y
Recomendaciones

24
3. FASES DE LA EVALUACIÓN

5. Informe de evaluación
¿Cómo informar?

 Al informar a los implicados

 Al dar un mensaje de evaluación
 Al dar información en forma escrita
 Al realizar una presentación oral
 Al tratar con audiencias difíciles
 Al relacionarse con la prensa
 En cualquier circunstancia

25