Está en la página 1de 12

INVESTIGAR EN EDUCACI II: metodologa,

instruments i estratgies

Curso 2014-2015

Investigacin evaluativa

Jos Tejada Fernndez


Grupo CIFO
UAB

Tejada, ene-15

Conceptualizacin

POLTICAS PBLICAS

+
complejidad

despliegue
Decisiones
Actividades
Medidas

PLANES
PROGRAMAS

PROYECTOS

Tejada, ene-15

Investigacin evaluativa

CONCEPTUALIZACIN

Evolucin del concepto


De metas contables a impactos sociales
De eficiencia/eficacia a impacto

Definicin aceptada

Coherencia de la intervencin
Eficacia de la intervencin
Eficiencia de la intervencin
Impacto de la intervencin

Anlisis ex-ante del impacto de las intervenciones

Tejada, ene-15

Evaluacin de programas

DEFINICIN

Entendemos por evaluacin de programas o proyectos sociales una


actividad programada de reflexin sobre la accin, basada en
procedimientos sistemticos de recoleccin, anlisis e interpretacin
de informacin, con la finalidad de emitir juicios valorativos
fundamentados y comunicables sobre las actividades, resultados e
impactos de esos proyectos o programas, y formular recomendaciones
para tomar decisiones que permitan ajustar la accin presente y
mejorar la accin futura (Nirenberg, Braverman y Ruiz, 2000:32))

Tejada, ene-15

Evaluacin de programas

Planificacin/Desarrollo
y resultados

Evaluacin

Definicin del programa


(qu, por qu, para qu)

Evaluacin del contexto


Evaluacin de necesidades
Evaluacin de la viabilidad

Diseo del programa)

Evaluacin del diseo (calidad)


Evaluacin de la evaluabilidad

Implementacin, desarrollo,
gestin del programa

Evaluacin implementacin
Evaluacin cobertura, gestin
Evaluacin proceso

Resultados

Evaluacin producto
Evaluacin impacto

Fuera de programa

Eval. de los efectos de la evaluac


Evaluacin de la evaluacin

Tejada, ene-15

Evaluacin de programas

TIPO DE
EVALUACIN

REFERENTE

TAREA

MBITO DE
APLICACIN

DEL CONTEXTO
/NECESIDADES

Territorio y sociedad:
comunidad, grupos,
sujetos, etc.

Estudio previo de la realidad:


problemas, necesidades,
recursos, conflictos, etc

Diagnstico, planificacin
y toma de decisiones.

DEL DISEO

Expertos y
profesionales en
programar y planificar

Anlisis de criterios
programticos, justificacin,
coherencia y pertinencia del
diseo.

Diseo y planificacin del


programa.

DEL PROCESO

Profesionales y
participantes en el
programa

Anlisis del desarrollo del


programa: estrategias,
procedimientos, niveles de
ejecucin, coordinacin,
participacin comunitaria.

Ejecucin del programa.

DEL PRODUCTO

Equipo Evaluador

Valoracin de los resultado en


relacin con los objetivos y
necesidades: eficacia,
eficiencia, etc.

Obtencin de
conclusiones y toma de
decisiones.

Tejada, ene-15

Evaluacin de programas
Esquema bsico de las implicaciones de la evaluacin de la formacin
Funcionamiento de la
Institucin tras el
proceso de formacin

Situacin de materializacin
de los efectos de la accin
formativa

Funcionamiento
normal de la
Institucin

Mejora
conseguida

Situacin a la
finalizacin de la
accin formativa

Situacin previa a la
accin formativa

PROGRAMA

Decisin de formacin
Necesidades formacin
Fijacin de objetivos
Diseo de la accin
Diseo de la evaluacin

POST 1
Autoevaluacin de la
situacin previa de la
actividad formativa.
Auditoria PRE

Evaluacin
diagnstica
PRE

POST 2

Evaluacin
formativa

Evaluacin
de gestin y
de eficcia

Evaluacin de
efectividad
CAMPO

Autoevaluacin de
resultados.
POST de la actividad
Auditoria POST

Tejada, ene-15

Evaluacin de programas
Aspectos de la evaluacin de la formacin como proceso continuo
ANLISIS DEL CONTEXTO
NECESIDADES DE
FORMACIN

DISEO DEL CURSO

Cmo est la situacin?


cules son las necesidades formativas?
Cmo se traduce lo que se quiere
conseguir en objetivos de aprendizaje?
Cmo se han estructurado los
elementos formativos?

IMPARTICIN
DEL CURSO

Cmo se ha desarrollado el
proceso de formacin?

APROVECHAMIENTO
DEL CURSO

Qu se ha conseguido con
la imparticin del curso?

APLICABILIDAD
DE LO ENSEADO

Cmo se aplican en el escenario profesional


los nuevos aprendizajes?

MEJORA DE LA
ORGANIZACIN

Cmo se ha mejorado el
funcionamiento de la organizacin?

Tejada, ene-15

Finalidad PARA QU?

Propsitos y funciones
RENDIR CUENTAS

PODER

CONTROL

Datos duros
Sumativa
Indicadores
Standares
Externa

Flexibilidad
comprensin

producto

INTERS

proceso

Planeamiento
Racionalidad

CRECIMIENTO

Evaluacin
interna
Autoevaluacin

CONFIANZA

RESPONSABILIDAD

PROFESIONALISMO
Tejada, ene-15

Procedimientos y estrategias CMO?


El proceso de evaluacin de programas (a partir de Mateo, 1994)
FASE

PROPSITO

ACTIVIDADES QUE IMPLICA

1.- Formulacin de la
evaluacin

Identificacin y precisin de la
naturaleza de la evaluacin

2.- Valoracin de la
evaluabilidad

Anlisis a priori de la credibilidad y


utilidad de la evaluacin a realizar
Reordenacin de la misma

Listado de los componentes bsicos


Eleccin de los ms relevantes
Anlisis crtico de la posibilidad de
analizarlos

3.- Planificacin de la
evaluacin

Elaboracin del plan de evaluacin

Eleccin del modelo


Determinacin de la metodologa
Elaboracin del diseo

4.- Ejecucin de la
evaluacin

Ejecucin del proceso de evaluacin

Recogida de informacin
Anlisis e interpretacin de la
informacin

5.- Utilizacin de la
evaluacin

Toma de decisiones a partir del


informe evaluativo

Informe de evaluacin
Toma de decisiones

6.- Metaevaluacin

Evaluacin de la evaluacin

Eleccin de los criterios evaluativos


Anlisis y valoracin a partir de los
criterios

Definir la audiencia
Determinar el propsito
Identificar los aspectos relevantes

Tejada, ene-15

Procedimientos y estrategias CMO?


Ideograma de flujo en evaluacin de programas (a partir de Jimnez, 1996)
TRABAJO DE CAMPO

TRABAJO INTERNO

IDEA DEL
PROYECTO
DISEO

NEGOCIACIN
RECOGIDA DE LA
INFORMACIN

AMPLIACIN Y
CONTRASTACIN

REFLEXIN EN EQUIPO

PRESENTACIN
DOCUMENTACIN
PRESENTACIN
COMPROMISO
ANLISIS DOCUMENTAL
INSTRUMENTALIZACIN
ANLISIS DE LA
INFORMACIN
SISTEMATIZACIN
ORGANIZACIN

INFORME
FINAL

Tejada, ene-15

LTIMA PUESTA EN
COMN

Procedimientos y estrategias CMO?


Clasificacin de modelos generales segn paradigmas

Modelos Cuantitativos/Objetivistas/Conductistas:
Tyler, Cronbach, Alkin

Modelos de transicin Cuantitativa/Cualitativa:


Stuffelbeam (CIPP), Scriven, Stake (Countenance)

Modelos Subjetivistas/Interpretativos:
Stake (Respondente), Parlett y Hamilton (Iluminativa),
McDonald (Democrtica)

Modelos Sociocrticos:
Modelos Cuasijudiciales: Owens y Wolf
Modelos Crtica Artstica: Eisner

Tejada, ene-15

Procedimientos y estrategias CMO?


Modelo integrador de Evaluacin de Programas (Tejada, 1991)

EVALUACIN
PROGRAMAS

ANTECEDENTES

TRANSACCIONES

RESULTADOS

Contexto/input

Proceso

Producto

EVALUACION
DIAGNSTICA

EVALUACION
FORMATIVA

EVALUACION
SUMATIVA

Contexto general
Necesidades
Contexto instructivo
Programa
Instrumentos
Medios y recursos, etc.

Programa actual
Secuencia instructiva
Temporalizacin
Recursos, dinmica
Interaccin
Etc.

Cambio en:
Conocimientos
Destrezas,
Actitudes,
Autoconcepto,
Etc.

(REDISEO)

(REDISEO)

(REDISEO)

ADECUACIN PROGRAMA

ADECUACIN PROGRAMA

ADECUACIN PROGRAMA

Motivacin,
Expectatives
Conocimientos
Destrezas,
Actitudes,
Autoconcepto,
Etc.

Cambio en:
Conocimientos
Destrezas,
Actitudes,
Autoconcepto,
Etc.

EVALUACIN INICIAL

EVALUAC. CONTINUA

EVALUACIN
DESTINATARIOS

EVALUACIN
SUMATIVA

Mrito
Valor
Impactos
Eficacia
Eficiencia
efectividad.

Cambio en:
Conocimientos
Destrezas,
Actitudes,
Autoconcepto,
Etc.

EVALUACIN FINAL

EVALUAC. DIFERIDA

Tejada, ene-15

Procedimientos y estrategias CMO?

EVALUACIN
PROGRAMAS

CUANTIFICACIN
INCLUSIVA

GLOBAL

PARCIAL

LOCALIZACIN
ESPACIAL

MIXTA

INTERNA

EXTERNA

MIXTA

Tejada, ene-15

Procedimientos y estrategias CMO?

Evaluacin interna-evaluacin externa


EVALUACIN

INTERNA

EXTERNA

Conocimiento del currculum

+-

-+

Conocimiento del contexto

Experiencia tcnica

Implicacin afectiva

Evaluacin formativa

Evaluacin sumativa

Relevancia de las estrategias combinadas

Tejada, ene-15

Evaluadores y fuentes de informacin QUIN?


quin?
Identificar usuarios y usos de la evaluacin
USUARIOS

PERSONAL INSTITUCIONAL
Directivos
Profesores/monitores
Personal de Apoyo
Alumnos
OTROS USUARIOS
Padres
Contribuyentes
Agencias acreditativas
Administracin Educativa
Centros
Empresas

USOS
FORMATIVA

SUMATIVA

(Mejora)

(Rendicin
cuentas)

x
x
x
x
x
x

Tejada, ene-15

Momento evaluativo CUNDO?: Evaluacin INICIAL


FINALIDAD

OBJETO

INDICADORES

INSTRUMENTOS /
FUENTES INFOR

CRITERIOS

Organizacin
Identificar
Clima-cultura
las necesidades
recursos
y caractersticas
Nec. Individuales
del contextoContexto-necesidades
Nec. sociales

Determinacin de la
Poltica de formacin,
elaboracin del
programa, introduccin
de nuevos recursos,
reorganizacin de los
existentes,
etc.

..................
Conocimientos
Destrezas
Actitudes
Aptitudes
Identificar las
Motivacin
caractersticas
DestinatariosIntereses
necesidades
de los
Expectativas
destinatarios
Historia acadmica
Historia profesional
................

Programa
Valorar la
pertinencia
del programa

Pertinencia
Suficiencia
Actualizacin
Objetividad
Aplicabilidad
Relevancia
Coherencia
Utilidad
Disponibilidad
Factibilidad
Viabilidad

Objetivos
Contenidos
Actividades
Estrategias
Recursos
Evaluacin
...........

Anlisis de
contenido
Anlisis por
jueces
Cuestionarios
Escalas
Entrevistas
Observacin
Pruebas de
rendimiento
Inventarios

DECISIONES

Expertos
externos
e internos
Gestores de
Admisin, orientacin,
formacin
Destinatarios establecimiento de
grupos de aprendizaje
Directivos

Adaptacin, ajuste e
implementacin del
programa

Tejada, ene-15

Momento evaluativo CUNDO? Evaluacin DESARROLLO


FINALIDAD

OBJETO

INDICADORES

INSTRUMENTOS /
FUENTES INFOR

CRITERIOS

DECISIONES

Identificar los
puntos crticos en
el desarrollo del programa.
programa para

Programa

recursos

actual

Dinmica
Interaccin
Formador
.........

Mejorar las
posibilidades

Clima social

de los participantes

Relaciones
Implicacin
Participacin
Motivacin

Aumentar la
informacin

Adaptacin de

Estrategias

actividades

Temporalizacin

Optimizar el
su desarrollo.

Actividades

Interacciones
Resultados parciales:
- previstos

- no previstos
posteriores decisiones

.............
Conocimientos
Actitudes

Dar informacin
sobre su evolucin y progreso.

Destrezas
..............

E-A (tiempo,
Conformidad

Cuestionarios

recursos,

Pertinencia

Escalas

motivacin,

Suficiencia

Entrevistas

Actualizacin

Observacin

Aplicabilidad

Pruebas de

Relevancia

rendimiento

Coherencia

Anlisis de

Utilidad

prcticas

Disponibilidad Registros

Expertos
externos
e internos

estrategias,

rol docente, etc.)

Gestores de
formacin
Reubicacin de
Destinatarios

alumnos y profesores

Formadores

Satisfactoriedadanecdticos
Idoneidad

Diarios
Incorporar nuevos
recursos

Tejada, ene-15

Momento evaluativo CUNDO? Evaluacin RESULTADOS


FINALIDAD

OBJETO

INDICADORES

CRITERIOS

INSTRUMENTOS /
FUENTES INFOR

DECISIONES

Verificar la
Consecucin
de los objetivos.

Conocimientos
Destrezas
Actitudes
Satisfaccin
Logros (previstos
Motivacin
y no previstos)
(final del desarrollo)
Relaciones
.........

Valorar los
cambios
previstos y no Impacto
previstos
(diferida)

Verificar la
vala del
Costes
programa de cara
(diferida)
a la
satisfaccin
de las necesidades
sobre su
evolucin y
progreso.

Eficacia
Eficiencia

Satisfaccin de
necesidades
Transferencia
aprendido
Nivel de cambio
en el contexto
de actuacin
...........

Promocin,
certificacin,
acreditacin,
reconsideracin
de los participantes

Pruebas de
rendimiento

Cuestionarios
Comprensividad
Escalas
Efectividad
Entrevistas
Aplicabilidad
Observacin
Relevancia
Informes
Suficiencia
econmicos
Satisfactoriedad
Auditorias

Participantes
Formadores
Expertos externos
Modificacin del
Responsables contexto
de actuacin
Colegas
Directivos

Recursos humanos
Recursos materiales

Aceptacin o rechazo
del programa

Tejada, ene-15

Referentes y criterios EN FUNCIN DE QU?

Referentes
adecuacin con las finalidades definidas por la
poltica de formacin/prevencin/intervencin
adecuacin a las necesidades formativas del
contexto inmediato
adecuacin a los principios psicopedaggicos
de la intervencin
adecuacin a los participantes

Tejada, ene-15

10

Referentes y criterios EN FUNCIN DE QU?

Referente y cuestiones de evaluacin


POLTICA DE
FORMACIN

Se enmarca en programas ms amplios de promocin y gestin


de empleo, de desarrollo cultura, personal, prevencin,?
Favorece la insercin y movilidad en el mercado de trabajo,
contexto,..?
Considera la formacin de base?
Satisface demandas presentes o futura del contexto?

CONTEXTO

Responde a necesidades de contexto? a la realidad laboral?


Se ubica donde hay necesidades?
.
Parte del anlisis de los escenarios socioculturales, econmicos?

PRINCIPIOS
PSICOPEDAG.

Respeta los principios psicopedaggicos del aprendizaje adulto?


Se realiza la formacin en situaciones similares a las del
escenario sociolaboral?
Incorpora o contempla las necesidades e intereses?

PARTICIPANTES

Considera las experiencias de los participantes?


Facilita la participacin e implicacin de los participantes en la
planificacin desarrollo y evaluacin?
..

Tejada, ene-15

Referentes y criterios EN FUNCIN DE QU?


Criterios en la evaluacin de programas

PERTINENCIA

Adecuacin de un programa con la poltica de


formacin y el contexto de formacin

ACTUALIZACIN

Adecuacin de los objetivos del programa y


necesidades reales (sociales e individuales)

OBJETIVIDAD

Adecuacin a las leyes y principios cientficos

APLICABILIDAD

Posibilidad de puesta en prctica de los objetivos


propuestos

SUFICIENCIA

Grado con que un programa satisface las necesidades


detectadas

Tejada, ene-15

11

Referentes y criterios EN FUNCIN DE QU?


Criterios en la evaluacin de programas
EFICACIA

Nivel de logro de objetivos asignados

EFICIENCIA

Grado de implicacin de recursos humanos, materiales


y funcionales

RELEVANCIA

Grado de importancia del programa para cubrir las


necesidades individuales y sociales

COHERENCIA

Grado de adecuacin entre s de los distintos


elementos- componente de un programa

COMPRENSIVIDAD

grado de optimizacin alcanzado

COBERTURA

proporcin de la poblacin destinataria alcanzado

Tejada, ene-15

12

También podría gustarte