Documentos de Académico
Documentos de Profesional
Documentos de Cultura
NOMBRE:
DNI:
CORREO:
CENTRO ASOCIADO:
TELFONO DE CONTACTO:
1
1. QU ASPECTOS SE DEBEN TENER EN CUENTA EN EL MARCO DE LA
VALORACIN DE LOS RESULTADOS DE LA INVESTIGACIN EVALUATIVA?
Viene marcado por la aplicacin del resultado alcanzado en el trabajo, se trata de cmo llevar a la
prctica las aportaciones de la evaluacin, resulta fundamental ofrecer una valoracin objetiva y
contextualizada de los resultados alcanzados a travs del desarrollo de los siguientes puntos:
Seleccin de criterios de valoracin: el investigador debe tener claros los criterios con los que va a
juzgar, de tal forma que cualquier otro investigador pueda llegar a las mismas conclusiones.
Anlisis minuciosos de los resultados: con los criterios previamente identificados y categorizados se
procede a un estudio detallado de los mismos conforme a los objetivos fijados en el trabajo, de tal
forma que podemos extraer tanto la informacin superficial como la ms profunda que encierran los
resultados.
Formulacin de juicios: Implica la participacin activa del equipo investigador
Toma de decisiones: constituye la principal sea de identidad en la investigacin evaluativa, es su
finalidad ltima.
Redaccin del informe: Se encuentra de forma implcita en el desarrollo de la investigacin, segn a
quien se dirija exigir un tipo de redaccin distinta.
2
Interpretacin: Los evaluadores deben describir con detalle las perspectivas, procedimientos
y bases lgicas utilizadas para interpretar los resultados.
Claridad del informe: debe describir el objeto evaluado, el programa en su contexto as como
los objetivos, procedimientos y resultados de la evaluacin.
Difusin y oportunidad del informe: los hallazgos significativos y del informe de evaluacin
deben darse a conocer a las partes afectadas.
Impacto de la evaluacin: las evaluaciones deben ser planificadas, dirigidas, llevadas a cabo
y dadas a conocer.
3
A la evaluacin de necesidades se le puede aplicar los mismos estndares de calidad que la
evaluacin de programas ligados a los criterios de utilidad, viabilidad, honradez y precisin, aunque
se han realizado trabajos destinados a establecer de modo especfico la calidad de las evaluaciones
de necesidades.
La calidad de este tipo de evaluaciones no se diferencia salvo en la especificidad de su objeto, de la
calidad de cualquier otro tipo de evaluacin. A partir de esta posicin entendemos que los grandes
criterios a considerar son los siguientes:
Su referencia y subordinacin a la realidad a la que sirve. En la medida en que concedemos a la
evaluacin un carcter instrumental, sta debe ser coherente y armnica con aquella. En nuestro
caso la evaluacin debe servir a la educacin
La correccin y adecuacin de su planificacin y diseo a la naturaleza de las necesidades a evaluar.
Su ejecucin eficiente, prudencia en el uso de medios, recursos e instrumentos
La calidad de la informacin recogida sintetizada en tres grandes cualidades: fiabilidad, validez y su
carcter valioso.
La utilidad y relevancia de la informacin aportada para las distintas partes interesadas: diseadores
y responsables de los programas, aplicadores y evaluadores de los mismos.
Otros autores han realizado trabajos especficos destinados no slo a establecer cules deben ser los
criterios de calidad sino a identificar indicadores o normas dentro de cada uno de ellos. Martnez de
Toda (1991).
Establece tres criterios:
Funcionalidad: Coherencia entre el diseo y el proceso evaluativo con el propsito general de toda
evaluacin. Recoge indicadores referidos a las entradas, al proceso y al producto.
Eficiencia: Valoracin de los costos en relacin con los resultados incluidos los referidos a tiempo y
recursos. Consiste en la capacidad de las personas para alcanzar el efecto determinado, debemos
aspirar a los mejores resultados de la institucin teniendo en cuenta los medios y los recursos
disponibles.
Eficacia: Rigor tcnico en las medidas tcnicas e instrumentos, as como en los mtodos de anlisis
de recursos. Mide el grado de congruencia entre las actuaciones planificadas y los logros obtenidos,
que nos permite constatar el nivel de logros alcanzados segn las previsiones inciales.
4
Objetivos
Un conjunto ms o menos amplio y variado de medios y recursos
Un sistema integrado de evaluacin
Estos grandes elementos deben tomar en cuenta:
El contexto: El elemento ajeno al programa de vital importancia es el contexto o marco de
referencia en que se desarrolla, como un condicionante fundamental tanto para poder implantarlo
como para facilitar su adecuado desarrollo.
Los componentes mnimos: Los medios y recursos tambin se convierten en un componente clave,
as como la motivacin promovida por el responsable del programa
Los requisitos: Los programas deben cumplir con ciertos requisitos de carcter tcnico, prctico y
tico. Es necesario exigir que los programas educativos sean evaluados inicialmente en cuanto a su
necesidad y viabilidad.
5
Antes de aplicar el programa debemos plantearnos si rene las condiciones necesarias para ser
objeto de evaluacin.
La evaluacin inicial del programa debe someter a anlisis y valoracin tres grandes aspectos: el
propio contenido, la metodologa prevista y el lenguaje utilizado.
Puesto que el cuerpo del programa es el contenido, la evaluabilidad requiere pronunciarse sobre los
elementos que lo integran desde la presencia o ausencia de fundamentacin, el sistema de
evaluacin o su relacin con las carencias y las necesidades detectadas. La metodologa, es preciso
analizar si la informacin recogida en el documento es suficiente para pronunciarse sobre los
objetivos, las decisiones, las tcnicas e instrumentos de recogida de informacin, los datos, los
momentos y las fuentes. El lenguaje vehculo de comunicacin es fundamental para decidir sobre la
evaluabilidad. Es preciso un vocabulario tcnico como medio para la comunicacin de ideas.
Adecuacin al contexto
En funcin de que un programa sea adecuado, suficiente e idneo, podr o no lograr los objetivos
para los que fue diseado.
A los efectos de la evaluacin inicial, hay que destacar si el programa es adecuado a las
necesidades, carencias y expectativas de los destinatarios y si las caractersticas del lugar y el
momento en el que el programa ser aplicado son los ms idneos.
Adecuacin a las circunstancias: viabilidad
Es necesario que se analice la situacin antes de poner en marcha un programa, y se implante slo si
en esa situacin o momento se considera viable y factible.
6
metodologa se basa en la recogida de informacin, observacin, dilogos, entrevistas, anlisis de
tareas, anlisis de la informacin, sesiones de grupo, debates etc.
La informacin a recoger es sobre el desarrollo del programa, sobre resultados intermedios, sobre
efectos no planeados. Las decisiones sern ajustes parciales y en casos extremos la suspensin del
programa.
Tercer momento: Evaluacin de los resultados de la aplicacin del programa
La finalidad es comprobar la eficacia del programa, tiene una funcin fundamentalmente sumativa.
La informacin a recoger son los resultados en relacin con los objetivos, los efectos positivos o
negativos y los no planeados. Los criterios son eficacia, eficiencia, efectividad, satisfaccin,
impacto. Las referencias sern la situacin de partida, los niveles pre especificados, y los niveles de
otros programas. Las decisiones sern sumativas (mantener o suprimir el programa) formativizadas
(mejorar el programa para una nueva edicin).
7
C) Variables de producto. Nos permitirn constatar el nivel de logro de los programas desarrollados
en las instituciones y si stas son capaces de atender a los sujetos de la intervencin comunitaria, de
tal forma que se sientan partcipes de la misma.
CUESTIONES DE DESARROLLO:
INFORMACIN Y DATOS EN EL MARCO DE LA EVALUACIN.
Se considera necesario someter a evaluacin no solo los procesos y los resultados sino los propios
objetivos a cuyo servicio se disean los programas. Es necesaria la coherencia entre los objetivos
del programa y la informacin que se recoge para ser valorada. Para garantizar la calidad de la
informacin recogida esta debe ser fiable y valida.
Aspectos a tener en cuenta en la recogida de la informacin: quien, cuando, con qu, como, qu
tipo. La informacin necesita captarse, construirse, producirse, mediante determinadas tcnicas,
diferentes en funcin de las caractersticas de los datos que se quieran recoger.
Dos fuentes de recogida de informacin para analizar la calidad de los objetivos: los expertos y los
destinatarios.
Los objetivos de los programas educativos tienen dos caractersticas muy importantes: Gran
diversidad y elevada complejidad.
Tcnicas para la recogida de informacin
8
Tcnica de observacin: debe responder a un plan de accin, debe ser intencionada, requiere
conocimientos y capacitacin por parte de los observadores.
Puede utilizarse en diferentes momentos de la evaluacin, tanto al inicio, durante el desarrollo y al
final. Un problema es asegurar la fiabilidad y validez de informacin recogida por la observacin.
Tcnica de anlisis: la que utiliza el evaluador cuando tiene que buscar la informacin en
documentos de diversa naturaleza. En ocasiones la informacin se refiere a actitudes, valores etc., y
es mucho ms difcil extraer datos, en estos casos se utiliza la tcnica de anlisis de contenido.
Tcnica de encuesta: Es la tcnica ms utilizada, permite llegar a amplios grupos de personas,
recoger gran cantidad de informacin fcil analizar y tratar. Se trata un cuestionario planteado a un
grupo amplio de personas que consta de una serie de enunciados o de preguntas para que la persona
encuestada responda. En el caso de respuestas abiertas existe la dificultad posterior de como
categorizar la informacin, aplicando la tcnica de anlisis de contenido.
Tcnica de consulta: Son muy tiles para identificar y reconocer las carencias y necesidades al
inicio de la investigacin evaluativa, disear un programa adecuado a tales necesidades, ponerlo en
marcha e implementarlo, construir instrumentos adecuados de recogida de informacin, para
analizar y valorar la informacin recogida, para interpretar los resultados obtenidos.
Entre las tcnicas de consulta destaca la Tcnica Delphi, mediante la cual el evaluador recoge en
sucesivas etapas las aportaciones de los expertos para llegar a formular una propuesta, validar un
instrumento para la recogida de informacin o llegar a conclusiones sobre la realidad sometida a
consulta.
Tcnica de prueba: Muy tiles para comprobar la eficacia o xito de un programa cuando puede
comprobarse la adquisicin de determinados conocimientos, la modificacin o adquisicin de
ciertas actitudes, hbitos, habilidades etc.
Hay ocasiones en que se debe contar con evidencias independientes, con pruebas que den fiabilidad
y validez.
Complementariedad de las tcnicas: Se trata de contar con informacin procedente de diferentes
fuentes y obtenida mediante diferentes tcnicas, lo que permite en algunos casos contrastar la
informacin as como complementarla.
Instrumentos de recogida de informacin:
En las tcnicas de observacin: listas, escalas o guin de observacin.
En las tcnicas de encuestas: cuestionarios o inventarios
En las tcnicas de pruebas: pruebas objetivas, test tipificados, variedad de pruebas que
dependen del tipo de objetivos.
9
En todos los casos adems de pedir fiabilidad y validez, es preciso asegurarse que sean suficientes
para una evaluacin lo ms rigurosa posible.
10
La propuesta de Stufflebeam es una de las ms clarificadoras y ambiciosas en la evaluacin de
programas educativos, el mismo autor reconoce algunas de las limitaciones para llevar a cabo una
evaluacin exhaustiva siguiendo su modelo. Pero s recomienda encarecidamente que la evaluacin
no es un fin en s misma, sino que se incardina dentro de un proceso educativo ms amplio y
globalizado, por ello propugna que la propia evaluacin sea objeto de evaluacin (metaevaluacin)
recurriendo a una serie de criterios, procesos y tcnicas apropiados para su cometido.
La Propuesta de Prez Juste
Se puede sintetizar en cuatro apartados:
Primer momento: Evaluacin del programa en cuanto tal
Es la actividad evaluativa ms importante por ser la primera y base de las dems.
Finalidad:
o Establecer la calidad tcnica del programa, su viabilidad prctica y su evaluabilidad
o Ponerlo en marcha en condiciones ptimas.
Funcin:
o Formativa y en ocasiones sumativa sobre el programa o su evaluacin.
Metodologa:
o Anlisis de contenido de documentos, estudios prospectivos, tcnica delphi, juicio de
expertos, registros.
Informacin a recoger:
o Sobre el programa: su fundamentacin, su formulacin y su relacin con las
necesidades, carencias y demandas de los destinatarios.
Criterios:
o Calidad, pertinencia y realismo de objetivos as como su adecuacin a los
destinatarios y al contexto.
o Suficiencia de los apoyos, medios y recursos para conseguir los objetivos
o Calidad tcnica de los planteamientos de la evaluacin.
o Calidad tcnica del programa.
o Viabilidad del programa.
o Evaluabilidad
Decisiones:
o Generalmente formativas y en casos graves sumativas (retirada del programa, no
realizacin)
11
Segundo momento: Evaluacin del proceso de implantacin del programa
Finalidad:
o Facilitar la toma a tiempo de decisiones de mejora.
o Acumular informacin para introducir mejoras en futuras ediciones.
Funcin:
o Formativa y en casos extremos sumativa
Metodologa:
o Recogida de informacin: Observacin, dilogos, entrevistas, anlisis de tareas.
o Anlisis de la informacin: sesiones de grupo, debates.
Informacin a recoger:
o Sobre el desarrollo del programa
o Sobre resultados intermedios
o Sobre efectos no planeados.
Criterios:
o Cumplimiento, desfases, desajustes, flexibilidad.
o Coherencia institucional.
o Eficacia parcial.
o Satisfaccin de los implicados
Decisiones:
o Ajustes parciales
o En casos extremos, suspensin de la aplicacin del programa
Tercer momento: Evaluacin de los resultados de la aplicacin del programa.
Finalidad:
o Comprobar la eficacia del programa
Funcin:
o Fundamentalmente sumativa.
o Cuando sea posible sumativa formativizada
Informacin a recoger:
o Resultados en relacin con los objetivos
o Efectos, positivos o negativos, no planeados
Criterios:
12
o Eficacia, eficiencia, efectividad, satisfaccin, impacto
Referencias:
o Situacin de partida: el programa frente a s mismo progreso
o Niveles pre especificados (evaluacin criterial) logro del dominio
o Niveles de otros programas superioridad
Decisiones:
o Sumativas: mantener o suprimir el programa
o Formativizadas: mejorar el programa para una nueva edicin.
Esta propuesta es muy ambiciosa en sus planteamientos, si bien como el mismo autor reconoce, no
se trata de llevarla a cabo en un contexto determinado de forma exhaustiva, sino que, puede ofrecer
unas pautas rigurosas de actuacin a los evaluadores.
Las anteriores propuestas de evaluacin de programas educativos abarcan un amplio espectro
informativo para que el profesional en el contexto especfico de su programa, aula o centro, pueda
llevar a cabo una evaluacin slida y cientfica. La opcin elegida no necesariamente debe coincidir
en sus extremos con alguno de los modelos, al contrario, las diferentes aportaciones pueden
enriquecer el trabajo y ofrecernos una visin ms crtica y objetiva de la realidad educativa
analizada.
CASO PRCTICO:
13
necesarios para la deteccin de las necesidades tanto de los menores como de las familias. En
cuanto al contexto evaluaremos si la direccin del centro de da favorece el desarrollo del programa,
si el equipo de profesionales est coordinado, si se consigue la colaboracin de los padres.
En esta evaluacin inicial se busca el detectar posibles deficiencias en el programa, con el objetivo
de ir reconduciendo el programa para conseguir alcanzar el objetivo planteado.
Por otra parte valoramos la calidad del programa, evaluando si los objetivos fijados en el programa
son adecuados al contexto en el que se desarrolla. Tambin vamos a valorar la evaluabilidad del
programa: si la informacin recogida es suficiente y relevante; si disponemos de informacin clara y
precisa y si esta es accesible a las partes interesadas e implicadas.
Y por ultimo valoraremos la viabilidad del programa: disponemos de espacios para su desarrollo,
temporalizacin, recursos necesarios tanto humanos como materiales?
Segundo momento: Aplicacin del programa
Durante este periodo la evaluacin se centrara en detectar las posibles deficiencias que pueden
surgir durante el desarrollo del programa, valorando entre otros si los medios son adecuados, si la
recogida de informacin sobre los menores y sus familias es til, si se dan conflictos entre las
familias y los profesionales, si las actividades programadas resultan interesantes para los menores.
En cuanto a los profesionales se recoger informacin sobre posibles conflictos entre el equipo que
lo forma, as como la relacin de estos con los menores y las familias.
Se evaluara si el programa resulta adecuado a los objetivos, as como el grado de flexibilidad/
rigidez que presenta.
Tercer momento: Evaluacin final
En este momento fijaremos nuestra atencin en los resultados obtenidos, es el momento de evaluar
si las tcnicas e instrumentos utilizados para decidir la eficacia del programa han sido adecuados a
los objetivos del programa (entrevistas-reuniones con los profesionales encargados del desarrollo
del programa, encuestas a los menores, entrevistas con padres y madres de familia). Se dispone de la
informacin recogida durante el momento inicial y procesual del programa como base para valorar
los resultados y evaluar si el proceso implementado es factible y viable y que grado xito en
trminos de cumplimiento de metas y resultados se ha alcanzado.
Cuarto momento: Institucionalizacin de la evaluacin
Por ltimo se valora si el programa rene todas las caractersticas necesarias para aplicarlo en
sucesivas ediciones.
BIBLIOGRAFIA
Ramn Prez Juste (2014) Evaluacin de programas educativos, editorial La Muralla S.A.
14
15