Evaluacixn Programas de Formacixn

EVALUACIN DE PROGRAMAS
Jos Tejada Fernndez 2004
Mdulo VI: Investigacin e innovacin formativa
INDICE
PRESENTACIN .....................................................................................................................3 INTRODUCCIN GENERAL..................................................................................................5 DESARROLLO DE LOS CONTENIDOS ..................................................................................7 1 LA EVALUACIN DE PROGRAMAS ............................................................................7 1.1 Consideraciones previas ....................................................................................7 1.1.1 Los distintos objetos de evaluacin ..........................................................7 1.1.2 Criterios e indicadores de evaluacin .....................................................8 1.2 El programa y su evaluacin ...........................................................................11 1.3 El proceso de evaluacin de programas......................................................16 1.4 La planificacin en la evaluacin de programa .........................................20 2 LA EVALUACIN INICIAL DEL PROGRAMA.............................................................25 2.1 Dimensin conceptual: el QU y PARA QU de la evaluacin inicial de programas.....................................................................................................26 2.2 Dimensin metodolgica: el CMO (modelos y mtodos de evaluacin).........................................................................................................32 2.3 Dimensin operativa: CON QU (Tcnicas e instrumentos de recogida de informacin) ................................................................................34 3 LA EVALUACIN PROCESUAL...................................................................................38 3.1 Dimensin conceptual: el QU y PARA QU de la evaluacin procesual de programas ..................................................................................39 3.2 Dimensin metodolgica: el CMO (modelos y mtodos de evaluacin).........................................................................................................45 3.3 Dimensin operativa: CON QU (Tcnicas e instrumentos de recogida de informacin) ................................................................................47 4 LA EVALUACIN DE RESULTADOS............................................................................49 4.1 Dimensin conceptual: el QU y PARA QU de la evaluacin de resultados ............................................................................................................50 4.2 Dimensin metodolgica: El CMO (Modelos y mtodos de evaluacin).........................................................................................................55 4.3 Dimensin operativa: CON QU (Tcnicas e instrumentos de recogida de informacin) ................................................................................61 APLICACIONES ...................................................................................................................65 5 EJEMPLO DE DISEO DE EVALUACIN DE ACCIONES FORMATIVAS.................65 5.1 Objetivos y contenidos generales del Plan de Formacin.........................65 5.2 La evaluacin de las acciones formativas....................................................66 5.2.1 Finalidades, objetivos y criterios la evaluacin...................................66 5.2.2 Variables e indicadores ............................................................................68 5.2.3 Metodologa e instrumentalizacin ........................................................70 5.2.4 Equipo de evaluacin...............................................................................73 BIBLIOGRAFA.- ...................................................................................................................75 ACTIVIDADES.......................................................................................................................77 6 ACTIVIDADES DE APLICACIN.................................................................................77 6.1 Diseo de un plan de evaluacin ..................................................................77 6.2 Elaboracin de un instrumento de evaluacin............................................77 7 ACTIVIDADES DE PROFUNDIZACIN .......................................................................78 7.1 El papel del evaluador......................................................................................78 7.2 Toma de decisiones...........................................................................................78 8 ACTIVIDADES DE AUTOEVALUACIN ......................................................................79
Jos Tejada Fernndez, CIFO, 2004
Unidad Didctica: La evaluacin de Programas
PRESENTACIN
Esta Unidad Didctica sobre EVALUACIN DE PROGRAMAS queda integrada en el Mdulo de Investigacin e Innovacin en Formacin. Su justificacin se fundamenta dentro de los planteamientos de investigacin evaluativa, a la vez que la correspondiente toma de decisiones derivadas de toda intervencin en formacin est encarada hacia la optimizacin o mejora de la misma. Desde este punto de vista es incuestionable la importancia del contenido para cualquier responsable de formacin en una institucin de formacin. Es ms, los propios implcitos de la gestin de la formacin convierten a dicho contenido en uno de los mejores instrumentos o herramientas para tal fin. Hay que advertir tambin su directa y estrecha conexin con otras unidades didcticas, especialmente las relativas a la deteccin y evaluacin de necesidades, as como la relativa a la evaluacin de la formacin, respecto de la cual arrastra la fundamentacinconceptualizacin bsica, como posteriormente veremos.
Contexto laboral y de la formacin La planificacin de la formacin
Organizacin del trabajo y formacin Gestin de recursos humanos
Comunicacin, clima y cultura Los actores de la formacin
II
Anlisis y deteccin de necesidades
Elaboracin de Planes y programas
Mercadotecnia de la formacin
III
Diseo curricular de la formacin Desarrollo curricular de la formacin Evaluacin de la formacin Investigacin e innovacin formativa
Planificacin de cursos de formacin Habilidades didcticas del formador Condicionamientos en el proceso E-A
Especificacin de objetivos
Seleccin y secuenciacin de contenidos
Estrategias metodolgicas
Seleccin y empleo de medios
IV
La comunicacin en el aula-taller Procesos y mtodos de motivacin La evaluacin de los aprendizajes Procesos y dinmica de grupos
Evaluacin de la formacin
Instrumentos y tcnicas de evaluacin
VI
Evaluacin de programas Evaluacin de instituciones
Procesos y mtodos de investigacin
La innovacin formativa
VII
Proyecto de Investigacin o Innovacin
INTRODUCCIN GENERAL
La evaluacin de programas y cursos de formacin es una de las actividades ms relevantes y significativas en todo proceso de gestin y planificacin de la formacin. No obstante hay que advertir, insistiendo sobre su necesidad e importancia,, que desgraciadamente la realidad actual de la formacin en el mbito no formal no se caracteriza por la presencia de este quehacer. Amn de la falta de cultura evaluativa, justificadora de que otras funciones de la gestin de la formacin mantengan un protagonismo en detrimento de la propia evaluacin, hay que propiciar las claves (conceptualizaciones, procedimientos, tcnicas, herramientas, instrumentos, etc.), en aras a posibilitar la luz para una prctica formativa con sentido, racionalidad y funcionalidad desde una perspectiva holstica de la misma. Desde esta ptica hay que plantearse la evaluacin en todas sus dimensiones, su consideracin como proceso y, a la vez, la exigencia de planificacin de la misma. As podremos obtener suficientes elementos para mejorar nuestras prcticas evaluativas. Este, sencillamente, es el propsito de esta Unidad Didctica. Todo ello supone, adems de vencer las resistencias y obstculos que pudieran encontrarse en su planificacin y desarrollo, proveer de un organigrama evaluativo (asignacin de tareas y responsabilidades, competencia tcnica), propiciar los instrumentos, tcnicas y metodologas idneas en cada momento, etc. Desde este planteamiento es como abordamos la presente unidad, que pretende centrar la evaluacin de programas, su proceso, para concluir analizando los distintos tipos de evaluacin, sus implicaciones y finalidades, as como su exigencia metodolgica e instrumental, sin olvidar los agentes y los distintos momentos evaluativos dentro de un modelo de evaluacin integrador. Partimos inicialmente de una consideracin de la evaluacin como1: * un proceso sistemtico de recogida de informacin, no improvisado, necesitado de organizar sus elementos, sistematizar sus fases, temporalizar sus secuencias, proveer los recursos, construir o seleccionar los instrumentos, etc. En cualquier caso, desde planteamientos multivariados en cuanto a los instrumentos, tcnicas y mtodos, as como agentes. * que implica un juicio de valor, que significa, a su vez, que no basta recoger sistemticamente la informacin, sino que sta ha de valorarse, explicando su bondad. Tngase en cuenta que la adjudicacin de un valor no significa tomar decisiones, por cuanto los evaluadores pueden realizar esta tarea y otras personas, ajenos a ellos, pueden tomar las decisiones. Queremos Definicin
En una Unidad Didctica anterior le hemos dedicado un espacio a esta conceptualizacin y a las dimensiones implicadas en ella. De ah que ahora nos remitamos directamente a la misma
decir, que la funcin principal del evaluador est en la valoracin, pero no necesariamente en la toma de decisiones que puede corresponder a los responsables del programa o de los objetivos a evaluar, polticos, u otros. * orientada hacia la toma de decisiones. El proceso evaluativo ha de tener una utilidad, en este sentido apuntamos entre otros a la toma de decisiones orientada a la mejora de la prctica. Esto significa adems, que la evaluacin ha de ser un medio pero no un fin en s misma.
OBJETIVOS
1. Delimitar las problemticas conceptuales, metodolgicas operativas en la evaluacin de programas y cursos. 2. Analizar modelos de evaluacin de programas. 3. Disear procesos de evaluacin de programas (instrumentos, estrategias, criterios, etc.) 4. Aplicar procesos de evaluacin diferencial (diseo, desarrollo, resultados, impacto). 5. Fomentar la cultura de trabajo en equipo en la evaluacin y
CONTENIDOS
1. El programa y su evaluacin 2. La evaluacin fragmentada de programas de formacin (desde las necesidades al impacto) 3. Dimensiones conceptuales, metodolgicas y operativas en la evaluacin fragmentada de programas de formacin
Conceptualizacin
EVALUACIN DE PROGRAMAS
Dimensiones
Proceso
EVALUACIN INICIAL
EVALUACIN PROCESUAL
EVALUACIN DE RESULTADOS
Objetos y finalidades
Modelos y mtodos
Tcnicas e instrumentos
Evaluadores
DESARROLLO DE LOS CONTENIDOS

1 LA EVALUACIN DE PROGRAMAS
1.1 Consideraciones previas
Independientemente de los factores diferenciales y especiales de la educacin en el mbito no formal, no cabe duda que en cualquier accin formativa, considerada como transformadora del individuo, puede apuntar tanto al campo social, al profesional o al campo formativo, y por ende, a varios o a todos a la vez. Un anlisis de este tipo, obviamente, posibilita programas de formacin diferenciados y en funcin de los cuales surgen distintos objetos de evaluacin, as como los indicadores implicados para su evaluacin. En consecuencia, es necesario reparar, aunque sea brevemente, en dichos campos de intervencin educativa en aras de una mejor comprensin del fenmeno evaluativo.
1.1.1 Los distintos objetos de evaluacin

Los campos de intervencin aludidos implican distintos objetos de evaluacin de acuerdo a su propia naturaleza, a la par que se establecen tres niveles de evaluacin relativamente heterogneos entre ellos, en relacin con las caractersticas de las actividades de transformacin que comportan (Barbier, 1993). Desde este planteamiento, pues, podemos hablar de: 1. La evaluacin de las actividades de evolucin social. Siendo este nivel de evaluacin de los menos frecuentes, cada da va cobrando ms importancia, observndose igualmente mayor proyeccin y desarrollo en el futuro. Si el conjunto de actividades, que lo configuran, est destinado a la promocin social-cultural y a la insercin social de un individuo o la promocin colectiva de un grupo, su evaluacin no puede mas que agrupar todas las formas de balance global de la evolucin social de un individuo o un grupo. Evaluacin de las actividades de evolucin profesional. Caracterizadas por la transformacin de las capacidades o disposiciones individuales que se definen en el ejercicio de un trabajo, de una actividad profesional o cualquier actividad de la produccin de bienes y servicios (formacin ocupacional, laboral, insercin laboral, etc.). Su evaluacin nos remitir al balance de un itinerario profesional, de una situacin profesional, de un potencial profesional, etc. La evaluacin de las actividades de formacin propiamente dichas. Tiene que ver con el conjunto de acciones de formacin, los planes, proyectos y programas de formacin, las sesiones, los recursos, cursos, metodologas utilizadas, etc. Objetos
2.
3.
CAMPO DE ACTIVIDADES
Produccin de medios de existencia
NIVELES DE LAS ACTIVIDADES CONSTITUTIVAS DEL OBJETO DE EVALUACIN

Actividades de evolucin social-cultural Acciones de insercin social o socioprofesional Acciones globales de desarrollo
NIVELES DE EVALUACIN
Evaluacin de las actividades de evolucin social-cultural Balance de accin de insercin o de desarrollo. Balance de un itinerario social
Trabajo o produccin de bienes y servicios
Actividades de evolucin profesional. Seguimiento profesional. Formacin alterna-recurrente Intervencin en formacin
Evaluacin de actividades de evolucin profesional. Evaluacin en situacin real Evaluacin sobre el terreno Evaluacin en situacin profesional. Balance de un itinerario profesional.
Formacin
Acciones de formacin (programas, Evaluacin de las actividades de sesiones, periodos prcticos, dispositivos formacin. de formacin. Planes. Trabajo pedaggico, Informacin interna, secuencia de aprendizaje, etc. Evaluacin del programa, del trabajo pedaggico, actividad de aprendizaje, mtodos, etc.
Cuadro 3.- Niveles de las actividades de transformacin de los individuos y niveles de evaluacin de las acciones implicadas
1.1.2 Criterios e indicadores de evaluacin

Mnimamente expresados los campos de intervencin, as como las actividades implicadas en cada uno de ellos de cara a la concrecin del objeto de evaluacin, conviene igualmente reparar en los criterios e indicadores de evaluacin. Esta consideracin tiene sentido en la medida que hemos de articular el proceso de evaluacin, sistematizarlo y como no, llegar a su operativizacin. En primer lugar, queremos apuntar algunos de los indicadores ms usuales sobre el particular, para con posterioridad centrarnos en los criterios. El cuadro 4 muestra una sntesis de indicadores de evaluacin de acuerdo a los niveles de actividad implicados, teniendo presente si son indicadores de funcionamiento o indicadores de resultados o de progresin (a partir de Barbier, 1993).
NIVELES DE ACTIVIDADES
Actividades de desarrollo socialcultural
INDICADORES DE FUNCIONAMIENTO
Descriptores de actitudes y actividades concretas de los individuos y de su entorno en el seno de su evolucin social-cultural. Ej.: puesta en contacto con diferentes medios.
INDICADORES DE RESULTADOS O DE PROGRESIN

Modificacin de comportamientos reparables en la organizacin de la vida social y cultural de los interesados. Ej.: adquisicin de trabajo, toma de responsabilidad, cambio de situacin, integracin en un medio. Modificaciones de comportamientos reparables en situacin de trabajo que permitan inferir la adquisicin de capacidades para producir bienes y servicios concretos en situacin profesional. Ej. aumento de la productividad, de la calidad de los productos, baja de accidentes, etc. Modificaciones de comportamientos reparables en situaciones de formacin que permiten inferir la adquisicin de un conjunto de capacidades definidas en el funcionamiento de la formacin. Ej.: maestra en un dominio de saberes, saber hacer y de actitudes (disciplinas, materias, tecnologas, etc.).
Actividades de desarrollo profesional
Descriptores de actitudes y actividades concretas de los individuos en su entorno profesional y su evolucin profesional. Ej.: atribucin de nuevas tareas, autonoma profesional, prcticas de desarrollo profesional.
Actividades de formacin. Acciones de formacin
Descriptores del gasto de la actividad de la formacin, de las interacciones entre los actores y de la utilizacin de medios de formacin. Ej.: organizacin material, organizacin temporal, mtodos, formadores, recursos materiales, etc.
Cuadro 4.- Niveles de indicadores y niveles de actividades evaluadas
En relacin con los criterios, hemos de conectar directamente con el referente de evaluacin. Sin duda ninguna el referente es la dimensin ms diferenciadora de la evaluacin, del que surgen los criterios de evaluacin para los distintos objetos evaluativos. Es ms, dichos objetos estn ntimamente conectados con el mismo. Lo hemos conformado a ttulo indicativo en torno a cuatro apartados: a) adecuacin con las finalidades definidas por la poltica de formacin, b) adecuacin inmediato, a las necesidades formativas del contexto Referentes
c) adecuacin con los principios psicopedaggicos del aprendizaje adulto, y d) adecuacin a los expectativas, etc.). participantes (intereses, necesidades,
No obstante, puede percibirse en dicha clasificacin dos grandes apartados. Por un lado, la coherencia con la poltica formativa, que obviamente de ser as, integrar el contexto inmediato de formacin, y por otro, la adecuacin a los principios psicopedaggicos del aprendizaje adulto que igualmente incluye la consideracin de los participantes (Figura 3).
Proyecto social y poltico Poltica formativa
Metas educativas de: -nuestra prctica -del programa o curso de accin
Contexto social y poltico Situacin dela educacin
-Prctica educativa
que realizamos -Realizacin del programa
Figura 3.- Articulacin global de la evaluacin en el contexto y las metas educativas (Bartolom, 1990:14).
Principios psicopedaggi cos del aprendizaje adulto
Conviene no olvidar en este momento por la relevancia que cobra en el mbito que nos ocupa los principios psicopedaggicos del aprendizaje adulto (Ferrndez, Gairn y Tejada, 1990), puesto que a partir de los principios generales y especficos del mismo, podemos obtener criterios de evaluacin. De manera sinttica los presentamos en el siguiente cuadro.
* Integral (totalidad de la persona) * Integrada (en relacin al contexto) PRINCIPIOS GENERALES * Individualizada (mediatizada por las capacidades, posibilidades y limitaciones) * Diversificada (multivariedad de estrategias metodolgicas. * Relativista (en cuanto a la validez del conocimientoactitud crtica) * Flexible * Naturalista PRINCIPIOS ESPECFICOS * Contextualizada * Experiencial * Implicativa * Participativa * Crtica Cuadro 5.- Principios psicopedaggicos del aprendizaje adulto.
10
En la tabla 3 se presenta una breve ilustracin de criterios e indicadores obtenidos de estos cuatro referentes. Con posterioridad retomaremos la problemtica implcita ms ajustados a realidades concretas o ejemplos especficos, donde pueden operar algunos de ellos y/u otros segn sea la necesidad evaluativa.
CRITERIOS
Pertinencia: adecuacin de un programa con la poltica de formacin y el contexto de formacin. Actualizacin: adecuacin de los objetivos del programa y las necesidades reales (sociales e individuales) Objetividad: adecuacin a las leyes y principios cientficos Aplicabilidad: posibilidad de puesta en prctica de los objetivos propuestos Suficiencia: grado con que un programa satisface las necesidades detectadas Eficacia: nivel de logro de los objetivos asignados Eficiencia: grado de implicacin de recursos humanos, materiales y funcionales Comprensividad: grado de optimizacin alcanzado Relevancia: grado de importancia del programa para cubrir las necesidades individuales y sociales
Criterios
INDICADORES
Nivel de coherencia: relacin entre los objetivos asignados y los objetivos propuestos. Relacin entre los objetivos propuestos y las necesidades detectadas Relacin entre los objetivos asignados y contenidos (seleccin y secuenciacin) Relacin entre el programa y la insercin social o laboral Nivel de exhaustividad, relacin entre los objetivos asignados y las necesidades detectadas Relacin entre los objetivos asignados y los objetivos alcanzados. Relacin entre los objetivos logrados y los recursos implicados (ratio formador/participante, hora/formador/participante, etc. Relacin entre el nivel de entrada y el nivel de salida de un programa Relacin entre objetivos propuestos y necesidades sociales e individuales (objetivos de formacinnecesidades, expectativas, intereses, cambio laboral, polivalencia laboral, etc. Nivel de relacin entre los distintos componentes de un programas (necesidades, objetivos, contenidos, estrategias, recursos, sistema de evaluacin)
Coherencia: grado de adecuacin entre s de distintos componentes-elementos de un programa
Tabla 1. Criterios e indicadores de evaluacin de programas (Tejada, 1997:255)
La complejidad de la evaluacin, pues, se hace evidente a la vista de lo analizado y justifica plenamente la afirmacin de que una evaluacin nunca es completa en s misma. Por este motivo, la planificacin de la misma tiene que hacer nfasis en la determinacin de los aspectos ms significativos de cada realidad y momento evaluativo.
1.2 El programa y su evaluacin

Una vez delimitadas algunas dimensiones de la evaluacin de programas (objetivos, criterios e indicadores), en las que ineludiblemente hemos de reparar, es necesario considerar igualmente algunos aspectos diferenciales en los programas de formacin que hacen de los mismos adoptar tambin distintas decisiones en la planificacin de su evaluacin, diferenciadas de otros objetos de evaluacin, al priorizar unos elementos especficos sobre otros. Todo ello nos remite a una
11
manera peculiar de evaluar, con una problemtica distinta por ejemplo, si se tratase de evaluacin de centros o alumnos. Hemos de partir, tambin en este caso, de un concepto de programa que, con independencia de la polisemia del trmino en s mismo, sea operativo y clarificador para seguir avanzando. En aras a la brevedad, asumimos por programa "cualquier propuesta estructurada para producir cambios en las personas que se exponen a ellos" Gairn, 1993:80). Entendiendo como tal "desde un diseo especfico para la instruccin de un tema concreto de una materia hasta el plan educativo que comporta el desarrollo de un curso completo; desde la actividad docente de un profesor hasta la organizacin funcional de uno o varios centros educativos; desde un proyecto experimental de enseanza hasta todo un sistema educativo formal" (Cabrera, 1987:101). En este contexto particular, pues, la evaluacin de programas ha de moverse y como tal la consideramos como aquel proceso continuo, sistemtico y multidimensional de recogida de informacin relevante, vlida y fiable que permite tomar decisiones sobre el valor o mrito del mismo para mejorar su funcionamiento. Dichas decisiones, segn Cabrera (1987:113-114), se refieren a distintos mbitos y pueden concretarse en: Toma de decisiones * acerca de la implantacin del programa * relativas a la continuacin, expansin o certificacin del xito del programa * relacionadas con las modificaciones a introducir en el programa en desarrollo. Adems, hay que tener presente y como consecuencia de lo anterior, que existen unas razones que justifican por s mismas la evaluacin de programas: Razones para evaluar programas cumplimiento de los requisitos de acreditacin (cualificacin personal) rendir cuentas (justificacin de la inversin, costos) demandas de informacin eleccin-seleccin del mejor programa (satisfacer necesidades) asistir al equipo de gestin del programa en su desarrollo y mejora aprender-verificar acerca de los efectos secundarios (lo no planificado) Cabe advertir, antes de proseguir, que la evaluacin de un programa es un proceso ntimamente ligado con el de su planificacin, desarrollo y resultados, pudindose verificar esta dependencia en los siguientes ideogramas, en los que se evidencia, ms all de las tareas, actividades, tipologas de evaluacin, decisiones a tomar, etc. indiscutiblemente dicha conexin.
12
Informe inicial DIAGNSTICA Contexto Necesidades Viabilidad Destinatarios Diseo ......
Informe de progreso FORMATIVA Realizacin Desarrollo Resultados Gestin Evaluacin ......
Informe final SUMATIVA Resultados Productos Impacto Costes ......
EVALUACIN
REALIDAD
Resultados Ajustes Ajustes
Final-Corto plazoLargo plazo
Necesidad de Cambio
Resultados
REALIDAD NUEVA
PROGRAMA PROYECTO
DESARROLLO PROGRAMA
PLANIFICACIN
Grfico 1.- Relacin entre el nivel de planificacin y evaluacin de un programa

13
Interconexin entre planificacin y evaluacin
PLANIFICACIN/ DESARROLLO Y RESULTADOS * Identificacin de necesidades * Programacin, (diseo del programa) * Puesta en marcha * Resultados
EVALUACIN
* Evaluacin de necesidades
* Evaluacin del diseo * Eval. implementacin * Eval. cobertura * Eva. proceso * Eval. producto * Eval. impacto * ...
Grfico 2.- Relacin entre planificacin y evaluacin de programas
Como puede observarse, ya se estn apuntando los focos de atencin en la evaluacin de programas, no obstante es necesario profundizar an ms en la conceptualizacin del programa, por cuanto nos puede iluminar en dicho proceso evaluativo. De hecho, como destaca Gairn (1993:82-83), la evaluacin de programas es en gran medida deudora de la manera como se confeccionaron y de las concepciones implcitas o explcitas que asumen. En este sentido es clarificadora la secuencia conceptual que nos propone el mismo autor, que en sntesis nos remite a: Realidad sociocultural, poltica institucional y poltica de formacin mantienen entre s un alto nivel de coherencia. De hecho, afirma, las instituciones y los programas que realizan suelen responder habitualmente a las necesidades socioculturales, de la misma forma que la poltica de formacin se considera un aspecto de la poltica institucional. La poltica de formacin se concreta en la realizacin de programas que buscan satisfacer determinadas necesidades. La priorizacin que se hace de las necesidades a satisfacer (individuales o sociales; expresadas o percibidas; etc.), determina claramente el tipo de objetivos que ha de perseguir el programa, las acciones a realizar y la naturaleza de los procesos de intervencin.
14

SECUENCIA ESTRUCTURAL SECUENCIA CONCEPTUAL SECUENCIA OPERATIVA
CONTEXTO SOCIOCULTURAL POLTICA INSTITUCIN

A.- JUSTIFICACIN DEFINIR Finalidades Grupo destinatario Grado de autonoma
POLTICA DE FORMACIN
Necesidades normativas
Necesidades expresadas
Necesidades percibidas
Necesidades comparadas DETECTAR NECESIDADES Instrumental. Configurar grupo De incidencia
B.- DISEO Objetivos Acciones Recursos Responsables Evaluacin Temporalizacin
ELABORACIN DEL PROGRAMA
C.- OPERATIVA Espacios Tiempos Profesorado
DESARROLLO DEL PROGRAMA
CONFIGURAR GRUPO DIANA Establecer mecanismos seguimiento y control
EVALUACIN DEL PROGRAMA
ESTABLECER Receptores de informacin Ncleos de decisin
Grfico 3.- Secuencia conceptual, estructural y operativa de la elaboracin de programas de formacin (Gairn, 1993:84).
15
1.3 El proceso de evaluacin de programas

El proceso de evaluacin est estrechamente vinculado con el conjunto de las fases que integran un programa de formacin. Es ms, la evaluacin empieza antes que un programa se implemente, en estrecha relacin con todas las actividades de planificacin; es decir, empieza cuando han sido realizados los juicios sobre la deseabilidad, necesidad del programa, cuando a partir de anlisis de necesidades se establece la poltica de formacin en la institucin formativa y consecuentemente se establecen los planes y programas de formacin, as como sus objetivos, contenidos, actividades, recursos, etc. (Tejada 1989:90). TIPO REFERENTE EVALUACIN
Del contexto/ necesidades Del diseo
territorio y sociedad: comunidad, grupos, sujetos, etc. expertos y profesionales en programar y planificar profesionales y participantes en el programa
TAREA
estudio previo de la realidad: problemas, necesidades, recursos, conflictos, etc. anlisis de criterios programticos, justificacin, coherencia y pertinencia del diseo anlisis del desarrollo del programa: estrategias, procedimientos, niveles de ejecucin, coordinacin, participacin comunitaria valoracin de los resultados en relacin con los objetivos y necesidades: eficacia, eficiencia, etc.
MBITO APLICACIN
diagnstico, planificacin y toma de decisiones diseo y planificacin del programa ejecucin del programa
Del proceso
Del producto
equipo evaluador
obtencin de conclusiones y toma de decisiones
Tabla 2.- Estructura metodolgica de la evaluacin en el desarrollo comunitario (Caride 1990)
En este primer momento, no es suficiente con atender a la deseabilidad y necesidad del programa, siendo este el punto de partida en la evaluacin de programas (Caride, 1990; Tejedor, 1990). Tambin hay que reparar en su viabilidad; es decir, si las condiciones para el probable xito del programa se dan o debieran establecerse. Difcilmente se podr desarrollar un programa si previamente no se han eliminado sus obstculos y ello slo es posible con una evaluacin diagnstica inicial del contexto de implementacin. Adems, esta evaluacin inicial comporta y posibilita igualmente la acomodacin de dicho programa a la situacin misma, a las caractersticas del grupo destinatario, a los propios recursos, a las caractersticas fsicas y psicosociales de la institucin, etc. puesto que no siempre es susceptible desarrollar un programa de acuerdo a las condiciones especficas y las variables que se tuvieron en cuenta en su planificacin. La contextualizacin del mismo es una tarea de capital importancia para poder dar respuesta a aquellas demandas y condiciones del contexto donde ha de implementarse. Consiguientemente, ello obliga a reparar en el propio rediseo del programa, en los procedimientos, actividades, recursos y estrategias, etc. de cara a conseguir los objetivos establecidos.
16
Funcionamiento de la Institucin tras el proceso de formacin
Funcionamiento normal de la Institucin
Situacin de materializacin de los efectos de la accin formativa
Mejora conseguida
Situacin previa a la accin formativa
Situacin a la finalizacin de la accin formativa
Decisin de formacin Necesidades formacin Fijacin de objetivos Diseo de la accin Diseo de la evaluacin
PROGRAMA
POST 1
POST 2
Autoevaluacin de la situacin previa de la actividad formativa. Auditoria PRE Evaluacin diagnstic a
Evaluacin formativa Evaluacin de efectividad

Evaluacin de gestin y de eficacia
Autoevaluacin de resultados. POST de la actividad
Tabla 3.- Esquema bsico de las implicaciones del proceso de evaluacin de un programa
Respecto a su desarrollo, no slo tendremos en cuenta el logro de los objetivos planteados, siendo estos importantes, sino que interesarn igualmente los procesos seguidos en su implementacin, si se han introducido, en el transcurso del mismo, modificaciones o mejoras, los cambios de actitudes tanto en los formadores como en los participantes, etc. Con ello estamos apuntando claramente los dos componentes de la evaluacin formativa, valorando la discrepancia entre lo diseado y la realidad, por un lado; y la valoracin del propio proceso instructivo mientras se realiza, el progreso hacia los objetivos, etc. De esta forma, continua y racionalmente estamos tomando decisiones sobre el diseo o rediseo del programa en aras a su optimizacin. Por ltimo, ha de repararse sobre los resultados del programa una vez concluido, si se han conseguido los objetivos -verificacin de logros- de cara a acreditar, certificar, etc. (evaluacin sumativa) en relacin con los alumnos, y tambin tomar las decisiones necesarias sobre el programa de cara a su perfeccionamiento con el correspondiente rediseo. El objetivo principal, pues, de esta evaluacin final y sumativa como indica Cabrera (1987:123) es proporcionar evidencias objetivas, sistemticas y completas del grado en que el programa ha conseguido los fines que se propona y el grado en que se han producidos otras consecuencias no previstas, que
17
una vez conocidas, sean tambin de inters para los responsables y organizadores del programa. Pero con ello no habramos finalizado el proceso evaluativo. No bastara con la evaluacin sumativa una vez concluido el programa. Habra que asegurar tambin con una evaluacin diferida, a corto-medio-largo plazo, la permanencia y consistencia de los cambios producidos en los sujetos, la mejora de las prcticas profesionales, los cambios institucionales, etc. segn las metas del plan de formacin. La evaluacin de los impactos del programa nos permitir concluir sobre la eficacia, eficiencia, comprensividad, validez y utilidad del programa, as como sobre su rentabilidad profesional o social, segn fuera el caso. Modelo de evaluacin de programas En cierta forma, estamos apuntando por un modelo de evaluacin, cuya representacin grfica reflejamos a continuacin. Modelo que indiscutiblemente integra elementos de otros modelos en la lnea de lo expuesto por Hamm (1988:404-408) y que nosotros revisamos. Como puede observarse, se integran elementos de los modelos de Scriven, Stake y Stufflebeam. Los componentes de evaluacin, tanto por lo que se refiere a un programa o a los alumnos, quedan divididos en tres fases: antecedentes, transacciones y resultados en la terminologa de Stake (1976), con su correlato en la subsiguiente divisin de contexto, input, proceso y producto de Stufflebeam (1987). El modelo permite como tal describir las intenciones y los acontecimientos en cualquier fase, a la par que posibilita la toma de decisiones lo ms racionalmente posible a los responsables del programa respecto a la planificacin y desarrollo del mismo, tanto en lo que se refiere a la determinacin de los objetivos como a la determinacin de los recursos, deficiencias y obstculos observados antes y durante su implementacin con el consiguiente rediseo del programa. Con todo ello, estamos asumiendo que no slo interesan los resultados finales, siendo estos importantes, sino que la implementacin y desarrollo de un programa, con las vicisitudes que entraa, cobran capital importancia. Esto nos remite a la consideracin de la evaluacin formativa y sumativa de Scriven (1967). Estando interrelacionadas, la finalidad de la primera apunta por la optimizacin del programa, mientras que la segunda nos permite verificar su eficacia, bien sea de una parte o en su totalidad. Por ltimo, cabe destacar igualmente el planteamiento de objetivos libres descritos por Scriven (1973), en su modelo de evaluacin sin referencia a metas. Dentro de este planteamiento, el evaluador, que aborda la evaluacin de un programa, debe evaluar, al margen de los objetivos del mismo, de manera que pueda considerar todos los resultados del programa y no slo los establecidos. En sntesis, el modelo expuesto nos da una visin ms completa, holstica, sobre la evaluacin de programas, sus dimensiones, las decisiones sobre su implementacin y sus resultados, as como de los distintos implicados.
18
ANTECEDENTES Contexto/input EVALUACION DIAGNSTICA
TRANSACCIONES Proceso EVALUACION FORMATIVA

Programa actual Secuencia instructiva Temporalizacin Recursos, dinmica Interaccin Etc.
RESULTADOS Producto EVALUACION SUMATIVA

Cambio en: Conocimientos Destrezas, Actitudes, Autoconcepto, Etc.
EVALUACIN PROGRAMAS
Contexto general Necesidades Contexto instructivo Programa Instrumentos Medios y recursos, etc.
(REDISEO)
ADECUACIN PROGRAMA
(REDISEO)
ADECUACIN PROGRAMA
(REDISEO)
ADECUACIN PROGRAMA
EVALUACIN SUMATIVA
Mrito Valor Impactos Eficacia Eficiencia efectividad.
EVALUACIN DESTINATARIOS
EVALUACIN INICIAL
EVALUACIN CONTINUA
EVALUACIN FINAL
EVALUACIN DIFERIDA
Grfico 4.- Modelo integrador de Evaluacin de Programas (Tejada, 1991:92)
19
1.4 La planificacin en la evaluacin de programa

Este breve repaso del proceso evaluativo nos permite igualmente reparar en la propia planificacin de la evaluacin, considerada la misma como una necesidad de obligado cumplimiento en aras a una mayor racionalidad, objetividad, validez y pertinencia del hecho evaluativo, huyendo del libre albedro o de la improvisacin a la hora de acometer la evaluacin del programa que est funcionando o como ocurre muchas veces est en sus fases finales. Planificacin que en los trminos de Posavac (1989:27-38) hay que acometerla considerando los siguientes puntos: Planificacin de la evaluacin a.- Identificar la audiencia (personas relevantes, espnsor, director del programa, clientes, destinatarios, etc.) b.- Ajustar los encuentros preliminares con la audiencia con el propsito de fijar qu tipo de evaluacin, para qu y porqu de la misma, quien la realizar, cuando se llevar a cabo y qu fuentes de informacin sern las relevantes y vlidas. c.- Fijar la evaluabilidad del programa d.- Revisar la literatura e.- Determinar la metodologa: estrategias, poblacin y muestra, control-comparacin, seleccin-construccin de instrumentos, recogida de datos, etc. f.- Presentar una propuesta por escrito. Al margen de las problemticas que cada uno de los aspectos referidos entraa, as como de su propia operativizacin, mas que fijar un plan de evaluacin de programas especfico, preferimos reparar en los distintos tipos de evaluacin segn el objeto, aportando pautas, procedimientos y criterios generales para tenerlos en cuenta en la planificacin de la evaluacin de los mismos, ya que cada realidad nos obligar a significar unos aspectos sobre otros, y de la toma de decisiones que hagamos al respecto resultar el plan de evaluacin de programas concreto (Mateo, 1994). Papel de los agentes de evaluacin Desde un punto de vista operativo, podemos concretar la secuencia a seguir desde la idea del trabajo en equipo, dada la complejidad de dicho proceso y la dificultad para abordarla desde la individualidad. Queremos decir con ello que por muy experto o competente que se sea en evaluacin, las exigencias del proceso evaluativo nos manifiesta su insuficiencia y nos obliga al trabajo interdisciplinar, consecuencia de la implicacin de diferentes mbitos y protagonistas. Adems de integrar el potencial de los distintos miembros del equipo de evaluacin y obtener con ello garantas suficientes para el conjunto de problemticas que se evidencian en el referido proceso, se advierte con ello tambin la virtualidad de la triangulacin, la intersubjetividad y la complementariedad entre evaluacin interna y externa, auto y heteroevaluacin. Con posterioridad abordaremos la implicacin de este planteamiento. 20
FASE 1. FORMULACIN DE LA EVALUACIN 2. VALORACIN DE LA EVALUABILIDAD
PROPSITO
Identificacin y precisin de la naturaleza de la evaluacin
ACTIVIDADES QUE IMPLICA

Definir la audiencia Determinar el propsito Identificar los aspectos relevantes Listado de los componentes bsicos: objetivos, resultados y efectos. Eleccin de los ms relevantes. Anlisis crtico de la posibilidad de analizarlos a travs del estudio evaluativo Eleccin del modelo Determinacin de la metodologa Elaboracin del diseo. Recogida de la informacin. Anlisis e interpretacin de la informacin. Informe de evaluacin Toma de decisiones
Proceso de planificacin de evaluacin
Anlisis a priori de la credibilidad y utilidad de la evaluacin que se va a efectuar. Reordenacin de la misma
3. PLANIFICACIN DE LA EVALUACIN 4. EJECUCIN DE LA EVALUACIN 5. UTILIZACIN DE LA EVALUACIN 6. METAEVALUACIN
Implementacin de la evaluacin Ejecucin del proceso evaluativo
Toma de decisiones a partir de las conclusiones elaboradas en el informe evaluativo y otros aspectos a considerar Evaluacin de la evaluacin
Eleccin de los criterios referenciales evaluativos Anlisis y valoracin efectuada en base a dichos objetivos.
Tabla 4.- El proceso de evaluacin (a partir de Mateo, 1994:61).
Tambin podemos diferenciar en el proceso de evaluacin de programas y su planificacin, una doble exigencia. De un lado, el trabajo interno para el equipo, implicando tareas o actividades relacionadas con el diseo, la documentacin y su anlisis, la elaboracin de instrumentos, el anlisis de la informacin recogida y su sistematizacin, para llegar a elaborar el informe final. De otro lado, el trabajo externo o de campo, incluyendo acciones tales como la presentacin del plan y su negociacin entre los diferentes implicados (expertos, espnsor, audiencias, etc.), la recogida de la informacin y su ampliacin o contrastacin. Todo lo dicho hasta ahora nos evidencia la complejidad del proceso evaluativo y justifica plenamente la afirmacin de que la planificacin de la evaluacin es la fase ms importante y donde se toman decisiones que condicionan las posteriores. Para Jimnez (1999), igualmente, la planificacin de la evaluacin es un proceso necesario e importante para actuar de manera reflexiva. Esta planificacin puede ser el resultado de un proceso de preparacin, de exigencias tcnicas o bien de un proceso de negociacin. El siguiente ideograma ilustra claramente dicho procedimiento en la evaluacin de programas.
21
Actividades en la evaluacin de programas
TRABAJO DE CAMPO
TRABAJO INTERNO
IDEA DEL PROYECTO
DISEO
REFLEXIN EN EQUIPO
PRESENTACIN
DOCUMENTACIN PRESENTACIN COMPROMISO
NEGOCIACIN
RECOGIDA DE LA INFORMACIN
ANALISIS DE DOCUMENTOS. INSTRUMENTALIZACIN ANLISIS DE LA INFORMACIN SISTEMATIZACIN ORGANIZACIN LTIMA PUESTA EN COMN
AMPLIACIN Y CONTRASTACIN
INFORME FINAL
Grfico 5.- Ideograma de flujo en evaluacin de programas (a partir de Jimnez, 1996)
En este sentido, podemos ver la complejidad, como ya hemos planteado, de dicho proceso, por cuanto a cuestiones a reflexionar se refiere. En la tabla siguiente podemos observar dicha complejidad.
22
DIMENSIONES
1. El origen de la evaluacin 2. Finalidad de la evaluacin 3. Objeto de evaluacin
CUESTIONES
Quin solicita la evaluacin? Para qu? Cul es su justificacin? Qu evaluar?
COMENTARIOS
Administracin, institucin, seminarios, reas, grupos de profesores. Mejorar la docencia, contratacin de formadores, promocin, optimizacin del programa Evaluacin general de la institucin. Evaluacin de programas. Evaluaciones parciales: conocimientos, infraestructura, material, formadores, clima de grupo, reuniones de grupo. Los derivados de la ley. Derivados de las normativas europeas, nacionales autonmicas. Derivados de compromisos o convenios establecidos con instituciones o empresas. Los marcados por el programa o plan de accin. Criterios econmicos, criterios estadsticos.
4. Los referentes de la evaluacin
Qu criterios aplicar? Quin los define, aprueba?
5. La metodologa a emplear
Qu paradigma ilumina nuestra evaluacin?
Metodologa cuantitativa. Metodologa cualitativa. Metodologa integrada o mixta.
6. Tcnicas e instrumentos
Cmo recoger los datos y las informaciones?
Cuantitativos: estadsticas, tests, pruebas objetivas, escalas de control, de valoracin... Cualitativos: Diarios, entrevistas, observacin participante, talleres de discusin, anlisis de documentos, notas de campo....
7. Seleccin de las fuentes de informacin
A quin o a dnde dirigirnos para recabar la informacin?
Directores, formadores, destinatarios, agentes sociales, empresarios, memorias, informes, documentos, actas, material docente, productos acabados Problemas de muestras representativas o significativas.
8. Ubicacin y temporalidad
Cundo y dnde se realizan los procesos de evaluacin?
Evaluacin inicial, de proceso, final, diferida. En el momento de la enseanza, antes, en el propio puesto de trabajo, etc.
9. Responsabilizacin de la accin
Quin recoge la informacin o aplica los instrumentos?.
Coordinacin, evaluadores, colaboradores, observadores. Distribucin de borradores, valoracin de las evidencias. Redaccin de preinformes.
10. Elaboracin de los instrumentos y tratamiento de la informacin
Seleccin o elaboracin? Con qu medios?
Soportes informativos y de comunicacin: fotocopiadora, telfono, e-mail, grabadoras de sonido y video. BMDP, SPSS, AQUAD, Etnograph
11.
Costos
Con qu medios contamos?
Presupuesto de material, de personal, previsin de tiempo, Ayudas, subvenciones El evaluador. El equipo de evaluacin. Autoevaluacin. Evaluacin externa, interna. Participativa, colaborativa.
12.
El informe
Quin evala?
23

Compromisos, consensos, confidencialidad, uso, propiedad,... 13. Destinatarios del Cul es la naturaleza de las informe audiencias? Formadores, colegas, destinatarios. Directores, supervisores, empresarios. Administracin, comunidad cientfica, sociedad. 14. Toma de decisiones Qu consecuencias tiene la evaluacin? Laborales, legales, econmicas, sociales, personales, profesionales, formativas, sumativas. El propio evaluador o equipo. El propio sujeto (autoevaluacin. Los responsables de la institucin. Otras personas o instituciones ajenas a los evaluadores y evaluados.
15. Responsabilidad Quin debe tomarlas? de la toma de decisiones
Tabla 5.- Dimensiones y cuestiones en relacin con la planificacin de la evaluacin (a partir de Jimnez, 1999:180-181).
24
LA EVALUACIN INICIAL DEL PROGRAMA
Hemos referido en el apartado anterior sobre consideraciones generales que el proceso de evaluacin de programas est estrechamente vinculado con el conjunto de las fases que integran el mismo. Es ms, afirmamos que la evaluacin empieza antes que un programa se implemente, en estrecha relacin con todas las actividades de planificacin; es decir, comienza cuando han sido realizados los juicios sobre la deseabilidad-necesidad del programa, cuando a partir del anlisis de necesidades y del contexto se confecciona el programa (objetivos, contenidos, actividades, recursos, estrategias, sistema de evaluacin, etc.). Con ello asumimos que esta fase inicial de evaluacin obliga a apuntar evaluativamente en torno a distintas direcciones, y por ende, a diferentes macroobjetos de evaluacin que se relacionan entre s de manera que las decisiones sobre unos repercuten sobre los dems. Si retomamos el modelo propuesto por Gairn (1993:84) grfico apartado anterior- sobre la secuencia conceptual, estructural y operativa de la elaboracin de programas de formacin podemos verificar la interaccin entre los distintos objetos aludidos. En este sentido es clarificadora la secuencia conceptual que nos propone y que en sntesis nos remite a: a) Realidad sociocultural, poltica institucional y poltica de formacin mantienen entre s un alto nivel de coherencia. De hecho, afirma, las instituciones y los programas que realizan suelen responder habitualmente a las necesidades socioculturales, de la misma forma que la poltica de formacin se considera un aspecto de la poltica institucional. La poltica de formacin se concreta en la realizacin de programas que buscan satisfacer determinadas necesidades. La priorizacin que se hace de las mismas determina claramente el tipo de objetivos que ha de perseguir el programa, las acciones a realizar y la naturaleza de los procesos de intervencin. Objetos en la evaluacin inicial
b)
Estas consideraciones nos remiten en nuestro trabajo a operar en esta fase de evaluacin considerando al menos dos mbitos especficos de evaluacin. De un lado, la evaluacin del contexto (en el que integramos tanto las necesidades a las que ha de responder el programa contexto general-, como la caracterizacin de propio contexto como condicionante en la implementacin del mismo contexto instructivo-, as como los destinatarios); por otro, el propio diseo del programa.
25
2.1 Dimensin conceptual: el QU y PARA QU de la evaluacin inicial de programas

La evaluacin inicial de programas se centra en el anlisis de diferentes objetos con variados propsitos concluyentes en la necesidad y viabilidad de un programa que se ha de implementar de manera que el mismo al final permita satisfacer las necesidades de las cuales es deudor, sin olvidar su contexto de funcionamiento como mediador en la gestin y desarrollo de cara al xito del mismo. Quiero esto decir que una evaluacin inicial debe preocuparse por el anlisis del contexto en el que se inserta o del que emerge un programa de formacin, a la vez que debe evaluarse el propio diseo del programa con relacin al mismo. Aparcando momentneamente los implcitos, desde el punto de vista del objeto de evaluacin, que se pueden evidenciar en esta situacin, cabe centrarse primeramente en los objetivos de este tipo de evaluacin fragmentada de programas. Con carcter general, y en la lnea de Cabrera (1987:117), podemos apuntar que los objetivos de este tipo de estudios evaluativos pretenden: a) Proporcionar motivos y argumentos necesarios a las instancias decisionales, aquellas que deben procurar los medios y recursos para tomar la iniciativa de implantar o desarrollar un programa de formacin. Identificacin de las metas y objetivos formativos que deberan cubrirse con el programa. Describir las condiciones reales que caracterizan al medio en el que va a operar el programa, as como las posibilidades operativas y el sentido en que el programa puede satisfacer las necesidades del medio.
Objetivos evaluacin inicial
b) c)
Quiero esto decir que, en este primer momento, no es suficiente con atender a la deseabilidad o necesidad del programa, sino que tambin hay que incidir en su viabilidad-factibilidad; es decir, si las condiciones para el probable xito se dan o debieran establecerse. En este sentido, hay verificar si el equipo de programacin ha tenido en cuenta los requisitos tcnicos, sociales, polticos, pedaggicos y financieros para la gestin del programa en funcin de sus necesidades y objetivos formulados. En este sentido habr que preocuparse ms del contexto especfico de funcionamiento del programa. Ello obliga a reparar tanto en el diseo mismo del programa, como en el contexto instructivo especfico donde ha de desarrollarse, sin olvidar los propios destinatarios del mismo. Con ello caemos de pleno en las finalidades de este tipo de evaluacin (PARA QU?, que de manera sinttica, tal como apuntamos en la tabla 1, pueden concretarse en torno a:
26
1.
Identificar caractersticas del contexto, tanto general como instructivo en particular, como paso previo a la conformacin o seleccin de un programa de formacin Identificar las caractersticas de los destinatarios-participantes en el programa de formacin. Implica la especificacin de la poblacin a la que va destinado el programa. Valorar la pertinencia del programa en funcin de los dos anteriores. Es decir, examinar si los elementos que integran el programa estn en consonancia con las necesidades que debe satisfacer, a la par que se ha de verificar la coherencia interna entre dichos elementos (objetivos, contenidos, estrategias, actividades, recursos, sistema de evaluacin, formadores, etc.).
2.
Finalidades evaluacin inicial
3.
Las consecuencias de estas finalidades en relacin con la posible toma de decisiones, tal como advertimos en la misma tabla, pasa por precisar las mismas, que girarn en torno a: 1. Determinacin de la poltica de formacin, elaboracin del programa, introduccin de nuevos recursos, reorganizacin de los recursos existentes, formacin de los formadores, etc. Admisin, orientacin aprendizaje. y establecimiento de grupos de Decisiones en evaluacin inicial
2. 3.
Adaptacin-ajuste (rediseo, si es necesario) del programa que se ha de implementar.
De acuerdo a estas finalidades y posibles decisiones a tomar, no cabe duda que centrar el objeto de evaluacin -(QU?)- no ha de ser una tarea difcil, ms all de la complejidad intrnseca del mismo. Desde nuestra ptica, pues, podemos apuntar cuatro campos de objeto: a) contexto (general e instructivo), b) necesidades, c) destinatarios y d) el programa en s (diseo). En el primer caso, con independencia de otro tipo de consideraciones, partimos de integrar la evaluacin de necesidades como una evaluacin del contexto general, como una de las dimensiones fundamentales en la evaluacin de programas, aunque haya autores que la consideran previa e independiente del mismo. Como destacan Gairn et alt. (1995: 98), el anlisis de necesidades es una dimensin de la evaluacin dirigida a emitir juicios de valor sobre los dficits que se dan en una determinada situacin. Permitiendo con ello orientar el proceso de planificacin del programa, dirigir procesos de cambio, justificar la toma de decisiones. Por tanto, han de ser circunscritas a un contexto y momento dado, ya que pueden cambiar o ser diferentes en otras situaciones. Pero ms all de su ubicacin en el proceso de evaluacin de programas y su funcin y sentido en el mismo, el problema que se nos
Objetos de evaluacin inicial
27
plantea en este momento es el definir o identificar qu necesidades hay que evaluar y que indicadores utilizaremos, dejando para ms adelante la problemtica relativa al cmo hacerlo. En este sentido, no cabe duda que el problema de las necesidades tiene que ver con su conceptualizacin. Si bien son mltiples, variados y nada despreciables los acercamientos realizados en este particular, prescindimos de ellos por cuanto su anlisis excede de los propsitos de este trabajo. No obstante hemos de operar, aunque sea mnimamente bajo una concepcin, de ah que en este momento sencillamente consideremos la tipologa de las necesidades desde una doble ptica. Por un lado, asumimos la consideracin de necesidades sociales o institucionales y las necesidades individuales, conscientes de que todo programa de formacin responde o debe responder a ambas; su priorizacin, pues, no es ms que el resultado de una confrontacin dialctica y dialgica entre las mismas. Por otro, igualmente nos interesa en este proceso de anlisis considerar otra tipologa relativa a necesidades normativas (situacin actual versus la establecida por la norma o el sistema de referencia), las necesidades percibidas o sentidas (situacin actual versus situacin deseada por los destinatarios), necesidades comparativas (situacin actual versus situacin en otros contextos de la misma ndole), necesidades potenciales (situacin actual versus situacin futura). Ni que decir tiene que ambas tipologas pueden estar en estrecha interaccin de manera que se puedan evidenciar, por ejemplo, necesidades normativas tanto sociales como individuales. Por otra parte, hemos de reparar en el contexto institucional e instructivo en que ha de implantarse y desarrollarse el programa. En este sentido, resulta ineludible reparar en torno a la organizacin, clima y cultura, dinmica institucional, recursos humanos (formadores, coordinadores o gestores del programa competencia profesional-), funcionales (organigrama, distribucin de tiempos, etc.) y materiales (equipamientos, espacios, etc.) con los que se cuenta, desde la ptica de su suficiencia, pertinencia y disponibilidad, como criterios bsicos a utilizar, de manera que el programa a implantar sea factible y viable. Si no es as, habr que propiciar nuevos recursos, reorganizar los existentes, o en su defecto, redisear o ajustar el programa a la situacin dada.
28
MOMENTO
FINALIDAD 1. Identificar las necesidades y caractersticas del contexto
OBJETO Contextonecesidades
INDICADORES Organizacin Clima-cultura recursos: Nec. Individuales Nec. sociales ..................
CRITERIOS
INSTRUMENTOS
FUENTES INFORMACIN
DECISIONES
DISEO DEL PROGRAMA (Inicial)
2. Identificar las caractersticas de los destinatarios
Destinatarios
3. Valorar la pertinencia del programa Programa
Conocimientos Destrezas Actitudes Aptitudes Motivacin Intereses necesidades Expectativas Historia acadmica Historia profesional ................ Objetivos Contenidos Actividades Estrategias Recursos Evaluacin ...........
Pertinencia Suficiencia Actualizacin Objetividad Aplicabilidad Relevancia Coherencia Utilidad Disponibilidad Factibilidad Viabilidad
Anlisis de contenido Anlisis por jueces Cuestionarios Escalas Entrevistas Observacin Pruebas de rendimiento Inventarios
1. Determinacin de la poltica de formacin, elaboracin del programa, introduccin de nuevos recursos, reorganizacin de Expertos externos los existentes, etc. e internos Gestores de 2. Admisin, orientacin, formacin establecimiento Destinatarios de grupos de Directivos aprendizaje
3. Adaptacin ajuste e implementacin del programa
Tabla 6.-Concrecin de las diferentes dimensiones en la evaluacin inicial de programas
29
En el segundo caso, los destinatarios-participantes en el programa y su caracterizacin nos obligan a reparar en indicadores tales como las variables personales relativas a datos biogrficos (edad, sexo, personalidad, aptitudes generales, historia acadmico-profesional, etc.) y la situacin inicial en relacin con los conocimientos generales o especficos, habilidades, destrezas, actitudes, intereses, expectativas, motivacin, necesidades individuales, etc. tal como apuntamos en el grfico con el propsito de conocer el nivel de entrada al programa y de esta forma poder al final calibrar el nivel de logro en el mismo. En el tercer caso, la evaluacin del diseo del programa ha de realizarse en conexin con las necesidades que trata de satisfacer, as como las caractersticas contextuales en las que ha de operar, teniendo presente los destinatarios del mismo. Por tanto, habr que tener en cuenta si los objetivos se adecuan a las necesidades, su pertinencia y suficiencia, adems de la factibilidad; los contenidos desde su seleccin, secuenciacin con criterios tales de suficiencia, objetividad, actualidad, relevancia y pertinencia; las actividades propuestas desde su adecuacin y suficiencia para el logro de los objetivos; los recursos y medios didcticos necesarios, infraestructura, temporalizacin, etc. con criterios de suficiencia y pertinencia con los objetivos y actividades; y el sistema de evaluacin desde la ptica de su suficiencia e idoneidad para aportar informacin necesaria de cara a la verificacin del logro de los objetivos y el desarrollo del programa. Llegamos con ello a la obliga plasmacin de los indicadores especficos de cada uno de estos objetos o variables en el proceso de evaluacin, atendiendo simultneamente a los criterios a implicar. A continuacin proponemos un listado meramente ilustrativo de los mismos, as como algunas cuestiones relevantes sobre el particular Somos conscientes que no necesariamente pretenden barrer todas las situaciones posibles de evaluacin de proceso de programas, pero si se pueden considerar como facilitadores de las cuestiones evaluativas que en cada caso especfico habr que articular. Con ello, queremos dar a entender, con independencia de las fuentes de informacin, que en cada caso a partir de estas cuestiones, habr que elaborar el instrumento idneo, acomodado precisamente a dichas fuentes y ajustado a su vocabulario usual. Es decir, sobre las diferentes cuestiones propuestas podemos dirigirnos tanto a los participantes, formadores, coordinadoresgestores del programa u otro tipo de agentes externos o internos que pueden aportar informacin til sobre el proceso de desarrollo de un programa. Adems, tambin cabe destacar que estas cuestiones no han de plantearse directamente tal y como las proponemos, sino que han de entenderse como fuente de tems posibles, de manera que podemos formular ms de un tem -y es aconsejablesobre la misma cuestin indagadora de informacin.
30
CUESTIONES POSIBLES A REALIZAR EN LA EVALUACIN INICIAL Relativas al contexto instructivo:

El aula y mobiliario son adecuados? El clima del aula es adecuado para satisfacer las necesidades de los destinatarios? La cultura y clima institucional son pertinentes con la poltica de formacin? La duracin de las sesiones se adecua a las necesidades del contexto? Existencia de programacin de actividades fuera de aula y de centro? Disponibilidad de medios y recursos para el desarrollo de las actividades propuestas? Apoyo personal a la realizacin de las tareas propuestas? Los recursos humanos son eficientes para la consecucin de los objetivos? Los recursos humanos son suficientes para el desarrollo de las actividades del programa? Los recursos humanos son competentes en relacin con las exigencias del programa? Existencia de apoyo interno o externo en el desarrollo del programa? La organizacin del espacio es facilitadora de las actividades propuestas? El mobiliario es flexible/polivalente en relacin con las necesidades del programa? La organizacin del espacio y del tiempo es flexible respecto a las actividades del programa? Existe previsin horaria fuera de las sesiones -tutoras, seguimiento, etc.? Existe infraestructura suficiente para el desarrollo del programa? ...............
Relativas a los destinatarios
Nivel del conocimiento de los participantes? Los conocimientos de los destinatarios son suficientes para la realizacin de las actividades del programa? El nivel de conocimientos es pertinente para el establecimiento de grupos de aprendizaje? Las necesidades de los destinatarios son relevantes para trazar las estrategias del programa? Inters-motivacin por el curso? La asistencia al curso es obligatoria o voluntaria? Los intereses de los destinatarios son coherentes con sus necesidades? Los intereses de los destinatarios se adecuan a la poltica de formacin? La motivacin de los destinatarios es suficiente para alcanzar los objetivos del programa? Dificultades de aprendizaje? Las habilidades-destrezas de los destinatarios son suficientes para la realizacin de las actividades propuestas? Las actitudes de los destinatarios son facilitadoras para el logro del aprendizaje? ...................
Relativas al diseo del programa
Los objetivos formulados son suficientes para satisfacer las necesidades? Los objetivos son relevantes en relacin con la poltica de formacin? Los objetivos son pertinentes para satisfacer las necesidades?
31
Mdulo VI: Investigacin e innovacin formativa Los objetivos son factibles en relacin con el grupo de aprendizaje? La seleccin de contenidos es la apropiada al logro de los objetivos? Actualizacin de los contenidos tratados? Los contenidos son relevantes en relacin con el contexto? Posibilidad de aplicacin prctica de los contenidos? Dificultad/complejidad de los contenidos? Utilidad de los contenidos para los participantes? Los contenidos abordados son relevantes respecto al nivel formativo de los participantes?. Las actividades son pertinentes para el logro de los objetivos? Las actividades son suficientes para satisfacer las necesidades de los participantes? Las actividades son aplicables teniendo en cuenta el contexto? Existe multivariedad de estrategias metodolgicas? Las estrategias son coherentes con los planteamientos formativos? La metodologa permite la participacin activa? Adecuacin de las actividades realizadas a los objetivos? Los recursos previstos son suficientes para llevar a cabo las actividades? El ritmo previsto en el desarrollo de las actividades es el adecuado para el logro de los objetivos? El horario y su distribucin son adecuados a las actividades propuestas? La calidad y la cantidad de los materiales de apoyo son idneas? Los recursos materiales son adecuados a las caractersticas de los destinatarios? Se dispone de un sistema de evaluacin continua? Suficiencia e idoneidad del sistema de evaluacin? El sistema de evaluacin es suficiente para la comprobacin del logro de objetivos? El sistema de evaluacin permite aportar la informacin necesaria para verificar el logro de los objetivos y el desarrollo del propio programa?.
2.2 Dimensin metodolgica: el CMO (modelos y mtodos de evaluacin)

Establecidos los objetos de evaluacin y las finalidades de la misma, y por tanto concretados los criterios e indicadores de evaluacin inicial de programas, llega el momento de abordar el CMO abordar dicho proceso, qu camino hemos de recorrer o dicho de otra forma que mtodo seguir. Se trata de establecer o tomar decisiones bsicamente en torno a las personas que quedan afectadas o han de ser estudiadas (o quienes sern representativas en caso de operar con muestras), en qu momento se obtendr la informacin necesaria (cronograma de evaluacin), quin se encargar de ello (fuentes de informacinevaluadores) y a travs de que procedimiento se har la recoleccin de los datos necesarios. El modelo general de evaluacin de programas que venimos arrastrando puede ser un buen referente para acometer esta dimensin. Su virtualidad, ms all de centrar los diferentes objetos de evaluacin puede residir en que asume implcitamente planteamientos tanto cualitativos como cuantitativos, operando tanto con triangulacin de 32
fuentes de informacin como de instrumentos de recogida de la misma. No obstante, somos conscientes que, sobre todo, desde la ptica de la evaluacin o identificacin de necesidades puede resultar insuficiente. En este mbito, pues conviene profundizar un poco ms y ofrecer del conjunto de modelos y metodologas existentes algunas concreciones. Particularmente nos resulta interesante la propuesta de Navo (1998) que aunque originaria para la deteccin de necesidades de formacin en el mbito de la empresa es transferible a otras realidades de la formacin. Goza, adems, de la virtualidad de ser integrador de otros modelos de evaluacin de necesidades y operar con una conceptualizacin de las mismas en la lnea que hemos apuntado con anterioridad, dentro de los modelos propios de discrepancia (situacin actual-situacin ideal)
NECESIDADES INDIVIDUALES
NECESIDADES SOCIALES
Reales
DIALGICA
Reales
Sentidas
Sentidas
Potenciales De fuerte demanda De dbil demanda Primarias Secundarias
Primarias Secundarias
Potenciales De fuerte demanda De dbil demanda
ACCIONES FORMATIVAS
ACCIONES NO FORMATIVAS
Grfico 6.- Modelo de deteccin de necesidades (Navo 1998:30)
Advertir en este punto que es necesario considerar que el establecimiento final de las necesidades debe llegar despus de un minucioso proceso de consulta a diferentes fuentes de informacin (colectivas y/o individuales) y de la combinacin de diversas metodologas, tanto cuantitativas como cualitativas, que afectan tanto a la identificacin de la situacin real-actual como la ideal. Obviando la pormenorizacin de las actividades implicadas en este quehacer, baste momentneamente el modelo de Gairn y otros (1998) como propuesta de accin en la deteccin de necesidades de formacin, tratando de dar respuesta a lo que es, lo que debera ser y la discrepancia entre ambas situaciones como concrecin de la necesidad. La acomodacin que proponemos mantiene las claves bsicas del modelo que los autores nos presentan en la empresa dentro del sector productivo, la nica novedad estriba en hacerlo extensible a cualquier mbito, cuya referencia centramos en los requerimientos del perfil profesional de los destinatarios.
33
P O L I T I C A I N S T I T U C I O N
P O L I T I C A F O R M A C I N
Qu hace?
Qu debe hacer?
DESTINATARIO
Qu se le demanda
Qu se le ensea?
R E Q U E R I M I E N T O S D E L
P E R F I L P R O F E S I O N A L
Exigencias tcnicas Exigencias polticas
Grfico 7.-Modelo especfico de deteccin de necesidades (A partir de Gairn, 1998)
Para el resto de los mbitos-objetos planteados en la evaluacin inicial de programas, insistimos en la recurrencia a nuestro modelo general integrador (Tejada, 1991), sobre todo desde la ptica de Stufflebeam con su modelo CIPP, que esta primera fase trata de centrar el contexto de intervencin y el programa a implantar.
2.3 Dimensin operativa: CON QU (Tcnicas e instrumentos de recogida de informacin)

Una vez acotado el objeto y los indicadores de evaluacin del proceso, en funcin de las finalidades fijadas, igualmente establecidos los criterios e incluso las posibles decisiones a tomar en este momento evaluativo, queda por afrontar la dimensin ms operativa de la evaluacin, cual es la decisin en torno a las tcnicas e instrumentos a utilizar en el proceso de recogida de informacin. Esta decisin, no por el hecho de ubicarla en la dimensin operativa es menos trascendente, sino todo lo contrario. Con ello estamos aludiendo a que cualquier decisin precipitada puede llevarnos a una informacin no vlida, ni suficiente, originndose en este proceso fuentes de error que son consecuentemente arrastradas en el propio proceso evaluativo e invalidan el mismo.
34
La toma de conciencia sobre este particular va ms all de la idoneidad o pertinencia de los instrumentos en relacin con el objeto de evaluacin y sus indicadores. Habra que considerar igualmente el proceso mismo de recogida de informacin en lo relativo a quin lo realiza y su competencia para ello, las circunstancias o contexto de recogida de informacin y los propios instrumentos de recogida de la misma. Reparar en esta problemtica excede de los propsitos de este trabajo, pero hay que aludir a ello indefectiblemente, aunque sea solamente como punto de atencin o aviso a navegantes. Otra cuestin importante sobre este punto es la competencia de los profesionales de la evaluacin en relacin con los instrumentos. Si consideramos que la decisin instrumental se centra en torno a la seleccin y/o la construccin de instrumentos, -y por este orden-, no cabe duda que dichos profesionales deben conocer con profundidad las tipologas, caractersticas tcnicas, ventajas e inconvenientes, etc. de los distintos instrumentos y tenerlos presentes a la hora de tomar la decisin sobre este particular. Decisin que, como venimos comentando, se basa en los criterios bsicos de idoneidad y pertinencia del instrumento respecto del objeto evaluativo. De nuevo eludimos profundizar sobre este aspecto, aunque somos conscientes de la problemtica implcita subyacente en ello, sobre todo en el proceso de construccin de un instrumento. En cualquier caso, somos partidarios en este momento decisivo de tener en cuenta los principios de multiinstrumentalidad y de triangulacin instrumental. Estos dos principios no habra que entenderlos en su aplicacin como un aadido o incremento de la complejidad evaluativa, sino como herramienta bsica para contrarrestar los dficits y problemticas que se presentan en todo proceso de recogida de informacin. El primero se justifica por obtener distintas medidas sobre un mismo objeto y el segundo por la complementariedad angular de las mismas. Esto garantiza no slo la suficiencia de la informacin sino tambin su vala. El siguiente ideograma vendra a representar algunas de las posibilidades instrumentales de acuerdo con los diferentes objetos de evaluacin implicados en esta fase.
35
Triangulacin de instrumentos y fuentes de informacin
NECESIDADES
Normativas Comparativas Sentidas Expresadas Potenciales Sociales/individ.
DESTINATARIOS
Conocimientos Aptitudes Motivacin Intereses Expectativas Experiencia....
Anlisis documental, de tareas

(expertos, responsables)
Grupos discusin
(expertos, responsables de formacin)
Cuestionario, Entrevista
(destinatarios)
Tests psicopedg. (participantes)
Pruebas de rendimiento
(participantes)
Curriculum Cuestionario, escalas

(participantes, formadores)
Inventarios Documentos institucion.

(responsables institucionales)
Entrevista
(responsables, coordinadores
Cuestionario
(participantes, coordinadores, responsables)
Anlisis de contenido documental

(expertos, gestores, etc)
Entrevista
(participantes, responsables, formadores
Cuestionario
(participantes, expertos
CONTEXTO INSTRUCTIVO
Organizacin Clima/cultura Recursos ...........
PROGRAMA EN S
Objetivos Contenidos Actividades Estrategias Recursos Sistema eval.
Grfico 8.- Instrumentos posibles de evaluacin incial
Un comentario sucinto del mismo nos destacara la necesaria implicacin, de acuerdo con dichos objetos, de las entrevistas, cuestionarios, anlisis de tareas, anlisis documental, tcnica Delphi, grupos de discusin, grupos nominales, etc., implicando tanto a expertos, destinatarios y responsables de formacin y gestin institucional en la deteccin e identificacin de necesidades, con independencia en este momento de su tipologa, que como es obvio, concretar la tcnica es instrumento especfico. Si nos referimos a los destinatarios como objeto de evaluacin, teniendo presente los diferentes indicadores apuntados, no cabe duda que tanto las pruebas de rendimiento, tests psicopedaggicos, cuestionarios, escalas, curriculum, son herramientas imprescindibles para determinar el nivel de entrada y tal como hemos destacado, a partir de su diagnstico, 36
tomar las decisiones oportunas relativas a la seleccin, establecimiento de grupos de aprendizaje, o adecuacin del programa (fundamentalmente en sus estrategias de desarrollo y recursos a implicar) a las caractersticas de los participantes. La consideracin del contexto instructivo en sus mltiples facetas obliga igualmente a implicar variados tipos de instrumentos que pueden cifrarse en torno a inventarios, entrevistas a los responsables institucionales, anlisis de documentos, cuestionarios, etc. en aras nuevamente a inventariar los recursos y analizar su disponibilidad, de manera que dicha caracterizacin y las decisiones consecuentes con la misma permitan la viabilidad del programa. Por ultimo, si nos centramos en el diseo del programa la recurrencia necesaria a expertos, bien sea a travs de entrevistas, cuestionarios, o anlisis documental se convierte en una necesidad para calibrar la vala del programa en sus diferentes elementos. Pero tambin necesitamos en este aspecto la valoracin, si se quiere ms ajustada a la realidad o al contexto especfico de implantacin, de los propios responsables de formacin conocedores de las necesidades concretas. En este sentido, de nuevo la entrevista o el cuestionario (segn la cantidad de implicados) se erigen en instrumentos necesarios valorar la vala del programa en su conjunto, aunque podramos entrar en detalle aludiendo a la suficiencia de los objetivos, la idoneidad de las actividades, la pertinencia de los recursos, etc.
37
LA EVALUACIN PROCESUAL
En la lnea de lo que venimos exponiendo, llega el momento de abordar la evaluacin relativa a la implementacin y desarrollo de un programa. Las exigencias evaluativas de esta fase, dentro del nuestro enfoque fragmentado de la evaluacin de programas, justificado y legitimado por cuestiones prcticas y operativas, nos catapultan en nuestro quehacer inicialmente en torno a dos grandes decisiones como son la implantacin y el posterior seguimiento en su desarrollo prctico de un programa. Es decir, nos movemos en el mbito de la accin, estamos delante de la ejecucin del programa. Esta situacin acarrea todo un conjunto de exigencias desde el punto de vista evaluativo, adquiriendo la propia evaluacin un protagonismo vital. No debemos olvidar en este momento que el propsito final, entre otros, es el xito del programa y no su fracaso, de ah que no sea gratuita nuestra afirmacin sobre la vitalidad o la importancia capital de la evaluacin, como mecanismo, procedimiento y herramienta clave en la gestin de programas. Dicho de otra forma, sin evaluacin es imposible la gestin eficaz de programas, amn de convertirse en centro de inters para poder explicar los resultados del mismo. Consideramos en nuestra conceptualizacin terica sobre la evaluacin, y en ms de una ocasin prctica as lo hemos afirmado, que siendo importante la verificacin, constatacin y concrecin de los resultados de un programa, an lo es ms conocer las causas de los mismos. Esta tarea, centrada en el QU resultados y en el POR QU de los mismos, es fundamental para la posterior toma de decisiones sobre el mantenimiento del programa o su descarte, una nueva acomodacin o correctiva sobre el mismo, etc. Si no sabemos las causas de los resultados, ya sean exitosos o deficientes, difcilmente podemos ajustar la decisin racional sobre un programa. Si por ejemplo, partimos de un programa y los resultados no son satisfactorios puede que su explicacin recaiga tanto en un mal diseo inicial del mismo, irreal o no ajustado a contexto, bien que la gestin no fue acertada, asumiendo que el programa intrnsecamente es bueno, o bien que no se dispusieron todos los recursos necesarios, o bien que la competencia profesional de los formadores y su seleccin no fuera la idnea, o bien que su temporalizacin en relacin con las caractersticas de los destinatariosparticipantes en la prctica no fuese la correcta, etc. Mltiples explicaciones, pues, y a la vez exigencias, que nos obligan a reparar en esta fase de relevante significancia.
38
3.1 Dimensin conceptual: el QU y PARA QU de la evaluacin procesual de programas

La evaluacin procesual hace referencia al tipo de evaluacin que se lleva a cabo mientras se desarrolla o ejecuta un programa con el propsito de su optimizacin y mejora, como ya comentamos al referirnos a la evaluacin formativa (grfico 1). Concretamente, Stufflebeam (1987:199) en este particular, destaca como objetivos de evaluacin de procesos: Proporcionar informacin sobre: 1) el ritmo que siguen las actividades del programa, 2) la adecuacin al plan previsto, y 3) la utilizacin de los recursos disponibles. Aportar una gua para modificar el plan. Valorar peridicamente la participacin de los implicados. Proporcionar un extenso informe del programa realmente aplicado, sus costes y la valoracin de su calidad por los observadores y participantes. Desde esta ptica, a nuestro entender cinco seran las finalidades implcitas en este tipo de evaluacin: (cfr. tabla 1). 1. Identificar los puntos crticos en el desarrollo del programa. 2. Optimizar el programa para su desarrollo. 3. Mejorar las posibilidades de los participantes. 4. Aumentar la informacin para posteriores decisiones. 5. Dar informacin sobre su evolucin y progreso. Y en consonancia con lo anterior, el seguimiento exhaustivo de estas finalidades nos puede permitir explicar posteriormente los resultados del programa, tanto los previstos como imprevistos y racionalizar an ms la toma de decisiones posterior, sin olvidar que durante dicho proceso igualmente tomamos decisiones de mejora como hemos apuntado, modificando las previsiones, rectificando los errores o fallos detectados, eliminando los obstculos que impiden una correcta vehiculacin del programa. En esta direccin tres tipos de decisiones podran ser tomadas sobre el desarrollo de un programa: 1. Adaptacin de las actividades enseanza-aprendizaje (tiempo, recursos, motivacin, estrategias, rol docente, etc.) 2. Reubicacin de alumnos y profesores-formadores. 3. Incorporar nuevos recursos. Decisiones en la evaluacin procesual Finalidades en la evaluacin procesual
39
Objetos en la evaluacin procesual
Ms all de las finalidades apuntadas (PARA QU) convendra reparar ahora en el QU de la evaluacin procesual. El centro de atencin en esta tipologa evaluativa puede ubicarse en torno a tres mbitos objetales como son: 1) el programa en s -actual-, 2) el clima social y 3) los resultados parciales. Los mismos vendran a cubrir un doble mbito cual es la implementacinejecucin del programa y el progreso del mismo en relacin con el logro de sus objetivos. En el primer caso, estaramos haciendo alusin a la naturaleza de las tareas que se realizan en relacin al programa (incluye las actividades, estrategias, temporalizacin, recursos, dinmica, papel de los formadores, etc., as como la propia gestin del programa). Esta actividad se acomete por parte del equipo que implementa el programa con el objetivo de la revisin permanente de su intervencin para ajustarla al diseo y a los condicionantes propios del contexto especfico donde el mismo se lleva a cabo. En el segundo caso, el centro de inters es la comprobacin de los resultados parciales -tanto previstos como no previstos- que va ofreciendo el programa en relacin con los objetivos del mismo. Normalmente, en programas de formacin, los objetivos de un programa van asociados a los participantes, pero no necesariamente esto ha de ser as, puesto que tambin podemos verificar que podemos tener objetivos en el programa focalizados en torno a la institucin y su desarrollo, o en torno al contexto de desarrollo. En cualquier caso, implantacinejecucin y resultados parciales no son los mbitos exclusivos en cuanto a los objetos de evaluacin o datos a recoger, sino que tambin hemos de atender a otras variables explicativas de unos y otros como son las relaciones (clima social), en la lnea de lo apuntado. Conviene ahora, pues, precisar concretamente dichos objetos de evaluacin y su concrecin, abordando los indicadores necesarios que se ponen en juego a tal fin. En este sentido, creemos oportuno ofrecer el modelo de Cooley, Leinhart y Lohnes (1980) en el que apuntan las variables ms significativas en la valoracin del proceso instructivo, y como tal fuente de indicadores en la evaluacin de programas. Tanto las variables antecedentes, relativas a los formadores y los participantes, como las variables contexto, relativas al contexto aula como al institucional y general del entorno, inciden en el comportamiento docente-discente durante el proceso de formacin. Habra que aludir en este momento algunas otras variables que a lo largo de nuestra experiencia se han evidenciado tambin como significativas, y aunque podran incluirse dentro del contexto del desarrollo del programa, creemos importante subrayarlas con carcter propio. Nos referimos concretamente a aquellas variables que tienen que ver con la gestin del programa y relativas, por tanto, a sus gestores, directores, coordinadores y su papel especfico. 40

1.- La evaluacin de la reaccin o el progreso
PROFESOR
Caract personales: Capacitacin docente: -Edad/sexo -Formacin -Habilidades pedag. Experiencia -Motivacin -....... -Personalidad - .....
FEED-BACK
OPORTUNIDAD Conductas del profesor MEDIDAS DE REACCIN O PROGRESO MOTIVACIN

Comparacin
Objetivos previos Necesidades Status inicial
VARIABLES ANTECEDENTES
ALUMNO
Caract personales: -Edad/sexo -Aptitudes generales -Personalidad - ...... Status inicial:: -Conocimientos Experiencia -Motivacin -Expectativas
ESTRUCTURA
2.- La evaluacin de la implementacin
EJERCICIOS DE APRENDIZAJE CONTEXTO DEL AULA VARIABLES CONTEXTO CONTEXTO Conductas del alumno
Comparacin
Diseo de instruccin previsto Diseo ideal
-Nmero de alumnos -Apoyos programa -Contenido temtico -Especificaciones -Medios de aprendizajes -sobre el programa -Clima, relaciones -....... - .......
FEED-BACK
Variables de proceso Evaluacin Criterios
Grfico 9.- Modelo para la evaluacin del proceso educativo ( Cooley, Leinhart y Lohnes, a partir de Cabrera, 1987:122)
41
Siguiendo con el modelo, hay que reparar tanto en las oportunidades (temporales y curriculares) que el alumno participante ha tenido para aprender los diferentes objetivos, las motivaciones y estimulaciones del medio instructivo que procuran impulsar el aprendizaje del sujeto, la estructura del material instructivo y los ejercicios de aprendizaje (calidad pedaggica e instructiva de los mismos) adecuados al programa y los destinatarios implicados en el mismo. De todo ello se derivan diferentes informaciones en relacin con la implementacin del programa y el progreso de los participantes. Su necesaria contrastacin con los objetivos, necesidades, situacin inicial de los participantes, diseo previsto y su pertinente y correspondiente toma de decisiones permitirn el feed-back necesario para el ajuste, rediseo o mantenimiento del programa en su desarrollo, que como dijimos con anterioridad, son los objetivos ltimos de la evaluacin formativa, propiciando con ello automticamente la mejora u optimizacin del mismo. Implcitamente, pues, tambin estamos asumiendo que este referente de comparacin (objetivos, necesidades, participantes, diseo) es la fuente de criterios con la que hemos de actuar. De manera que pondremos en juego la suficiencia de los objetivos en relacin con las necesidades de los participantes, la pertinencia y coherencia de las actividades con los propios objetivos del programa, la idoneidad, utilidad y disponibilidad de los recursos y medios con las actividades, la eficacia y satisfactoriedad en relacin con el logro de los objetivos, amn de otros tantos que podran considerarse. Llegamos con ello a la obliga plasmacin de los indicadores especficos de cada uno de estos objetos o variables en el proceso de evaluacin. A continuacin proponemos un listado meramente ilustrativo de los mismos, as como algunas cuestiones relevantes sobre el particular
42
MOMENTO
FINALIDAD
1. Identificar los puntos crticos en el desarrollo del programa.
OBJETO
Programa actual
INDICADORES
Actividades Estrategias Temporalizacin recursos
CRITERIOS
Conformidad Pertinencia Suficiencia Actualizacin Aplicabilidad Relevancia Coherencia Utilidad Disponibilidad Satisfactoriedad
INSTRUMENTOS
FUENTES INFORMACIN
DECISIONES
1. Adaptacin de las actividades enseanzaaprendizaje (tiempo, recursos, motivacin, estrategias, rol docente, etc.)
Cuestionarios Escalas Entrevistas Observacin Pruebas de rendimiento Anlisis de prcticas Registros anecdticos Diarios Expertos externos e internos Gestores de formacin Destinatarios Formadores
2. Optimizar el programa para su desarrollo.
Dinmica Interaccin Formador
DESARROLLO DEL PROGRAMA (Continua)
3. Mejorar las posibilidades de los participantes
......... Clima social Relaciones Implicacin
4. Aumentar la informacin para posteriores decisiones Resultados parciales: - previstos - no previstos
Participacin Motivacin Interacciones .............
2. Reubicacin de alumnos y profesores
5.-Dar informacin sobre su evolucin y progreso.
Conocimientos Actitudes Destrezas ..............
3. Incorporar nuevos recursos
Idoneidad
Tabla 7.- Concrecin de las diferentes dimensiones en evaluacin procesual de programas
43
CUESTIONES POSIBLES A REALIZAR EN LA EVALUACIN PROCESUAL

Actualizacin de los contenidos tratados? Posibilidad de aplicacin prctica de los contenidos? Dificultad/complejidad de los contenidos? Utilidad de los contenidos para los participantes? Los contenidos abordados son relevantes respecto al nivel formativo de los participantes?. El nivel de profundidad de los temas es el adecuado? Las prcticas realizadas satisfacen las necesidades de los participantes? Existe multivariedad de estrategias metodolgicas? La metodologa permite la participacin activa? Adecuacin de las actividades realizadas a los objetivos? Las prcticas, ejercicios prcticos, supuestos, etc. han sido tiles y suficientes? La calidad y la cantidad de la documentacin son idneas? Disponibilidad de medios y recursos para el desarrollo de las actividades propuestas? El aula y mobiliario son adecuados? Se dispone de informacin puntual sobre el desarrollo del programa? Calidad de los materiales de apoyo en uso? Adecuacin del ritmo de trabajo? El horario y su distribucin son adecuados a las actividades propuestas? La duracin de las sesiones se adecuan a las necesidades del contexto? Existencia de programacin de actividades fuera de aula y de centro? Apoyo personal a la realizacin de las tareas propuestas? La participacin existente satisface los planteamientos formativos? Claridad expositiva del formador? Claridad en las instrucciones para realizar las actividades propuestas? Capacidad de motivacin del formador? Dominio del contenido por parte del formador? Dominio de estrategias y tcnicas didcticas del formador? Utilizacin de los recursos y medios didcticos por el formador? Nivel del conocimiento de los participantes? Facilidad de relaciones personales del formador? Dedicacin horaria fuera de las sesiones -tutoras, seguimiento, etc.? Fomento del trabajo en grupo del formador? Capacidad para resolver situaciones de conflicto en el aula? Existencia de trabajo en equipo por los formadores -planificacin, desarrollo, evaluacin? Existencia de grupos de trabajo en el centro? Existencia de apoyo interno o externo en el desarrollo del programa? Participacin en las actividades? Relacin entre los compaeros? Inters-motivacin por el curso? Colaboracin entre los miembros del grupo -ayuda mutua-? Clima de trabajo en el aula? Disponibilidad de un sistema de evaluacin continua?
44
Unidad Didctica: La evaluacin de Programas Suficiencia e idoneidad del sistema de evaluacin? Los criterios e instrumentos de evaluacin son comunes en todos los formadores? Uso de la informacin recogida sobre el proceso? Existencia de respuesta para atender la diversidad? Logros de los objetivos durante el proceso? Resultados en relacin con los conocimientos, procedimientos y actitudes adquiridos durante el proceso? Dificultades de aprendizaje? Deteccin de lagunas, reiteraciones en el desarrollo de los contenidos en los diversos cursos? Desfases entre resultados parciales y objetivos previstos? Evidencia de resultados no previstos? Modificaciones realizadas durante el proceso? Satisfaccin de expectativas de los participantes? Nivel de satisfaccin del profesorado? La poltica de formacin se aplica eficaz y eficientemente? ................... ...................
3.2 Dimensin metodolgica: el CMO (modelos y mtodos de evaluacin)

Al igual que planteamos en el captulo anterior, una vez establecidos los objetos de evaluacin y las finalidades de la misma, y por tanto concretados los criterios e indicadores de evaluacin procesual, llega el momento de abordar el CMO abordar dicho proceso, que camino hemos de recorrer o dicho de otra forma que mtodo seguir. Se trata de establecer o tomar decisiones bsicamente en torno a que personas quedan afectadas o han de ser estudiadas (o quienes sern representativas en caso de operar con muestras), en qu momento se obtendr la informacin necesaria (cronograma de evaluacin), quin se encargar de ello (fuentes de informacin-evaluadores) y a travs de que procedimiento se har la recoleccin de los datos necesarios. Si retomamos lo apuntado mnimamente en el primer captulo sobre este particular, podemos verificar, de una parte, que la evaluacin del proceso de desarrollo de programas es la parte ms desconocida pero probablemente la dimensin ms prctica de la evaluacin; y de otra, la literatura nos ofrece todo un conjunto de modelos-diseos de evaluacin, establecidos y validados a lo largo del tiempo en situaciones y contextos especficos. Cmo interpretar, pues, esta paradoja?. Sencillamente por el propio desarrollo conceptual de la evaluacin. Su evolucin histrica arranca de la evaluacin de productos en clara referencia a la verificacin de los logros en un programa (resultados con una finalidad sumativa), pero la insuficiencia para poder explicar tanto los resultados previstos como no previstos orienta el rumbo hacia la evaluacin de los procesos en la bsqueda de los porqu, a la vez que se asume la necesidad de tomar decisiones orientadas a la optimizacin del propio programa en su desarrollo (finalidad formativa). He aqu pues, una primera explicacin de que este mbito evaluativo tenga menor desarrollo y tradicin que la
45
evaluacin de los productos, asumiendo su importancia clave para poder entender o explicar los resultados de un programa. Tambin, en clara alusin a los modelos y metodologas aportados a lo largo del tiempo existe la consiguiente descompensacin. En este caso, adems de lo advertido con anterioridad, hay que asumir que dichos modelos y metodologas tambin han sufrido un proceso de evolucin. No se trata de entrar con profundidad sobre este punto, pero es inevitable aludir a la evaluacin cualitativa y evaluacin cuantitativa como clave explicativa de ello, como sntesis de la evolucin paradigmtica en general en el mundo de la ciencia. La tradicin se centra en lo cuantitativo (en clara alusin al paradigma positivista a la hora de conceptualizar la realidad como fija y estable). Sus limitaciones han permitido dicha evolucin y, por tanto, el desarrollo de lo cualitativo (en clara alusin a planteamientos ms abiertos y flexibles desde el paradigma naturalista). La diferencia entre ambas lneas metodolgicas no es solamente el giro realizado en torno al objeto de evaluacin, proceso de recogida y tratamiento de la informacin, tcnicas e instrumentos de medida, sino que es ms profundo. Cada una de ellas entraa un discurso epistemolgico diferente, se fundamentan en paradigmas distintos y para muchos antagnicos, que implican diferentes concepciones de la realidad. Todo ello ha generado una polmica importante entre evaluacin cuantitativa y evaluacin cualitativa, desde posturas irreconciliables hasta posturas intermedias o de reconciliacinintegracin. Lo que si parece cierto, obviando mayor profusin, es que dada la complejidad que presentan los fenmenos educativos es necesario recurrir a la triangulacin de metodologas definida como la combinacin de las mismas. Y esto cobra capital importancia en la evaluacin del desarrollo de un programa. Estas consideraciones previas de signo metodolgico, en estrecha relacin con el CMO evaluar el proceso, nos remiten igualmente a la consideracin o alusin en torno a los diferentes modelos sobre el particular. Si de nuevo retomamos la unidad didctica anterior, constatamos que los modelos que all se analizan como ilustrativos, conscientes de la existencia de otros tantos, nos presentan una visin global de la evaluacin de programas y prcticamente la mayora que se pueden relacionar con la evaluacin del proceso se caracterizan por la evaluacin cualitativa. Prescindiendo de su descripcin por escapar a los lmites de este trabajo (aunque a ello le hemos dedicado otros momentos -Tejada, 1989, 1997-) podemos concretar en torno al modelo de evaluacin respondente de Stake, modelo de toma de decisiones de Stufflebeam, modelo sin referencia a metas de Scriven, modelo de evaluacin iluminativa de Parlett y Hamilton, modelo de crtica artstica de Eisner, a los que tambin se podra aadir en la misma direccin cualitativa el modelo de evaluacin democrtica de McDonald, e incluso incorporar diseos evaluativos de corte ms cuantitativa como los propuesto por Weis sobre diseo de series temporales o series temporales mltiples. Con todo, desde nuestro modesto posicionamiento de carcter ms integrador y consecuentes con ello, apostamos no tanto por la eleccin y 46
seguimiento de un modelo fidedignamente, sino por la propia concrecin contextualizada de uno propio. Es esta ptica la que nos permite ofrecer el modelo integrador de distintos modelos y que venimos siguiendo a lo largo de este trabajo. En cualquier caso, lo que venimos a defender es que la opcin metodolgica, y por tanto el modelo y procedimiento a seguir son dependientes directamente de las necesidades evaluativas y de la consecuente toma de decisiones realizada en torno a la finalidad y objeto de evaluacin implicados en el proceso, que puede ser susceptible de modificacin o variacin en cada evaluacin de programa particular.

La alusin al apartado correspondiente en la unidad anterior debe ser suficiente para afrontar esta dimensin operativo-instrumental y sin ms prembulos pasar a considerar las tcnicas e instrumentos que pueden implicarse en este momento. Como acabamos de verificar el proceso de evaluacin del desarrollo de un programa puede concretarse en torno a dos macroobjetos y sus respectivos indicadores ya planteados en este captulo: el programa y los participantes, guiados obviamente por la finalidad formativa de la evaluacin y sus implicaciones.. El siguiente ideograma vendra a reflejar nuestro planteamiento. Una lectura sucinta del mismo nos indica que un doble acercamiento instrumental bajo los principios aludidos: Por un lado, afrontamos el programa en su desarrollo, sobre todo de la secuencia instructiva prevista y las estrategias que se ponen en juego en la interaccin docentediscente. En este caso, apostamos por varios instrumentos (tcnicas) procurando recoger la informacin necesaria establecida en los indicadores a travs de las entrevistas, la observacin y los cuestionarios. En esta tarea implicamos como fuentes de observacin tanto a profesores como alumnos, aunque tambin se le podra aadir el observador externo. Preocupacin bsica en este momento ser el propio trabajo del profesor (exposiciones orales, capacidad de motivar y conectar con los aprendizajes previos, capacidad para abrir debate, clarificar vocabulario, correccin individual y grupal). Tambin es muy relevante en este mbito la propia participacin de los alumnos y su implicacin en el proceso y la dinmica del grupo. Para ello contaremos con el cuestionario y entrevistas a una muestra representativa de alumnos.
47
EVALUACIN DEL PROCESO
PROGRAMA EN S
Secuencia instructiva Estrategias Recursos Temporalizacin Formador, etc
DESTINATARIOS
Logros Motivacin Implicacin Relaciones Actitudes, etc.
(in situ durante las sesiones)
Observacin
Entrevista
(formadores, participantes, gestores)
Cuestionario
(formadores, participantes, gestores)
en las sesiones) (participantes)
Anlisis de Cuestionario, Pruebas de escalas rendimiento produccione (participantes, (participantes s

formadores)
Grfico 10: Instrumentos de evaluacin en la evaluacin de proceso
Si nos ubicamos en el mbito de los alumnos, fundamentalmente sus logros, habr que utilizar instrumentos relacionados con las pruebas de rendimiento de corte formativo y el anlisis de los materiales producidos por los mismos. Es este momento parecen apropiadas las pruebas objetivas de correccin colectiva u otro tipo de pruebas de ensayo o prcticas que impliquen autoevaluacin. Estas actividades pretenden fundamentalmente que los alumnos tomen conciencia de los procesos cognitivos que hay que poner en juego, proporcionar a los alumnos oportunidades para constatar su propio progreso y proporcionar a los profesores informacin sobre las dificultades y progresos en el aprendizaje. Los objetivos ms actitudinales y ligados con la participacin, implicacin, motivacin, satisfaccin, expectativas, etc se pueden valorar tanto a travs de la observacin, como de los cuestionarios y entrevistas a muestra de alumnos. Son puntos de inters en este campo la asistencia a las sesiones presenciales y a los debates, la participacin activa en los mismos y los dilogos que se suscitan en clase.
48
LA EVALUACIN DE RESULTADOS
La evaluacin de resultados de programas educativos, en la lnea de lo que venimos exponiendo en nuestro planteamiento de evaluacin fragmentada, es a la que ms literatura y prctica evaluativa se le ha dedicado. Varias razones podran explicar este hecho. De una parte, la propia consideracin de los resultados para la validacin de los programas, de manera que la bondad del programa fundamentalmente se ha atribuido o explicado por la evidencia de sus resultados -sobre todo los previstos-. Por otra parte, la propia tradicin en nuestra cultura evaluativa, originada por Tyler (1950), se ha respaldado o limitado a la comprobacin del logro de los objetivos prefijados, lo que ha posibilitado la relevancia, importancia, preocupacin y consideracin de los resultados como centro de atencin principal en la evaluacin de programas. Hoy da, no obstante, advertimos un cambio muy significativo, resultado de todo un proceso de evolucin de los propios modelos de evaluacin de programas, que resita los planteamientos respecto a los resultados de un programa. La apertura global habida en dicha evaluacin, sobre todo con el desarrollo de la evaluacin formativa, nos indica que siendo importantes los resultados de un programa, no son suficientes para explicar la vala del mismo. Toda evaluacin sumativa -producto- se puede explicar y justificar por la evaluacin formativa -proceso-, e incluso diagnstica desde la ptica de calibrar los cambios producidos. Dicho de otro modo, no es suficiente con conocer QU RESULTADOS, sino que tambin necesitamos conocer los POR QUS de los mismos, para orientar la toma de decisiones. Adems, incluso la misma concepcin de los resultados o productos ha variado respecto de los planteamientos tradicionales de verificacin del logro de objetivos. En este sentido, en la evaluacin sumativa final de programas se reconocen al menos tres tipos de productos totalmente distintos: a) los resultados inmediatos, b) los impactos, y c) los costes. En nuestra conceptualizacin sobre evaluacin sumativa, con independencia de la toma de decisiones sobre la vala de un programa, tambin expresamos que la dimensin temporal, bajo estas consideraciones, quedaba afectada. A la tpica evaluacin final del desarrollo de un programa, hay que aadir una evaluacin diferida (a corto, medio o largo plazo), necesaria para concluir correctamente el proceso de evaluacin y tomar decisiones de la forma ms racional, justificada y argumentada posible. Esto conlleva nuevas dificultades atribuibles a la nueva complejidad del hecho evaluativo. Adems de considerar que la evaluacin de resultados tiene que estar conectada ineludible e indiscutiblemente al resto de las fases del proceso evaluador. Con ello queremos advertir que, si bien en este captulo nos vamos a ocupar de la evaluacin de resultados, no podemos perder la conexin con el resto. An ms, hay una razn que justifica esta asuncin: la elaboracin del informe de evaluacin que ha de ser global en relacin con el programa evaluado.
49
4.1 Dimensin conceptual: el QU y PARA QU de la evaluacin de resultados

La evaluacin de resultados, como venimos exponiendo, es una de las etapas ms importantes del proceso de evaluacin de programas, puesto como se evidencia en su propsito general -valorar, interpretar y juzgar los logros de un programa- es clave en la toma de decisiones sobre el mismo. Este tipo de evaluacin, marcadamente sumativa, tiene por objetivo principal el proporcionar evidencias objetivas, sistemticas y completas del grado en que el programa ha conseguido los fines que se propona y del grado en que se han producido otras consecuencias no previstas que, una vez conocidas, son tambin de inters para los responsables del programa (Cabrera, 1987:123). Mas concretamente podemos apuntar las finalidades que se persiguen con este tipo de evaluacin (Tabla 1): Finalidades en la evaluacin de los resultados 1. Verificar la consecucin de los objetivos del programa. Con esta finalidad, aunque podemos hablar de logros o efectos inmediatos del programa, se pretende valorar, al finalizar el desarrollo del programa, los cambios habidos en los participantes, tanto previstos como no previstos, planificados o no. 2. Valorar el impacto del programa. Necesariamente esta finalidad se tiene que acometer ms all de la finalizacin del desarrollo del programa, en una situacin tpica de evaluacin diferida -a corto, medio o largo plazo-. En este caso, se pretende, pues, verificar los efectos del programa en el entorno institucional o social en el que el mismo est inscrito. 3. Verificar la vala del programa de cara a la satisfaccin de necesidades. Esta finalidad, conectada con las dos anteriores, no cabe duda que los programas educativos -o de cualquier tipo- se justifican en funcin de las necesidades que satisfacen. No olvidemos que los programas son siempre deudores de las necesidades que tratan de responder. Por tanto, la clave para la toma de decisiones en la evaluacin de programas fundamentalmente es sta. No cabe duda, que existen programas donde los participantes alcanzan los objetivos propuestos, y donde, incluso, se verifican determinados impactos sobre la realidad; sin embargo, no se satisfacen las necesidades que se pretendan, de ah que se pueda poner en cuestin la vala de dichos programas. Estas finalidades se han convertido en una necesidad fundamental a la hora de evaluar programas, por cuanto se ha demostrado en ms de una ocasin la ineficacia de un programa por la falta de impacto, an cuando se haban alcanzado los objetivos programados por parte de los participantes; y otros casos, donde sin haberse alcanzado todos los objetivos propuestos, el programa ha tenido impacto y ha sido, por tanto, eficaz para su contexto. Hay que considerar en este punto, que cuando 50
no se produce impacto esperado no necesariamente hay que atribuir su causalidad a las deficiencias del programa en s, sino que como tambin se ha evidenciado en muchas ocasiones, no se han acometidos las acciones o intervenciones necesarias sobre el propio contexto posibilitando el impacto del programa. Un ejemplo ilustrativo de ello por simple puede ser la realizacin de un programa informtico para la actualizacin del profesorado en nuevos medios y recursos didcticos, verificndose despus que cuando dicho profesorado vuelve del programa o cursos especficos con un buen nivel de acreditacin o certificacin a su centro, tropieza con la inexistencia de los recursos necesarios en el mismo para poder poner en prctica sus nuevos conocimientos, destrezas-habilidades y actitudes en relacin con la informtica como apoyo didctico, retornando a sus anteriores rutinas de trabajo. Una actuacin coherente en esta situacin es la dotacin de la necesaria infraestructura para que el impacto sea posible. Este tipo de ejemplos es transferible a otras realidades del mbito formal y no formal. Obviamos en este momento la problemtica implcita en la evaluacin de necesidades previa a la elaboracin de cualquier programa, ya que a este menester se le ha dedicado una unidad anterior. Pero si advertimos que ste es el principal referente de evaluacin de los resultados de un programa. Desgraciadamente sobreabundan programas que no tienen suficientemente clarificadas las necesidades que vienen a satisfacer, recurriendo en muchas ocasiones a la evaluacin de los efectos inmediatos para tomar decisiones sobre los mismos, y esto en el mejor de los casos. O acaso no existen programas cuya evaluacin cabalga sencillamente sobre la asistencia a los mismos y nada ms?, por poner un ejemplo. Situados en estas tres finalidades globales en la evaluacin final de programas, y en consecuencia con las mismas, podemos derivar la posible toma de decisiones que puede articularse en estas situaciones (PARA QU?). En esta ocasin, tal y como se refleja en la tabla 1, podemos sintetizar dicha toma de decisiones relacionndolas con los tres macroobjetos implicados en todo programa: destinatarios-participantes, contexto y el programa en s. En esta direccin apuntamos, pues, las decisiones relativas a: 1. Promocin, certificacin, acreditacin, reconsideracin de los participantes. 2. Intervencin -modificacin- sobre el contexto de actuacin. 3. Aceptacin-rechazo del programa. Decisiones en la evaluacin de resultados
51
MOMENTO
FINALIDAD
1. Verificar la consecucin de los objetivos.
OBJETO
Logros (previstos y no previstos) (final del desarrollo)
INDICADORES
Conocimientos Destrezas Actitudes Satisfaccin Motivacin Relaciones
CRITERIOS
INSTRUMENTOS
FUENTES INFORMACIN
DECISIONES
1. Promocin, certificacin, acreditacin, reconsideracin de los participantes
Eficacia Eficiencia Comprensividad Efectividad Aplicabilidad Relevancia Suficiencia Satisfactoriedad
Pruebas de rendimiento Cuestionarios Escalas Entrevistas Observacin Informes econmicos Auditorias Participantes Formadores Expertos externos Responsables Colegas Directivos
RESULTADOS DEL PROGRAMA (Final)
......... 2. Valorar los cambios previstos y no previstos Impacto (diferida)
Satisfaccin de necesidades Transferencia de los aprendido Nivel de cambio en el contexto de actuacin ...........
2. Modificacin del contexto de actuacin
3. Verificar la vala del programa de cara a la satisfaccin de las necesidades
Costes (diferida)
Recursos humanos Recursos materiales
3. Aceptacin o rechazo del programa
Tabla 8.- Concrecin de las diferentes dimensiones en evaluacin final de programas
52
Unidad Didctica: La evaluacin de Programas En la lnea de lo que venimos exponiendo cabe ahora profundizar en los objetos que se implican en la evaluacin de resultados (QU?). De entrada podemos apuntar en torno a tres mbitos o macroobjetos de evaluacin final: a) resultados inmediatos, b) los impactos producidos y c) los costes. En el primer caso, hay que reparar en los logros (previstos y no previstos) por los participantes, en relacin con los objetivos propuestos. No cabe duda que est situacin final est en estrecha relacin con la situacin de entrada de los destinatarios al programa, como despus verificaremos. En ella habr que constatar los cambios habidos en torno a los conocimientos, habilidades-destrezas, actitudes, satisfaccin de expectativas, motivacin, autoconcepto, etc. convirtindose estas variables en los indicadores ms relevantes del objeto evaluado, y por ende el centro de inters para la consecuente toma de decisiones en la direccin de la promocin, certificacin, acreditacin, etc. de los participantes. En el segundo caso, la evaluacin de los impactos nos remite a la actuacin personal, profesional o institucional de los participantes en contextos especficos, fuera ya del programa desarrollado. Es, pues, en este contexto de actuacin donde hay que reparar verificando si se han satisfecho las necesidades articuladoras del programa, si se produce transferencia de lo aprendido, si se producen, igualmente, cambios significativos en la actuacin personal o profesional de los destinatarios del programa y no destinatarios del mismo. En el ltimo caso, la evaluacin de costes tiene su importancia por cuanto en muchas ocasiones el mantenimiento o descarte de un programa de formacin, con independencia de los dos objetos anteriormente expuestos, tiene que ver con los beneficios y la efectividad que produce el mismo, siendo el coste el objeto de evaluacin capital. Los costes se pueden evaluar desde muchas pticas y metodologas, como luego veremos, pero normalmente desde el planteamiento que venimos realizando, lo centramos bsicamente en indicadores relativos a la implicacin de los recursos humanos, materiales y funcionales, sobre los que hay que recabar la informacin necesaria. Consecuentemente con la finalidad de la evaluacin final o de los resultados de un programa, tambin hay que poner en juego toda una serie de criterios de evaluacin que nos permitirn valorar dichos resultados, a la vez que fundamentar nuestra toma de decisiones. Nos estamos refiriendo a criterios de evaluacin que se derivan, siguiendo el modelo inicial, del referente poltica educativa, contexto y participantes. Ms concretamente estamos indicando que la vala o bondad de un programa de acuerdo a dicho referente depende de su eficacia, su comprensividad, su aplicabilidad, su relevancia, su satisfactoriedad, su suficiencia, etc. Huelga en este momento cualquier comentario o descripcin, por cuanto en el apartado inicial ya los hemos acometido esta tarea. Llegados a este punto, donde se entrecruzan finalidad, objeto y criterio, automticamente surgen las cuestiones de evaluacin como consecuencia de dicho encuentro. En este sentido, proponemos una
Objetos en la evaluacin de resultados
53
gua ilustrativa de las mismas, no necesariamente exhaustiva de todas las posibles cuestiones que pueden realizarse en la evaluacin final de programas, sino facilitadoras en cada caso especfico, en funcin de las diferentes fuentes de informacin que podemos implicar, pueden posibilitar la confeccin de instrumentos de recogida de informacin adecuados y pertinentes a la situacin especfica de evaluacin. Como ya advertimos en el anterior captulo, cabe destacar que estas cuestiones no han de plantearse directamente tal y como las proponemos, sino que ha de considerarse como fuente de tems posibles, de manera que podemos formular ms de un tem -y es aconsejablesobre la misma cuestin indagadora de informacin. CUESTIONES POSIBLES A REALIZAR EN LA EVALUACIN DE RESULTADOS Resultados o efectos inmediatos
Nivel de entrada de los alumnos -conocimientos-destrezasactitudes? Homogeneidad-heterogeneidad del grupo? Nivel de objetivos alcanzados? Cantidad y calidad de los objetivos alcanzados? Las prcticas realizadas satisfacen las necesidades de los participantes? Las prcticas, ejercicios prcticos, supuestos, etc. han sido tiles y suficientes? Inters-motivacin por el curso? Logros de los objetivos? Resultados en relacin con los conocimientos, procedimientos y actitudes? Nivel del conocimiento de los participantes -entrada-salida-? Desfases entre resultados y objetivos previstos? Evidencia de resultados no previstos? Satisfaccin de expectativas de los participantes? Nivel de satisfaccin del profesorado? Nivel de satisfaccin de los participantes? Importancia de los logros en relacin a las necesidades individuales? .....
Impactos
Posibilidad de aplicacin prctica de los contenidos? Utilidad real de lo aprendido para los participantes? Posibilidad de transferencia de las nuevas adquisiciones? Nivel de cambio producido en la prctica profesional? Calidad y cantidad de trabajo? Nuevas actitudes laborales o profesionales: colaboracin, trabajo en equipo, responsabilidad, integracin en la institucin, seguridad, etc.? Promocin-movilidad profesional en el puesto de trabajo despus de la accin formativa? Nivel de cambio operado en otros colegas no participantes en el programa? Modificacin del contexto de ejercicio profesional? Consecuencias organizacionales habidas despus de la formacin?
54

Obstculos -resistencias institucionales que impiden aplicabilidad de lo aprendido? Generacin de nuevas necesidades de formacin? Cantidad de destinatarios afectados por el programa? .... la
Costes
La calidad y la cantidad de la documentacin son idneas? Disponibilidad de medios y recursos para el desarrollo de las actividades propuestas? Suficiencia del al aula y mobiliario? Calidad de los materiales de apoyo en uso? Nivel de aprovechamiento de los recursos disponibles? El horario y su distribucin son adecuados a las actividades propuestas? La duracin de las sesiones se adecuan a las necesidades del contexto? Existencia de programacin de actividades fuera de aula y de centro? Apoyo personal a la realizacin de las tareas propuestas? Dedicacin horaria fuera de las sesiones -tutoras, seguimiento, etc.? Nmero de horas por accin formativa? Existencia de apoyo interno o externo en el desarrollo del programa? Suficiencia del presupuesto asignado? Gastos directos e indirectos? Necesidad de recursos adicionales en el desarrollo del programa? Dotacin de infraestructura en el contexto de actuacin profesional? Cantidad de destinatarios afectados por el programa? Nivel de cumplimiento de las previsiones? ...................
4.2 Dimensin metodolgica: El CMO (Modelos y mtodos de evaluacin)

La evaluacin de los resultados de un programa conlleva metodolgicamente por su objeto, finalidad y criterios implicados nuevas implicaciones y exige una orquestacin en su secuencia muy diferente del resto de las fases del proceso de evaluacin de programas. Al centrarse bsicamente en los efectos que produce un programa, tanto en los participantes como en el contexto de actuacin de los mismos, obliga a utilizar criterios tpicos de evaluacin extrnseca (Cabrera, 1987). Es decir, como se ha demostrado en mltiples ocasiones, resultan insuficientes para valorar el xito de un programa, aunque son necesarios para explicar los resultados, los criterios de evaluacin intrnseca (suficiencia, pertinencia, disponibilidad, idoneidad, actualizacin, etc. en relacin con la competencia del profesorado, actividades realizadas, dinmica del grupo o grupos, cantidad y calidad de los materiales, sistema de evaluacin, etc.), obligndonos a reparar sobre la eficacia, eficiencia, satisfactoriedad, efectividad, comprensividad como criterios
55
de referencia de los efectos producidos a la hora de determinar el xito y vala de un programa. Esta primera asuncin respecto a los resultados del programa -previstos y no previstos- nos lleva a posicionarnos en un planteamiento de tipo comparativo. Es decir la vala o xito de un programa se basa en la verificacin de los efectos y por tanto en las ganancias o beneficios obtenidos tanto por los destinatarios como el contexto (institucin) de actuacin personal y/o profesional en relacin con su nivel de entrada. En esta situacin la literatura nos muestra como significativos y usuales los modelos de discrepancia. Aunque posteriormente repararemos en algunos diseos especficos que contrarrestan las dificultades implcitas sobre la valoracin de la discrepancia, cabe advertir que sobre este particular y en este momento que existen al menos dos posiciones muy diferentes sobre dicha valoracin. Por un lado, los que defienden la valoracin comparativa, exigiendo por tanto la presencia de otro grupo a modo de grupo control, no sujeto a la influencia del programa, para calibrar con exactitud los efectos del programa. Y por otro lado, los que se centran en la valoracin de la discrepancia en trminos absolutos; sin necesidad de grupo control, establecen la discrepancia a partir de unos niveles mnimos o mximos previamente establecidos, comparando el grupo afectado por el programa en su nivel de entrada y salida respecto a dichos niveles. A continuacin presentamos, a partir de Cabrera (1987:124) tres ideogramas sobre la evaluacin de los resultados en la lnea que venimos exponiendo, considerando a la vez la dimensin temporal: evaluacin final (corto plazo) o diferida (medio-largo plazo).
Objetivos del programa COMPARACIN
Proceso instructivo
Resultados
Grfico 11: Discrepancia entre el resultado final observado y el pretendido
En este primer ideograma, los indicadores que se ponen en juego en la evaluacin del programa son los logros en relacin con los conocimientos, habilidades y actitudes, que han sido objeto de aprendizaje especfico durante el desarrollo del programa o curso. La discrepancia entre los resultados observados y los pretendidos en estos mbitos constituyen los trminos de la comparacin necesarios una vez finalizado el programa para evaluar su eficacia (relacin entre objetivos propuestos y objetivos alcanzados). 56
Objetivos del programa
Status inicial de los participantes COMPARACIN
Proceso instructivo
Resultados
Grfico 12 La magnitud del cambio ocurrido
En el segundo ideograma, ampliacin del anterior, opera de la misma forma, aunque incluye el conocimiento de la situacin de entrada de los alumnos al programa como criterio de apoyo a la eficacia del programa. Aunque pudiera parecer gratuita la consideracin del nivel de entrada, no cabe duda que el conocimiento del grupo en relacin con el conocimiento, habilidades, destrezas y actitudes se convierte en una necesidad en este momento de evaluacin final para establecer dicha eficacia. Adems, dichas caractersticas de los participantes, as como otra relativas a la motivacin, intereses, necesidades individuales, expectativas, etc. se convierten en variables clave por sus virtualidades didcticas, como ya hemos visto y que obviamos aqu, para el diseo y desarrollo del programa, con las consecuentes decisiones sobre su reajuste o acomodacin a las mismas, que permiten el logro de los objetivos. Sin querer profundizar ms sobre la relevancia de tal consideracin, baste aludir a nuestra propia experiencia en formacin ocupacional cuando nos hemos tropezado en evaluacin de programas con algunos de ellos que han resultado sumamente eficaces, (la mayora de los participantes obtuvieron altos logros de objetivos), descubriendo posteriormente la ausencia de una seleccin inicial o agrupamiento idneo de los participantes, y verificando, a la vez, que muchos de ellos ya haban realizado en otras ocasiones determinados cursos de la misma tipologa. En este caso la eficacia del programa queda en entredicho, por cuanto si se hubiere considerado el nivel de entrada se habra verificado que ya se dispona del nivel de salida. Pero, an ms, tambin hemos podido constatar en otras situaciones la ineficacia de programas y cursos sencillamente porque no se correspondan con los niveles de entrada de los participantes, siendo realmente difcil, por no decir imposible el logro de los objetivos por parte de los destinatarios, por no disponer de la suficiente formacin de base para entrar en dicho programa. Estas consideraciones nos retrotraen nuevamente a resaltar la importancia de
57
la evaluacin inicial como garanta para el xito del programa, como ya hemos considerado. En el tercer ideograma, centrado en la evaluacin diferida, a mediolargo plazo, los indicadores y criterios puestos en juego cambian respecto de los dos analizados. Se trata de verificar la bondad o xito de un programa a partir de los efectos constatables de las nuevas realizaciones o transferencias habidas en el contexto de actuacin personal y/o profesional, satisfaciendo las necesidades individuales y sociales (institucionales) en tal sentido (promocin profesional, xito en el trabajo, calidad de la actuacin profesional, satisfaccin laboral, clima de trabajo, actitudes hacia el trabajo, los compaeros, etc.). Como puede apreciarse, el cambio de orientacin se sustenta ahora en los nuevos referentes de comparacin. Si antes se realizaba el contraste entre los resultados obtenidos y los objetivos de enseanza-aprendizaje (programa y sus logros), ahora pasamos a contrastar los resultados con la realidad del contexto personal, profesional o social de actuacin (necesidades y su satisfaccin) verificando el cambio o mejora habida en este contexto.
Objetivos del programa
Proceso instructivo
Resultados Realidad del puesto de trabajo Necesidades de los beneficiarios del programa
COMPARACIN
COMPARACIN
Grfico 13 La transferencia al contexto laboral y personal del sujeto
Con todo, amn de las problemticas implcitas desde el punto de vista metodolgico que entraan esta aproximacin a la evaluacin de resultados, an no es suficiente para concluir sobre la bondad del programa. A todo ello hay que aadir el pertinente estudio de costes, en su doble direccin coste-beneficio y coste-efectividad, con lo cual incrementamos la complejidad metodolgica en la evaluacin de esta fase, al aadir nuevas variables e incluir nuevas tcnicas para satisfacer tal exigencia. 58
Unidad Didctica: La evaluacin de Programas Llegados a este punto respecto a las modalidades de la evaluacin de los resultados de un programa, conviene incidir en las exigencias metodolgicas derivadas de dicho planteamiento. Esto nos obliga a reparar fundamentalmente en los diseos de evaluacin utilizados en este quehacer. Sin necesidad de ser exhaustivos, vamos a considerar los ms comunes. Obviamos conscientemente una mayor profundidad sobre modelos especficos de evaluacin de resultados, adems de la lgica derivada de los planteamientos cuantitativos y cualitativos. Nos centramos en la especificacin de diferentes aproximaciones relevantes en la evaluacin de salida, casados con el planteamiento de la discrepancia. En primer lugar podemos realizar una aproximacin a la metodologa experimental, tpica y clsica al final del desarrollo de los programas, en la lnea de Campbel y Stanley (1973), cuyo desarrollo y adaptacin en evaluacin de programas ha sido utilizado con bastante pormenorizacin por Posavac (1989) y Weiss (1990), a los que remitimos al lector. Sin entrar en la descripcin detallada de los diferentes diseos que se han derivado de este planteamiento, podemos al menos catalogar tres tipos: a) diseos preexperimentales, considerando en este caso el diseo de grupo nico en su doble modalidad de diseo con slo postest y diseo que incluye pretest y postest; b) diseos experimentales propiamente dichos caracterizados por incluir grupo control , tambin con diferentes modalidades con pretest y sin pretest; y c) diseos cuasiexperimentales (series temporales, diseos compensados, diseos de muestras separadas pretest-postest, etc.). Las dos primeras tipologas vendran a satisfacer las exigencias derivadas de las dos primeras modalidades planteadas por Cabrera y que hemos perfilado en los dos primeros ideogramas, mientras que la tercera tipologa, sobre todo el diseo de series temporales puede ser relevante para las exigencias de la tercera modalidad. Hay que advertir que los diseos experimentales por su propia concepcin estn pensados para contrarrestar las diferentes fuentes de error que afectan a la validez experimental (interna y externa) de cualquier tipo de estudio, ya sea de investigacin o evaluacin, siendo a la vez muy exigentes en cuanto al control que implican e incluso rgidos en su desarrollo. Al operar bajo postulados cuantitativos, no estn exentos de problemas precisamente por dicha rigidez, ya que no siempre es posible garantizar el mximo control de las situaciones evaluativas. No obstante, si admitimos la flexibilidad que se opera en los diseos cuasiexperimentales (empleo de escenarios naturales, control parcial, posibilidad de utilizacin cuando no se puede aplicar un diseo experimental), pueden ser de una gran ayuda para la evaluacin de resultados. Es ms, bajo esta ptica creemos que la combinacin de mtodos, sobre todo series temporales con grupos no equivalentes vendran a cumplir las exigencias derivadas de la valoracin de la efectividad de los programas, y por tanto poder verificar las causas del cambio o mejorara producidos. Por otra parte, podemos realizar aproximaciones no experimentales tomando en consideracin nicamente el grupo afectado por el programa, controlando o no su nivel de entrada y contrastando con el
59
mismo el nivel de salida. Esta situacin, podemos abordarla desde un planteamiento global y abierto, a travs de estudios descriptivos de tipo encuestacionales, implicando una muestra de participantes, o bien realizando un estudio de casos intensivo, en detalle, describiendo todos los pormenores habidos a travs del seguimiento que podemos realizar de los afectados por el programa. La diferencia fundamental entre ambos planteamientos, adems del instrumental de recogida de informacin, ser el papel del propio evaluador. En el primer caso, tendr mayor distancia en relacin con los afectados (el uso del cuestionario annimo, informes, o muestra de entrevistas, as lo evidencia), mientras que en el segundo, la propia naturaleza metodolgica, bajo postulados de corte ms cualitativo, le puede hacer recurrir a la observacin participante como tcnica de recogida de informacin, entre otras. Adems, la evaluacin del programa no concluye con la evaluacin de los logros, sino que tambin hay que realizar el correspondiente anlisis o estudio de costes. En este caso, metodolgicamente sencillamente apuntamos la tcnica de auditora (Pineda, 1998), como significativa de este quehacer, sobre todo desde la ptica de coste-beneficio. Despus de estas sencillas notas, no cabe duda que todos mtodos evaluativos presentan ventajas e inconvenientes, por cuanto que las situaciones de evaluacin implican mltiples variables de influencia, que afectan a la validez tanto de la informacin que podemos recoger como a las conclusiones a las que podemos llegar. Queremos concluir esta apartado, apuntando la actitud con la que nos hemos de mover. La superacin de las diferentes limitaciones pasa por atender en cada situacin a las exigencias relativas a cada una de las dimensiones implicadas en el proceso de evaluacin en la lnea de lo apuntado (finalidad, objeto, criterio, evaluador, instrumentos, etc.), convirtiendo la eleccin metodologa en una variable dependiente de las mismas, ms que en el vector articulador del CMO realizar dicho proceso.
60

Al igual que en las fases precedentes, una vez acotado el objeto y los indicadores de evaluacin de resultados, en funcin de las finalidades fijadas, igualmente establecidos los criterios e incluso las posibles decisiones a tomar en este momento evaluativo, afrontamos la dimensin ms operativa de la evaluacin relativa a las tcnicas e instrumentos a utilizar en el proceso de recogida de informacin. Como ya hemos advertido, al margen de otras consideraciones que podran realizarse sobre los instrumentos (seleccin o construccin, validez, fiabilidad, pertinencia, suficiencia, etc.) somos partidarios en este momento de toma de decisiones en la planificacin de la evaluacin de los resultados, mantener los dos principios bsicos aludidos en torno a la multiinstrumentalidad y triangulacin de instrumental. An en esta situacin se torna ms necesario seguir bajo este planteamiento dada la complejidad de la misma y las necesidades informativas derivadas en ella. Si retomamos los tres macroobjetos, centro de inters en esta situacin evaluativa (a saber, logros alcanzados por los participantes en el programa, efectos producidos en los contextos de actuacin y los costes), podemos concluir que no existe, ni es posible, un nico instrumento capaz de barrer toda la informacin necesaria, ni tampoco la implicacin de una nica fuente de informacin. Estamos necesitados, pues, de una gama variada tanto de tcnicas de recogida de recogida de informacin, instrumentos de distinta ndole, as como la implicacin tambin de diferentes fuentes de informacin. El siguiente ideograma puede ser una sntesis ilustrativa que puede satisfacer las exigencias informativas de esta situacin.
61
EVALUACIN RESULTADOS FINAL
PROGRAMA EN S
Secuencia instructiva Estrategias Recursos Temporalizacin Formador, etc.
DESTINATARIOS
Logros Motivacin Implicacin Relaciones Actitudes, etc.
Observacin Entrevista Cuestionario (formadores, (formadores, (in situ durante las participante, participante, gestores) gestores) sesiones) Entrevista Cuestionario Inventarios (presupuesto (responsable (participante coordinador coordinador, costes responsable) adicionales, etc)
Pruebas de Anlisis de Cuestionario, escalas rendimiento producciones (participante (participante (participante s) formadores) en las sesiones) Observacin Entrevista Cuestionario (participante (participante (in situ responsables colegas durante colegas responsable) actividad profesional)
COSTESBENEFICIOS
Recursos fuera de programa (sustituciones, dietas, etc)
Presupuesto econmico etc
IMPACTO
Transferencia aprendido Motivacin Relaciones Actitudes, etc. Cambio instit.
EVALUACIN DIFERIDA
Grfico 14 Instrumentos posibles de evaluacin final y diferida
Como puede apreciarse, si nos ubicamos en el mbito de los destinatarios, habr que utilizar instrumentos relacionados con pruebas de rendimiento de corte sumativo y el anlisis de materiales producidos por los mismos. En este momento parecen apropiadas tanto las pruebas objetivas, como las pruebas de ensayo o prcticas. Estas actividades evaluativas pretenden recabar informacin para verificar, como venimos 62
Unidad Didctica: La evaluacin de Programas diciendo, el logro de los objetivos por parte de los participantes. Sern los propios formadores los informantes ms idneos sobre este particular. Los objetivos ms actitudinales y ligados con la motivacin, satisfaccin de expectativas, intereses, etc. se pueden valorar a travs de cuestionarios y escalas ad hoc. Para la evaluacin del impacto implicaremos tanto la observacin en el contexto de actuacin, la entrevista y cuestionarios. Los informantes sobre este particular ms idneos, adems de los propios destinatariosparticipantes en la accin formativa, son sus colegas y supervisores o responsables. Se trata en esta situacin de recabar informacin sobre la transferencia de lo aprendido, analizar nuevos comportamientos profesionales, actitudes de trabajo en relacin con los participantes; pero, a la vez, tambin calibrar el nivel de cambio y mejora institucional. En este ltimo sentido, habr que implicar a los directivos y a otros miembros de la organizacin. Para la evaluacin de costes recurriremos, adems de la consulta directa a responsables de formacin y de gestin institucional por medio de la entrevista o el cuestionario, al anlisis de documentos institucionales o de gestin de la formacin. Cabe aplicar igualmente en este contexto inventarios o protocolos de gestin de recursos o estadillos administrativos de formacin. La informacin derivada de ello ser contrastada con el impacto para calibrar el coste-efectividad y el coste beneficio del programa.
63
64
APLICACIONES
5 EJEMPLO DE DISEO DE EVALUACIN DE ACCIONES FORMATIVAS1
La dinmica de cambio actual en todos los rdenes acarrea nuevas exigencias de modernizacin de la institucin de formacin, cuyo objetivo fundamental es dar respuesta adecuada a las demandas crecientes de la sociedad a la que presta sus servicios. Este afn de renovacin, reajuste, modernizacin difcilmente se alcanzara en su totalidad si no se forman adecuadamente, al mismo tiempo, sus recursos humanos, elemento clave en toda organizacin. La formacin se considera una estrategia de las fundamentales, junto con los cambios tecnolgicos y organizativos, para adecuar los recursos humanos a esa nueva cultura de cambio. El Plan de Formacin, pues, viene a ser una de las respuestas concretas a las nuevas exigencias de actualizacin y reciclaje de la institucin.. En este contexto global de cambio se responsabiliza a la institucin de organizar dicha formacin. Cabe resaltar que esta competencia no es ms que una de las consecuencias de sus funciones. .....
5.1 Objetivos y contenidos generales del Plan de Formacin

El Plan de Formacin, basado en un anlisis previa de la situacin y en un estudio de necesidades formativas, se conforma con tres diferentes Subplanes (Programas de Formacin), complementarios e interrelacionados. 1. Programa de formacin de Directivos, compuesto por los cursos de Formacin integrada en Direccin (ciclos/largos) y Tcnicas Especializadas en Direccin (acciones monogrficas). Los objetivos que se persiguen con este Programa son: Apoyar estrategias de cambio en la Institucin. Mejorar el rendimiento y la motivacin. Articular la movilidad funcional. 2. Programa de Formacin Permanente, compuesto por cursos de Formacin Permanente General y Acciones Especficas. Los objetivos que se persiguen con este Programa son:
1 Omitimos aqu el nombre de la Institucin de formacin, todo que cabe advertir de la participacin
a travs de Convenio de Asesoramiento y Formacin de Formadores y Responsables de Formacin del Grupo CIFO. Ms concretamente participamos en el diseo y planificacin de la evaluacin del Plan de Formacin con distintas actividades especficas (cualificacin de responsables de formacin en evaluacin, asesoramiento al diseo de evaluacin realizado, elaboracin de instrumentos, etc.
65
Proporcionar mediante la agrupacin sistemtica de acciones formativas, el perfeccionamiento y la formacin en continuidad para conseguir de los participantes una mejora efectiva en la prestacin de servicios. Mejorar o modificar, en su caso, las actitudes de los participantes integrndoles en una dinmica de cambio que, paulatinamente, genere un nuevo estilo profesional vinculado a la modernidad y eficacia en la gestin. Ayudar a la articulacin efectiva de la movilidad funcional. Fomentar la mejora del rendimiento y favorecer la motivacin personal. Formar formadores para facilitar la extensin del Plan de Formacin en todos los mbitos. 3. Programa de Formacin Especfica de acuerdo a puestos de trabajo, compuesto por los cursos de Formacin ocupacional y por Formacin y Perfeccionamiento del Personal. Los objetivos que se persiguen con este Programa son: Conseguir la formacin como proceso de adquisicin de conocimientos, habilidades y capacidades necesarios para el desempeo de las funciones del puesto de trabajo. Formacin y perfeccionamiento en continuidad del personal para que pueda atender con eficacia los puestos de trabajo.
5.2 La evaluacin de las acciones formativas

Las caractersticas del objeto a evaluar ya apuntadas (Plan de Formacin), en o que afecta a la duracin temporal (1 ao), a su extensin geogrfica (territorio nacional) y al nmero de programas y cursos, aconsej la configuracin de un equipo amplio de evaluadores, cuyo primera misin se correspondera con la planificacin y diseo del Plan de Formacin. Una sntesis de dicho diseo viene reflejada en los siguientes apartados:
5.2.1 Finalidades, objetivos y criterios la evaluacin

Las finalidades y objetivos que se proponen en la evaluacin del Plan de Formacin son bsicamente tres de acuerdo a los tres criterios fundamentales implicados en el proceso de evaluacin, aunque para ello igualmente se impliquen otros de diferente naturaleza. Concretamente podemos especificar: 1. La evaluacin de los medios y recursos puestos a disposicin del Plan, con finalidad sumativa con criterio de eficiencia, tiene como objetivo fundamentalmente conocer la adecuacin de los medios y recursos empleados y la accin formativa realizada. Tratara de obtener la informacin sobre la realidad de lo acaecido a efectos 66
Unidad Didctica: La evaluacin de Programas de conseguir realizar el mximo de formacin con el mnimo de medios implicados (anlisis del coste-beneficio). 2. La evaluacin del proceso de enseanza-aprendizaje con finalidad sumativa, implica el criterio de eficacia, tiene como objetivo conocer el grado de aprendizaje conseguido por los participantes finalizada la accin formativa. Implica a su vez tres objetivos instrumentales de la evaluacin de la eficacia: Conocer las caractersticas del grupo diana para que exista la mxima correspondencia posible entre las necesidades formativas de los alumnos y la accin formativa (finalidad diagnstica con criterio de pertinencia, actualizacin, coherencia y aplicabilidad, entre otros), as como para servir de referencia y conocer el aprendizaje que ha supuesto la accin formativa para el alumno (anlisis del nivel de entrada en conocimientos, destrezas y actitudes de los alumnos a la accin formativa). Conocer la marcha de la accin formativa para su posible modificacin durante el proceso formativo. Finalidad formativa con criterios de suficiencia, satisfactoriedad y eficacia). Conocer los resultados inmediatos o directos de la accin formativa, al final del proceso de formacin. Finalidad sumativa con criterio de eficacia. 3. La evaluacin del grado de aplicacin en el puesto de trabajo de lo impartido en la accin formativa. Finalidad aplicativa (impacto) con criterio de efectividad.
67

ASPECTO SOBRE EL QUE SE DECIDE TIPO DE FINALIDAD DE EVALUACIN
Sumativa
CRITERIOS DE EVALUACIN
OBJETIVOS DE LA EVALUACIN BSICOSGENERALES INSTRUMENTALES DE LA EVALUACIN DE EFICACIA
Los medios y recursos puestos a disposicin
Eficiencia
Conocer la adecuacin y utilizacin de los medios y recursos Conocer las caractersticas del grupo para que exista total correspondencia entre las necesidades y la accin formativa Conocer la marcha de la accin formativa para su posible modificacin durante la misma. Conocer los resultados del programa al final de la accin formativa
Diagnstica
Pertinencia Actualizacin Coherencia Aplicabilidad
El proceso de enseanza aprendizaje
Formativa
Suficiencia Satisfactoriedad Eficacia
Conocer el grado de aprendizaje conseguido por los alumnos participantes
Sumativa
Eficacia
La aplicacin en el puesto de trabajo de lo aprendido
Aplicativa
Efectividad
Conocer el grado de aplicacin de lo aprendido en el puesto de trabajo.
Tabla 9: Dimensiones evaluativas consideras
5.2.2 Variables e indicadores

La amplitud del Plan de Formacin y su estructura en Programas y cursos con caractersticas diferenciadas y especficas, as como las propias finalidades, objetivos y criterios de evaluacin, hacen complejo el propio objeto de evaluacin, quedando conformado por mltiples variables e indicadores evaluativos sobre los que hay que recabar informacin. En la lnea de sntesis que venimos realizando vamos a presentar las mismas con carcter general y extensivo para el conjunto de cursos a analizar, obviando el contenido especfico de los mismos. Ello no quiere decir que stos no sean objeto de estudio, sino todo lo contrario, habr actuaciones evaluativas ms especficas ad hoc donde las variables e indicadores implicados sern igualmente especficos, segn la naturaleza de la accin formativa. As pues, en la tabla que adjuntamos a continuacin slo hacemos referencia a las variables e indicadores generales y comunes para el conjunto de las acciones formativas, especificando las principales fuentes de informacin en las que hay que reparar y el momento evaluativo de su registro.
68
VARIABLES INDICADORES
INICIAL
ALUMNO PARTICIPANTE
CONTINU O FINAL DIFERIDO
FORMADORES
CONTINU O FINAL
JEFES Y COLEGAS DIFERIDO
Identificadores previos Curso Edad Estado Civil Procedencia Inst. Categora Antigedad Experiencia actual Nivel de estudios Formacin previa Objetivos Adecuacin necesid. Claridad Pertinencia Implicacin Contenidos Inters Aplicabilidad Adecuacin prctica Desarrollo Cantidad Novedad Actualizacin Grupo Motivacin inicial Expectativas Nivel de entrada Participacin Homogeneidad Relaciones Estrategias Trabajo grupo Teora-prctica Magistral Ritmo Recursos Informacin previa Duracin-horario Estructura Medios didcticos Local Material Relacin organiz. Formador Competencia docen Seleccin Relacin Evaluacin Sistema evaluacin Momentos Criterios Resultados Nivel de salida Valoracin global Curso Actitudes formacin Continuidad Aplicabilidad Aprendizaje Actitudes Contexto Material
* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
* * * * * * * * * * *
* * * * * * * * * *
* * * *
* * * *
* * * * * * *
* * * * * * *
* * * * * * * * *
* *
* * * * * * * * * * * * * * * * * * *
* *
* *
* *
* * * * * * *
Tabla 10: Sntesis de indicadores de evaluacin.
69
A todo ello hay que aadir variables e indicadores relacionados con el anlisis de costes basados fundamentalmente en el grado de cumplimiento de las previsiones fijadas y el grado de optimizacin de la relacin coste beneficio del esfuerzo formativo. Concretamente habr que recabar informacin sobre: Nmero de acciones formativas. Nmero de horas media por cada accin formativa. Nmero de alumnos. Anlisis de costes. Cumplimiento de las previsiones. Grado de cumplimiento de las fechas. Relaciones formacin interna/formacin externa. Dicha informacin puede organizarse y condensarse en ratios, as por ejemplo se puede establecer la media de dedicacin (nmero de horas de formacin/nmero de horas trabajadas); la extensin de la oferta (nmero de alumnos-participantes / nmero total de efectivos de la organizacin o institucin de procedencia); gasto en formacin por empleado (presupuesto de formacin/total de gastos de personal de la organizacin o institucin de procedencia), etc.
5.2.3 Metodologa e instrumentalizacin

Las finalidades planteadas con anterioridad determinan en parte el camino a seguir. Se trata bsicamente de verificar la mejora institucional habida como resultante de las acciones formativas realizadas. Para ello se considera relevante constatar el nivel de aprovechamiento del alumno participante en dichas acciones y el nivel de aplicacin al puesto de trabajo en la forma planteada en los diferentes ideogramas. Nos enfrentamos pues a un estudio de investigacin evaluativa de corte comparativo en la medida que se establecen contrastes entre los niveles de partida y llegada, tanto en el mbito institucional como en el mbito personal de los participantes, implicando medidas de tipo cuantitativo como cualitativo. Dada la amplitud del Plan de Formacin, la totalidad de los cursos y los participantes en ellos conforman la poblacin objeto de la evaluacin: Partiendo de ella y de muestras representativas, se pueden plantear tres estrategias de actuacin:
a) Recoger informacin de los cursos que configuran el Plan de Formacin. b) Recoger informacin de algunos cursos. Se trata, en este caso, de elegir unos especficos (muestreo selectivo) en funcin de variables significativas: Tipo de Programa (directivos, formacin permanente, etc.) reas de contenido (Tcnicas directivas, gerencia, medio ambiente, intervencin, medio ambiente, etc.).
70

Duracin del curso (corta o media duracin, larga duracin) Lugar de realizacin del curso (centralizado-descentralizado) Situacin laboral en la Institucin (en expectativa de puesto, con puesto concreto, sin puesto) ....
c) Recoger informacin genrica de todos los cursos y especficamente de una muestra.
La primera de las opciones proporciona una informacin casi total pero conlleva mayores exigencias de tiempo y de coste econmico; la segunda, permite un mayor nivel de profundidad en la evaluacin, aunque sus resultados pierden valor de generalizacin. La tercera, por ltimo, combina las ventajas e inconvenientes de ambas, si bien evita prdidas de informacin significativa. La propuesta aceptada de este tercer supuesto supone de una manera operativa:
a) Para cada curso: 4 cuestionarios a contestar por cada participante en los cursos en los siguientes momentos: inicio del curso durante el curso final del curso diferido 2 cuestionarios, uno durante el desarrollo y otro al final del curso, a contestar por los formadores. 1 cuestionario diferido para los responsables jerrquicos de los participantes. Entrevista con el director y coordinador de los cursos. Entrevista con algunos formadores Aplicacin de guas de observacin y de anlisis de situaciones al desarrollo de las sesiones de formacin. Entrevista con algunos superiores jerrquicos en los contextos de actuacin profesional. Entrevista con el alumno-participante diferida en el puesto de trabajo. Anlisis de contenido de: Programa de los cursos Memoria de los cursos e informes de los evaluadores propios de los cursos, si los hubiera. Entrevista con los responsables de los diferentes Programas del Plan. Observacin in situ tanto de las acciones formativas en su desarrollo como en el contexto laboral de los participantes.
b) Para una muestra de cursos -
La consideracin de criterios en su relacin con variables e indicadores nos ha de proporcionar el conjunto de preguntas concretas que el proceso de evaluacin ha de responder. Su presentacin en instrumentos diversos ya citados (gua de observacin, encuestas, cuestionarios, pautas de entrevistas,...) depender de las fuentes de informacin que se quieran utilizar, del momento (inicial, continuo final y diferido) en que se haga efectiva la recogida de informacin y de las imposiciones que
71
incorporan al proceso de evaluacin exigencias como la factibilidad y la utilidad. Obviamos en el marco de este trabajo la caracterizacin tcnica y descripcin detallada de los mismos. En el Anexo...se presentan a modo ilustrativo los cuestionarios standars utilizados, remitindonos a la vez al Documento base de este trabajo.. Ms especficamente, respecto a la evaluacin propuesta del Plan de Formacin se utilizan:
a) Fuentes de informacin directa
IMPLICADOS
a) rganos centrales Responsables de Formacin Responsables de Programas b) Participaciones en los cursos Formadores Alumnos participantes
INSTRUMENTOS
Entrevista Entrevista Cuestionario Entrevista Cuestionario Entrevista individual Entrevista colectiva Pruebas de rendimiento Cuestionario Entrevista Observacin de las sesiones Grupo de discusin Cuestionario Entrevista Observacin Cuestionario Entrevista
Directores/Coordinadores Todos los participantes
c) Puesto de trabajo Alumnos participantes
Superiores jerrquicos
a) Fuentes de informacin indirecta b.1. Programas de los cursos b.2. Anlisis de contenido de la Unidades Didcticas b.3. Memoria de los cursos, si hubiera. b.4. Informes de los evaluadores externos de los cursos, si los hubiera. b.5. Otros informes de evaluacin. b.6. Balances administrativos y econmicos de los cursos. b.7. Otra documentacin
72
5.2.4 Equipo de evaluacin

La aplicacin del diseo exige un trabajo colaborativo de diferentes profesionales que actan en funcin de sus especialidades y posibilidades. As pues, la caracterstica general de la evaluacin del Plan de Formacin es que debe ser participada; es decir, no entendida como un control de unas determinadas unidades sobre las actuaciones de otras, sino como una actuacin conjunta y coordinada del equipo de evaluacin con cada una de las Unidades formativas de la Institucin, en aras a conseguir una posible mejora de las acciones formativas. Esto obliga a la presencia de un representante de cada Unidad de Formacin en el Equipo Evaluador. Dado el carcter mltiple de la propia evaluacin que se acomete existen diferentes roles y funciones por parte de todos los afectados en el proceso de evaluacin del Plan. En este caso, tal y como se representa en la tabla, podemos concretarlos de la manera siguiente:
Tipologa evaluacin Sujetos Implicados
Autoevaluaci n de la organizacin Evaluacin de la eficiencia
EVALUACIN EFICACIA EN SENTIDO AMPLIO

Evaluacin diagnstica Evaluacin formativa Evaluacin sumativa
Evaluacin de efectividad
Evaluacin rendimiento organizaciona l
UNIDAD DE FORMACIN PARTICIPANTES SUPERIOR JERRQUICO DIRECCIN ORGANIZACI N FORMADORES EQUIPO EVALUADOR
Sujeto no activo en el proceso de evaluacin Informante clave Sujeto activo del proceso de evaluacin Informante secundario
Tabla 11: Tipologa de evaluacin y sujetos implicados
El equipo bsico de evaluacin se configura teniendo en cuenta las ventajas e inconvenientes tanto de la evaluacin interna como la interna, cuya resultante da lugar a una composicin mixta, tal y como sigue: Un representante de cada una de las Unidades de Formacin (tres en toral) vinculada a la Unidad de Prospectiva en todas sus funciones. Tres personas externas a las Unidades de Formacin pero integrantes de la Unidad de Prospectiva. Una persona ajena a la Institucin, experto de evaluacin, como asesor.
73
Cada una de estas personas debe disponer de cualificacin suficiente en el mbito de la evaluacin. Adems puede contarse, si el Equipo Bsico no cuenta con suficiente capacitacin, con un grupo de especialistas en tratamiento estadstico de datos y control de proceso, as como entrevistadores especializados. Son funciones generales del Equipo de Evaluacin: El diseo del Plan de evaluacin general La elaboracin de los instrumentos de recogida de informacin. El establecimiento de paquetes de cursos, extraccin muestral y apoyo a las tareas evaluativas de los diferentes cursos. La coordinacin de la recogida de informacin. El anlisis de informacin recogida. La elaboracin de los diferentes informes evaluativos, segn las finalidades establecidas, con la inclusin de recomendaciones y propuestas de mejora tanto para la formacin como para evaluacin de las siguientes acciones.
Representantes de Unidades de Formacin: Planificacin Evaluacin
Coordinacin General
Representantes Unidad de Prospectiva (3)
Asesor Experto externo
Otros especialistas: Tratamiento datos Control proceso Apoyo proceso
Adjunto Coordinacin Institucional Coordinadores-directores de cursos
Grfico 15: Organigrama del Equipo de Evaluacin
74
BIBLIOGRAFA.ANGUERA, M.T. (1990) Programas de intervencin hasta qu punto es factible su evaluacin? Revista de Investigacin Educativa, 16 (8) 77-94. CABRERA, F. (1987) Investigacin evaluativa en la educacin en VARIOS, Tcnicas de evaluacin y seguimiento de programas en Formacin Profesional, Largo Caballero, Madrid, 97-136. CARIDE, J.A. (1990) De la evaluacin de necesidades a la evaluacin de programas sociales en el desarrollo comunitario. En VARIOS Investigacin en Animacin sociocultural, UNED, Madrid, .133-152 DE KETELE, J.M. y ROEGIERS, X. (1995) Metodologa para la recogida de informacin, La Muralla, Madrid. GAIRN, J. (1993) Evaluacin de programas y cursos en FERRNDEZ, A. PEIRO, J. y PUENTE, J.M. (Coords.) La evaluacin en la educacin de personas adultas., Diagrama, Madrid, 77-109. GAIRN,J. et alt. (1995) Estudio de las necesidades de formacin de los equipos directivos de los centros educativos, MEC-CIDE, Madrid. GAIRN, J. et alt. (1998) Un modelo para detectar necesidades de formacin continua en grandes empresas V Congreso Interuniversitario de Organizacin de Instituciones Educativas, Madrid, nov. HAMM, R.W. (1988) Educational Evaluation: Theory a working model Education, 108,3,404-408. JIMNEZ, B. (1996) El proceso de evaluacin de programas, Universidad de Rovira y Virgili, Tarragona, documento policopiado. JIMENEZ, B. (1999) Evaluacin de la docencia, en JIMNEZ, B. (Ed) y otros, Evaluacin de programas, centros y profesores, Sntesis, Madrid, 173206. JOINT COMMITTEE ON STANDARS FOR EDUCATIONAL EVALUATION (1988) Normas de evaluacin de programas, proyectos y material educativo, Mxico: Trillas. MATEO, J. (1994) mbito conceptual de la evaluacin, Actas de les II Jornades Universitaries de reflexi i debat envers lavaluaci educativa, Cervera: UNED. NAVIO, A. (1998) La deteccin de necesidades orientada a la organizacin cualificante, Departamento de Pedagoga Aplicada, UAB, Barcelona, Documento interno. PINEDA, P. (1998) Auditoria de formacin, CEAC, Barcelona POSAVAC, E.J. (1989) Program Evaluation. Methods and Case Studies, Prentice Hall, New Jersey. SANTOS DIEZ, R. (1992) La evaluacin de las acciones formativas del INAP: Bases de un nuevo sistema de evaluacin, Subdireccin General de Estudios y Documentacin, INAP-MAP, Madrid. SANDERS, J.R. (1998) Estndares para la evaluacin de programas, Mensajero, Bilbao. SANTOS GUERRA, M.A. (1993) La evaluacin: comprensin y mejora, Mlaga: Aljibe un proceso de dilogo,
75
Mdulo VI: Investigacin e innovacin formativa SCRIVEN, M. (1967) The methodology of evaluation in STAKE (ed.) AERA monograph series on curriculum evaluation, num. 1, -rand McNally, Chicago. STAKE, R.E. (1976) Evaluating Educational Programs. The Need and the Response, Unesco, Paris. STUFFLEBEAM, D.L. y SHINKFIELD, A.J. (1987) Evaluacin sistemtica, Paidos-MEC, Barcelona. TEJADA, J. (1989) La evaluacin de la innovacin en GONZLEZ SOTO, A. (Coord) Estrategias de innovacin didctica, UNED, Madrid, 82-109 TEJADA, J. (1989) Modelos de evaluacin en innovacin en GONZLEZ SOTO, A. (Coord) Estrategias de innovacin didctica, UNED, Madrid, 110-142. TEJADA, J. (1991) La evaluacin en Formacin Ocupacional Actas del Primer Congreso Internacional sobre Formacin Ocupacional, Departamento de Pedagoga y Didctica de la UAB, Barcelona. TEJADA, J. (1992) La evaluacin en Formacin Ocupacional, en FERRNDEZ, A. (Dtor.) La formacin ocupacional, Diagrama, Madrid. TEJADA, J. (1997) Instrumentos de medida, en GAIRIN, J. y FERRNDEZ, A. (Coords.) Planificacin y gestin de instituciones de formacin, Praxis, Barcelona TEJADA, J. (1997) La evaluacin, en GAIRIN, J. y FERRNDEZ, A. (Coords.) Planificacin y gestin de instituciones de formacin, Praxis, Barcelona, 243-268. TEJADA, J. (1997) Modelos de evaluacin de programas, en GAIRIN, J. y FERRNDEZ, A. (Coords.) Planificacin y gestin de instituciones de formacin, Praxis, Barcelona, 269-281. TEJADA, J. (1999) La evaluacin: su conceptualizacin, en JIMNEZ, B. (Ed) y otros, Evaluacin de programas, centros y profesores, Sntesis, Madrid, 25-56. TEJEDOR, J. (1990) Perspectiva metodolgica del diagnstico y evaluacin de necesidades en el mbito educativo Actas del V Seminario de Modelos de Investigacin Educativa "Metodologas en el diagnstico y evaluacin en los procesos de intervencin educativa", Ponencia, Murcia 25-27 septiembre 1990. WEISS, C.H. (1990) Investigacin evaluativa, Trillas, Mxico.
76
ACTIVIDADES
6 ACTIVIDADES DE APLICACIN
6.1 Diseo de un plan de evaluacin

A partir del diseo de un programa de formacin, elaborado en el taller presencial del mdulo o a partir de su propia prctica, concrete: 1) Los objetos de evaluacin y sus indicadores generales 2) Las finalidades de evaluacin para dichos objetos 3) La temporalizacin de la evaluacin (cronograma) 4) Listado de instrumentos adecuados para ello 5) Los agentes de evaluacin y sus funciones y actividades Para ello puede apoyarse en la siguiente parrilla:
OBJETO FINALIDAD MOMENTO INSTRUMENTO EVALUADOR DECISIONES
6.2 Elaboracin de un instrumento de evaluacin

Elija un objeto de evaluacin de un programa de formacin (desde el anlisis de necesidades hasta la evaluacin de impacto) en un momento determinado y elabore un instrumento de evaluacin para el mismo. Esta tarea conlleva: 1) Establecer los indicadores de evaluacin de dicho objeto (barrido) 2) Formular los tems en relacin con los indicadores 3) Seleccionar un nmero determinado de tems 4) Presentar la prueba piloto resultante Tenga presente que, adems de la su presentacin formal, deber justificar la vala e idoneidad del instrumento seleccionado (cuestionario, entrevista, observacin, escala, etc.) para la situacin elegida.
77
ACTIVIDADES DE PROFUNDIZACIN
7.1 El papel del evaluador

En la definicin de evaluacin hemos subrayado que es un proceso sistemtico de recogida de informacin que implica un juicio de valor orientado hacia la toma de decisiones. Si reparamos en el ltimo elemento de la definicin toma de decisiones podemos verificar toda una serie de implicaciones prcticas con problemticas aadidas. En este caso, slo haremos alusin a la implicacin social y poltica de la misma. Si a ello aadimos la dimensin del evaluador tal y como hemos presentado, cabe plantearse algunas cuestiones: 1) Qu ocurre cuando el evaluador no es la persona que toma las decisiones de evaluacin al ser un experto externo contratado a tal fin?. 2) Cul es el papel del evaluador externo? 3) Qu nivel de dependencia o autonoma debe disponer el evaluador en esta situacin?
7.2 Toma de decisiones

Acontece muchas veces al evaluar programas, cursos o proyectos de formacin, y verificar la evaluacin de necesidades, del contexto, del diseo realizado, de su desarrollo e incluso de sus resultados al final del mismo, que ste ha sido bien articulado, su proceso correcto y, por tanto, vlido y eficaz. Sin embargo, tambin se verifica que sus efectos (impacto), en evaluacin diferida, es nulo o de poca efectividad. Pinsese, por ejemplo, en un programa de recualificacin en una empresa (necesidades de formacin en nuevas tecnologas), o en un grupo de formadores (necesidades formativas en relacin con nuevas habilidades de gestin del aula) que han recibido formacin en una institucin externa; habiendo adquirido las nuevas competencias profesionales, sin embargo, su prctica profesional apenas se ha modificado. 1) Quiere esto decir que adems de posibilitar el programa de formacin, hay que tomar decisiones no formativas tambin sobre el contexto de aplicacin para que el programa sea efectivo? 2) Habr que reestructurar la organizacin del trabajo? 3) Habr que gestionar de manera diferente los recursos humanos de acuerdo a su potencial formativo? 4) Habr que disponer de nueva infraestructura para ello?
Lecturas complementarias:
CRONBACH, L.J. (1991) Nuestra noventa y cinco tesis, en CALVO DE MORA, J. Evaluacin educativa y social, Servicio de Publicaciones de la Universidad de granada, Granada. FERNNDEZ BALLESTEROS, R. (1995) Evaluacin de programas. Una gua prctica en mbitos sociales, educativos y de salud, Sntesis, Madrid.
78
ACTIVIDADES DE AUTOEVALUACIN
1.- La toma de decisiones en la evaluacin diagnstica de programas tiene que ver con: a) el logro de objetivos b) la mejora institucional c) la seleccin de los participantes 2.- El momento evaluativo de una evaluacin formativa es: a) el inicio del programa b) el desarrollo del programa c) el final del programa 3.- La toma de decisiones asociada a una evaluacin de planes y programas de formacin la debe acometer: a) el formador b) los participantes c) el responsable de formacin 4.- La evaluacin externa de programas se caracteriza porque: a) optimiza la mejora del programa b) menos costosa c) maximiza la objetividad 5.- El criterio principal en la evaluacin de programas debe tener como referencia: a) las posibilidades del contexto b) la satisfaccin de los participantes c) las necesidades formativas 6.- El criterio de pertinencia en la evaluacin de programas se define a partir de: a) adecuacin del programa con la poltica y el contexto de formacin b) nivel de logro de objetivos asignados c) adecuacin a las leyes y principios psicopedaggicos 7.- Cul de los siguientes objetos de evaluacin no se ajusta a una evaluacin de proceso del programa: a) la adecuacin de los medios y recursos b) la transferencia del aprendizaje c) el papel del formador 8.- Uno de los instrumentos bsicos en la evaluacin procesual es: a) la observacin b) las pruebas de rendimiento
79
c) el anlisis de contenido 9.- La tcnica de Delphi se acomoda mejor en: a) la evaluacin inicial b) la evaluacin diferida c) la evaluacin final 10.- La eficiencia es un criterio a considerar fundamentalmente en: a) la evaluacin inicial b) la evaluacin diferida c) la evaluacin procesual 11.- El impacto de un programa se evala a partir de: a) la satisfaccin de los participantes b) la opinin del formador c) la valoracin de los responsables y colegas en el puesto de trabajo 12.- Un instrumento idneo para la evaluacin del impacto de un programa es: d) las pruebas de rendimiento e) la entrevista a responsables y colegas f) el inventario de recursos Soluciones a las actividades de autoevaluacin:
1 2 3 4 5 6 7 8 9 10 11 12
c b c c c a b a a b c b
80

Evaluacixn Programas de Formacixn

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Evaluacixn Programas de Formacixn

Cargado por

Copyright:

Formatos disponibles

EVALUACIN DE PROGRAMAS

Jos Tejada Fernndez 2004

Mdulo VI: Investigacin e innovacin formativa

Jos Tejada Fernndez, CIFO, 2004

Unidad Didctica: La evaluacin de Programas

Contexto laboral y de la formacin La planificacin de la formacin

Organizacin del trabajo y formacin Gestin de recursos humanos

Comunicacin, clima y cultura Los actores de la formacin

Anlisis y deteccin de necesidades

Elaboracin de Planes y programas

Seleccin y secuenciacin de contenidos

Seleccin y empleo de medios

Instrumentos y tcnicas de evaluacin

Evaluacin de programas Evaluacin de instituciones

Procesos y mtodos de investigacin

Proyecto de Investigacin o Innovacin

Jos Tejada Fernndez, CIFO, 2004

Mdulo VI: Investigacin e innovacin formativa

Jos Tejada Fernndez, CIFO, 2004

Unidad Didctica: La evaluacin de Programas

Jos Tejada Fernndez, CIFO, 2004

Mdulo VI: Investigacin e innovacin formativa

Jos Tejada Fernndez, CIFO, 2004

Unidad Didctica: La evaluacin de Programas

DESARROLLO DE LOS CONTENIDOS

1.1.1 Los distintos objetos de evaluacin

Jos Tejada Fernndez, CIFO, 2004

Mdulo VI: Investigacin e innovacin formativa

NIVELES DE LAS ACTIVIDADES CONSTITUTIVAS DEL OBJETO DE EVALUACIN

Trabajo o produccin de bienes y servicios

Actividades de evolucin profesional. Seguimiento profesional. Formacin alterna-recurrente Intervencin en formacin

1.1.2 Criterios e indicadores de evaluacin

Jos Tejada Fernndez, CIFO, 2004

Unidad Didctica: La evaluacin de Programas

INDICADORES DE RESULTADOS O DE PROGRESIN

Actividades de desarrollo profesional

Actividades de formacin. Acciones de formacin

Cuadro 4.- Niveles de indicadores y niveles de actividades evaluadas

Jos Tejada Fernndez, CIFO, 2004

Mdulo VI: Investigacin e innovacin formativa

Proyecto social y poltico Poltica formativa

Metas educativas de: -nuestra prctica -del programa o curso de accin

Contexto social y poltico Situacin dela educacin

Principios psicopedaggi cos del aprendizaje adulto

Jos Tejada Fernndez, CIFO, 2004

Unidad Didctica: La evaluacin de Programas

Coherencia: grado de adecuacin entre s de distintos componentes-elementos de un programa

Tabla 1. Criterios e indicadores de evaluacin de programas (Tejada, 1997:255)

1.2 El programa y su evaluacin

Mdulo VI: Investigacin e innovacin formativa

Jos Tejada Fernndez, CIFO, 2004

Unidad Didctica: La evaluacin de Programas

Informe inicial DIAGNSTICA Contexto Necesidades Viabilidad Destinatarios Diseo ......

Informe de progreso FORMATIVA Realizacin Desarrollo Resultados Gestin Evaluacin ......

Informe final SUMATIVA Resultados Productos Impacto Costes ......

Grfico 1.- Relacin entre el nivel de planificacin y evaluacin de un programa

Mdulo VI: Investigacin e innovacin formativa

Interconexin entre planificacin y evaluacin

Grfico 2.- Relacin entre planificacin y evaluacin de programas

Jos Tejada Fernndez, CIFO, 2004

Unidad Didctica: La evaluacin de Programas

CONTEXTO SOCIOCULTURAL POLTICA INSTITUCIN

Necesidades comparadas DETECTAR NECESIDADES Instrumental. Configurar grupo De incidencia

B.- DISEO Objetivos Acciones Recursos Responsables Evaluacin Temporalizacin