LA EVALUACIN DE PROGRAMAS EDUCATIVOS: CONCEPTOS BSICOS, PLANTEAMIENTOS GENERALES Y PROBLEMTICA.

Ramn Prez Juste

Esquema: 1. La educacin como objeto de conocimiento e investigacin. 1.1. La educacin: un campo heterogneo y multidisciplinar. 1.2. La evaluacin de programas y la mejora de la actividad pedaggica. 1.3. La evaluacin de programas como investigacin evaluativa. 2. Conceptos bsicos. 2.1. Programa. 2.2. Evaluacin. 2.3. Evaluacin de programas. 3. Planteamientos generales: componentes bsicos de una propuesta para la evaluacin de programas educativos. 3.1. Lneas generales de la propuesta evaluativa. 4. Problemtica. 4.1. La existencia de expertos. 4.2. La factibilidad. 4.3. Juicios expertos o juicios democrticos? 4.4. Los planteamientos ticos. 4.5. La comparabilidad de los datos.

1. LA EDUCACIN COMO OBJETO DE CONOCIMIENTO E INVESTIGACIN. La educacin es una actividad orientada al perfeccionamiento de las personas por medio de acciones intencionadas de los educadores, generalmente concretadas en planes o programas. 1.1. La educacin: un campo heterogneo y multidisciplinar.

La educacin es una realidad compleja y diversa, por lo que puede ser considerada desde perspectivas muy diversas. El objeto de la educacin es heterogneo y multidisciplinar por lo que los planteamientos metodolgicos deben ser acordes a dicha complejidad y diversidad. Lo ms adecuado es aplicar la complementariedad metodolgica: abordar la realidad compleja desde diversos enfoques. 1.2. La evaluacin de programas y la mejora de la actividad pedaggica.

La evaluacin de programas es una actividad metodolgica que admite, al menos, dos tipos de actuaciones: la reflexin de cada profesor sobre su programa y, la llevada a cabo por expertos mediante la aplicacin rigurosa de metodologas. Es fundamental en este punto la creacin de una verdadera cultura evaluativa que fomente aptitudes y actitudes positivas hacia la evaluacin, y el estudio de las actuaciones de los profesores desde la replicacin para dar lugar a enunciados y generalidades. A estos dos grandes objetivos puede servir la evaluacin de programas: mejorar la calidad de la accin educativa dentro del aula y en el centro y la creacin de teora. 1.3. La evaluacin de programas como investigacin evaluativa.

La evaluacin de programas se orienta fundamentalmente a una evaluacin externa de programas educativos, realizada una sola vez, desde fuera y por expertos, respondiendo a lo que llamamos investigacin evaluativa. Para alcanzar el rigor propio se necesita, en la medida de lo posible, seguir los estndares del Joint Committe y utilizar el criterio de complementariedad metodolgica. 2. CONCEPTOS BSICOS.

2.1.

Programa.

Plan sistemtico diseado por el educador como medio al servicio de las metas educativas. En su elaboracin y evaluacin se han de tener en cuenta. Debe tener metas y objetivos educativos. Las metas y objetivos deben estar acomodados a las caractersticas de los destinatarios y asumidos por todos los agentes del programa. Claramente especificado y detallado: destinatarios, agentes, actividades, decisiones, estrategias, procesos, funciones y responsabilidades del personal, tiempos, etc. Si no es as el programa adolecer de uno de los criterios para la posterior evaluacin: la evaluabilidad. Medios y recursos educativos y suficientes, adecuados y eficaces. Necesita un sistema capaz de apreciar si las metas y objetivos se logran: evaluacin. Evaluacin.

2.2.

Entendemos evaluacin como la valoracin, a partir de criterios y referencias preespecificados, de la informacin tcnicamente diseada y sistemticamente recogida y organizada, sobre cuantos factores relevantes integran los procesos educativos para facilitar la toma de decisiones de mejora. Sus componentes fundamentales son: a) Los contenidos a evaluar. Cuntos factores relevantes integran los procesos educativos. Evaluacin integral. b) La informacin a recoger. Debe ser tcnicamente diseada y sistemticamente recogida y organizada. c) La valoracin de la informacin. Aqu se incluyen los criterios (exactitud, precisin, claridad, profundidad, variedad,...) y las referencias (normativa, criterial, idiosincrsica). d) La finalidad. Facilitar la toma de decisiones de mejora. La evaluacin ha de ser continua y formativa alcanzando los procesos, diseo y calidad del programa. Adems la evaluacin presenta tres caractersticas: Integral. La evaluacin adems de abarcar toda la realidad educativa, lo tiene que hacer de modo armnico y al servicio de una gran meta comn: la mejora de la persona. Integrada. La evaluacin es un elemento ms, junto con los dems y en armona con ellos. Integradora. Dimensin activa y dinmica de la evaluacin. Evaluacin de programas.

2.3.

Entendemos la evaluacin de programas como un proceso sistemtico, diseado intencional y tcnicamente, de recogida de informacin rigurosa valiosa, vlida y fiable orientado a valorar la calidad y los logros de un programa, como base para la posterior toma de decisiones de mejora, tanto del programa como del personal implicado y, de modo indirecto, del cuerpo social en que se encuentra inmerso. Conceptos incluidos en la definicin: a) b) Contenido u objeto de la evaluacin. El programa tanto en su calidad objetivos, diseo, medios- como en sus logros o resultados. Finalidad. Se orienta a la mejora, por eso es necesario hacer objeto de evaluacin los propios procesos adems del programa.

c)

Informacin. Ha de ser rigurosa fiable y vlida-, valiosa til para facilitar la toma de decisiones-. UNA

3. PLANTEAMIENTOS GENERALES: COMPONENTES BSICOS DE PROPUESTA PARA LA EVALUACIN DE PROGRAMAS EDUCATIVOS. Algunas consideraciones metodolgicas:

Lo educativo como referencia constante. Tanto en el diseo, implementacin, desarrollo y evaluacin de programas. Los objetivos, medios y recursos deben ser educativos y adecuados. El programa coexiste con otros programas de aula y en el centro. Colaboracin y participacin de los agentes y los destinatarios. El tamao o amplitud del programa. Desde los reducidos a los que duran varios cursos, la metodologa cambiar sensiblemente. La complejidad del programa. Con objetivos de muy diversa naturaleza. El estatus del evaluador. Como responsable simultneo del programa y de su evaluacin, con enfoque esencialmente autoevaluativos y continuos. Como evaluador externo, con carcter sumativo que concluye con un Informe. Las unidades de anlisis. Los destinatarios naturales del los programas son los educandos. Sin embargo, a veces hay que tomar en consideracin otro tipo de unidades como el aula, el centro, conjunto de centros, etc. La relacin entre el programa y su evaluacin. La evaluacin ha de estar integrada en el programa. La informacin a recoger. Tiene que existir coherencia entre los objetivos del programa, los de su evaluacin y los datos o la informacin recogida para decidir sobre l. (datos duros y percepciones de los agentes y destinatarios).

3.1. METODOLOGA
Sobre el programa: fundamentacin, formulacin, relacin con las necesidades, expectativas y demandas de los destinatarios. Calidad, pertinencia y realismo de los objetivos y las metas y adecuacin a los destinatarios y al contexto. Suficiencia de los apoyos, medios y recursos. Calidad tcnica de los planteamientos de evaluacin, y del programa: coherencia con las bases tericas, congruencia interna de sus componentes. Viabilidad del programa. Evaluabilidad Cumplimiento: desfases, desajustes, flexibilidad. Coherencia institucional. Eficacia parcial. Satisfaccin de los implicados: agentes, colaboradores, destinatarios.

Lneas generales de la propuesta evaluativa. INFORMACIN A RECOGER CRITERIOS/REFERENCIAS DECISIONES

Formativas. En casos extremos sumativas.

MOMENTO

FINALIDAD

FUNCIN

1 Evaluacin Programa cuanto tal

del en

Calidad tcnica del programa, viabilidad prctica y evaluabilidad.

Formativa: anticipar las decisiones de mejora. A veces, puede ser sumativa.

Anlisis de contenido de documentos, estudios prospectivos, tcnica Delphi. Juicio de expertos multidisciplinares. Registros, pruebas de evaluacin inicial.

2 Evaluacin proceso implantacin Programa

del de del

Facilitar la toma a tiempo de decisiones de mejora. Acumular informacin para futuras ediciones. Resultados en relacin a los objetivos. Efectos positivos o negativos- no planeados.

Formativa. En casos extremos sumativa. Sobre el desarrollo del programa, resultados intermedios y efectos no planeados.

Recogida de informacin: observacin, dilogos, entrevistas, anlisis de tareas,... Anlisis de informacin: sesiones de grupo, debates,...

Ajustes parciales. En casos extremos, suspensin de la aplicacin del programa.

3 Evaluacin de los resultados de aplicacin del programa

Comprobar eficacia programa.

la del

Fundamentalmente sumativa. Cuando sea posible sumativa formativizada.

Eficacia: grado de logro de los objetivos. Eficiencia: resultados en relacin a los medios y circunstancias. Efectividad: efectos beneficiosos no previstos. Satisfaccin. Impacto. Progreso: situacin de partida, el programa frente a s mismo. Logro del dominio: niveles preespecificados (evaluacin criterial) Superioridad: niveles de otros programas.

Sumativas: mantener o suprimir el programa. Formativizadas: mejorar el programa para una nueva edicin.

4 Institucionalizacin de la evaluacin del Programa

4.1. La existencia de expertos. 4.2. La factibilidad. 4.3. Juicios expertos o juicios democrticos? 4.4. Los planteamientos ticos. 4.5. La comparabilidad de los datos.