Está en la página 1de 32

Nuevas perspectivas sobre la evaluacin

RodMcDonald DavidBoud JohnFrancis

Seccin para la Educacin Tcnica y Profesional UNESCO, Pars 1995

Este texto est centrado en lo que los autores definen como quizs el ms importante de los procesos involucrados en la formacin profesional: la evaluacin. A pesar de reconocer que algunas prcticas de evaluacin son tan vlidas hoy como lo fueron muchos aos atrs al ser creadas, los autores sostienen que han surgido nuevos desafios en este campo, los cuales requieren respuestas innovadoras. El artculo est estructurado en torno a los siguientes temas: las conexiones entre evaluacin y aprendizaje; la necesidad d^-focalizarla evaluacin en las competencias; el reconocimiento de las competencias adquiridas fuera del sistema de aprendizaje formal; y la creacin de sistemas de evaluacin externos para las instituciones de formacin profesional. R. McDonald, D. BoudyA. Gonczipertenecen a la Universidad de Tecnologa de Sidney. J. Francis es Director de Servicios de Prueba y Formacin en la Junta de Examinacin Asociada de Guildford, Inglaterra. UNESCO, reproducido con permiso de la UNESCO.

4 1

estudiantes calicados. Sin ellos, sin embargo, ambos se sienten amenazados. La evaluacin es quizs el ms vital de todos los procesos involucrados en la formacin tcnica y profesional. Con un sistema de evaluacin de alta calidad, los estudiantes pueden confiar en la calidad de su formacin y los empleadores pueden tener confianza en los No. 149, mayo-agosto de 2000 Muchas prcticas de evaluacin siguen siendo tan vlidas hoy como lo fueron siempre. No obstante, tambin es cierto que han surgido nuevos desafos en este campo y que los enfoques tradicionales no siempre logran darles boletn cinterfor

\ respuesta. Este texto se concentra en los siguientes cuatro temas: Las conexiones entre evaluacin y aprendizaje La evaluacin es el estmulo ms importante para el aprendizaje. Cada acto de evaluacin da un mensaje a los estudiantes acerca de lo que deberan estar aprendiendo y cmo deberan hacerlo. Las tareas de evaluacin necesitan ser elaboradas teniendo esto en mente. La necesidad de focalizar en la competencia En un sistema de evaluacin basado en competencias, los evaluadores hacen juicios, basados en la evidencia reunida de una variedad de fuentes, que 4 2 denen si un individuo satisface los requisitos planteados por un estndar o conjunto de criterios. Un enfoque basado en competencias asume que pueden establecerse estndares educacionales, que la mayora de los estudiantes pueden alcanzarlos, que diferentes desempeos pueden reflejar los mismos estndares, y que los evaluadores pueden elaborar juicios consistentes sobre estos desempeos. El uso de un enfoque como ste modifica muchas de las concepciones y prcticas vigentes en la formacin y la evaluacin de muchos de nuestros pases.

El reconocimiento de competencias alcanzadas fuera de situaciones de aprendizaje formal El Reconocimiento de Aprendizajes Previos (RAP) es un proceso que permite acreditar aprendizajes obtenidos o herramientas adquiridas fuera de las instituciones educativas formales. Es usualmente llevado a cabo a travs de la evaluacin de lo que una persona ha aprendido, o puede hacer, en relacin con los estndares planteados en el curso pertinente. Los proveedores de educacin profesional deben tomar en cuenta los aprendizajes previos porque es una prctica educacional importante: ella permite que los estudiantes, puedan progresar ms rpidamente y que no se vean forzados a "aprender" cosas que ya saben. La evaluacin a travs de muchas instituciones Muchos pases hacen uso de sistemas de evaluacin extema para sus cursos tcnicos y profesionales. En tales sistemas generalmente la evaluacin es llevada a cabo por organismos externos a los que se les asigna la responsabilidad de proveer a las organizaciones educativas, formativas, industriales y comerciales de su jurisdiccin, exmenes pblicos de alta calidad, vlidos, confiables y con costos razonables, as como otros servicios relacionados.

boletn cinterfor

1.

IKTTROCXJCON

La evaluacin es quizs el proceso ms vital de la formacin profesional. Un sistema de evaluacin de alta calidad permite orientar de manera correcta los diferentes aspectos de un curso, brinda a los estudiantes una retroalimentacn apropiada, asegura que los buenos estudiantes sean reconocidos por haber aprendido lo suficiente, y sirve de base para certificaciones reconocidas por todos. Cuando los procedimientos son correctos, los estudiantes pueden confiar en la calidad de su formacin, y los empleadores pueden confiar en los estudiantes calificados. Sin ellos, sin embargo, esta confianza puede verse amenazada.

dar vuelta sobre lo que ha sido escrito. Es, ms bien, acercar nuevas ideas sobre la evaluacin a los formadores, directivos y a aquellos con responsabilidades en la formulacin de polticas. Los temas tratados en este texto son: las conexiones entre evaluacin y aprendizaje; la necesidad de focalizarse en las competencias; el reconocimiento de la competencia alcanzada fuera de las situaciones de aprendizaje formal; la evaluacin a travs de muchas instituciones. La importancia de los temas de evaluacin en la formacin profesional a menudo no es apreciada en toda su dimensin. Hay probablemente mucha ms mala prctica e ignorancia 4 sobre temas significativos en el rea de la evaluacin que en cualquier otro aspecto de la educacin profesional. Esto no sera tan malo si no fuera por el hecho de que los efectos de la mala prctica en la evaluacin son ms fuertes que en cualquier otro aspecto de la enseanza. Los estudiantes pueden, con dificultad, escapar de los efectos de una mala enseanza, pero ellos no pueden (si quieren tener xito en el curso) escapar de los efectos de una mala prctica en evaluacin. Esta acta como un mecanismo para controlar a los estudiantes que los afecta mucho ms que de lo que la mayora de los formadores o directivos estn dispuestos a reconocer.

7.7. Porqu es necesario este texto7


Muchas prcticas de evaluacin son tan vlidas hoy como lo fueron siempre. No es informacin disponible sobre evaluacin lo que falta. De hecho hay numerosos libros generales escritos sobre evaluacin, y muchos manuales y materiales que aplican estas ideas a situaciones de formacin profesional. No obstante, han surgido nuevos desafos en este campo que las perspectivas tradicionales de evaluacin no siempre logran resolver. Mucha actividad de investigacin y desarrollo est llevndose a cabo en esta rea. El propsito de este texto no es repetir lo que ya est disponible en otros lugares, ni

boletn cinteror

El nivel de inters y debate acerca de la evaluacin es resumido por EcksteinyNoah(1993): "Si los exmenes producen debate y conflicto, es porque ellos no son solo dispositivos tcnicos para evaluar estudiantes. Las polticas y prcticas que corporizan llevan una carga poltica e ideolgica. Los temas polticos, ideolgicos y educacionales llegan a estar entrelazados, especialmente en torno a las cuestiones del control. Quin controla los exmenes y qu es lo que stos controlan? Ninguna de estas cuestiones encuentra soluciones permanentes en ningn pas. Por el contrario, las actuales polticas y dispositivos de exmenes pueden ser mejor comprendidos como el resultado de una serie de compromi4 4 sos entre valores, intereses y puntos de vista en competencia, o... como En formacin un conjunto de equilibrios profesional la entre valores que compiten evaluacin necesita entre si". ser pensada no como una Es decir, la evaluacin es comparacin entre individuos, sino importante por s misma -no como un "proceso de puede ser separada del recoleccin de contexto social, y ella tambin evidencias y de ayuda u obstaculiza los esformulacin de fuerzos de los formadojuicios sobre la medida y la naturaleza del progreso hacia los desempeos requeridos
boletn anterior

res para mejorar la enseanza y el aprendizaje. Es por estas razones que se necesita un texto que se centre en los temas actuales de evaluacin. 1.2 Las prcticas tradicionales de evaluacin La prioridad de la evaluacin en el pasado sea en las aulas o en exmenes pblicos de amplia escala ha estado colocada en la comparacin de unos individuos con otros. En formacin profesional, sin embargo, la evaluacin necesita ser pensada no como una comparacin entre individuos, sino como un "proceso de recoleccin de evidencias y de formulacin de juicios sobre la medida y la naturaleza del progreso hacia los desempeos requeridos, establecidos en un estndar o un resultado del aprendizaje" (Hagar, Athanasou y Gonczi 1994). A pesar de las frecuentes afirmaciones, raramente ste ha sido el caso. Los problemas particulares han sido: la evaluacin de los estudiantes se concentra sobre aquellas materias que son fciles de evaluar, lo cual conduce a un nfasis exagerado en la memorizacin y en la obtencin de habilidades de nivel ms bajo; la evaluacin estimula a los estudiantes a focalizar sobre aquellos tpicos que son evaluados, a expensas de aquellos que no lo son; los estudiantes otorgan ms importancia a las tareas cuya evaluacin

se requiere para obtener una acreditacin que a aquellas otras que no se incluyen en las evaluaciones; los estudiantes adoptan mtodos no deseables de aprendizaje, influidos por la naturaleza de las tareas de evaluacin; los estudiantes retienen conceptos equivocados sobre aspectos claves de las materias que han aprobado a pesar de tener un buen desempeo en las exanimaciones; los estudiantes exitosos buscan apuntes de los docentes para poder identificar lo que es importante para aprobar las evaluaciones formales, y consecuentemente ignoran materiales importantes pero no evaluables. Como resultado de todo esto se concluye que los mtodos de evaluacin existentes pueden tener efectos completamente opuestos a aquellos que se proponen. Afortunadamente, el tema de los vnculos entre competencia, aprendizaje y evaluacin ha vuelto a ser colocado en el centro de la escena, y es posible mirar otra vez los modos en que la evaluacin puede completar dos requerimientos necesarios: aquel que mide la competencia, y aquel que tiene un efecto beneficioso sobre el proceso de aprendizaje.

2. EVALUACIN, ENSEANZA Y APRENDIZAJE 2.7 Evaluacin y aprendizaje La evaluacin es el estmulo ms significativo para el aprendizaje: todo acto de evaluacin da un mensaje a los estudiantes acerca de lo que ellos deben aprender y cmo deben hacerlo. A menudo, el mensaje no es explcito, no es fcilmente comprendido o es interpretado de manera diferente, recibiendo lecturas distintas por parte de formadores y alumnos. La buena evaluacin no supone solo encontrar un mtodo "apropiado" y usarlo adecuadamente en relacin con la materia que se trabaja. En la evaluacin siempre hay consecuencias no buscadas. En algunas circunstancias, los estudiantes, aprendern a adoptar mtodos "superficiales" o "mecnicos" para estudiar (tales como aquellos basados en la memorizacin) y, en otras, adoptarn mtodos ms "profundos" o "significativos" (esforzndose por dar sentido a lo que apren-den).]Al hacerlo, ellos estarn parcial-'mente influidos por las formas y la naturaleza de las tareas de evaluacin. Los estudiantes aprendern que, en muchas circunstancias, para obtener ' buenas notas, ser conveniente recurrir a aprendizajes mecnicos, aun cuando el formador est convencido de

45

boletn anterior

que esto los distrae de los aspectos ms importantes del curso. Estas respuestas y otras no deseables sern funcin no solo del conjunto de tareas de evaluacin, sino tambin de todas las experiencias de evaluacin que los estudiantes han tenido en el pasado. Si, por ejemplo, ellos tienen la idea de la que memorizacin funciona en las pruebas de opcin mltiple, persistirn en esa estrategia aun cuando tengan la seguridad de que ella no los ayudar. Adems, los estudiantes no estn solamente respondiendo a las exigencias de una materia dada. En el momento de una evaluacin ellos traen consigo la totalidad de sus experiencias de aprendizaje y evaluacin, y esto, ciertamente, se extiende ms all de las materias a las que concurren en ese momento o las que las han precedido de manera inmediata. 4 6 Todo esto significa que la manera en que el estudiante se aproxima a la tarea de aprendizaje depender de: las cualidades intrnsecas de la forma de evaluacin que est siendo usada; las maneras en que el evaluador traduce en un formato dado el material a ser evaluado, y selecciona las tareas de evaluacin apropiadas para la materia y para los objetivos de aprendizaje especficos; y lo ms importante: cmo el estudiante interpreta la tarea y el contexto de la evaluacin.

Esta interpretacin no solamente depende de la forma del proceso de evaluacin, sino tambin de cmo las tareas planteadas estn encamadas en el contexto total de la materia y dentro de la experiencia total del curso y de la vida del estudiante. Por ejemplo, las tareas de evaluacin son casi siempre preparadas por formadores profesionales experimentados, a menudo bien educados, con un conocimiento profundo de la materia, para alumnos nexperimentados que a menudo pertenecen a una generacin diferente y, posiblemente, a una cultura diferente. Estas importantes diferencias afectan inevitablemente la interpretacin que cualquier alumno hace de las tareas de evaluacin. Los estudiantes tambin experimentan los efectos de la interaccin de una forma de evaluacin sobre otra. En un mes ellos pueden tener que completar diez tareas de evaluacin; en otro, solamente una. Las maneras en que ellos resuelven cada una de ellas van a estar influidas por el modo en que resuelven las otras. Una tarea que es intrnsecamente interesante, y que puede ser resuelta de manera significativa en cualquier otro momento, puede recibir poca atencin si forma parte de un conjunto muy amplio de evaluaciones que se deben enfrentar de modo simultneo. Mucha menos atencin se le ha dado a los efectos combinados de la evaluacin, aun cuando los formadores saben que es el conjunto total de las demandas que hacen a sus

boletn anterior

alumnos en un determinado periodo de tiempo el que influye en cmo cada una de esas demandas es asumida por ellos.

2.3 La importancia de a autoevaluacin


Un tema que no ha recibido suficiente atencin es cmo usar mejor las capacidades y habilidades de los estudiantes para evaluarse a s mismos. A largo plazo, esto es ms importante que el aprendizaje de cualquier materia en particular. Los estudiantes deben salir de un curso de formacin profesional equipados para autoevaluarse a lo largo de sus vidas profesionales. Ellos necesitan ser capaces de hacer juicios confiables acerca de lo que saben y lo que no, y de lo que pueden y no pueden hacer. Frecuentemente, la evaluacin conducida por los formadores refuerza la dependencia de los estudiantes para tomar decisiones respecto a lo que saben, y no aprenden a hacerlo por ellos mismos. Actualmente, los estudiantes aprenden ms acerca de la autoevaluacin a travs de sus propias reflexiones informales sobre su desempeo en las pruebas de evaluacin, pero esto es francamente insuficiente. Se requiere una variedad de estrategias para reforzar en los estudiantes la prctica de autoevaluacin. En particular, las actividades de autoevaluacin en la que los estudiantes aprenden a distinguir el desempeo aceptable del no aceptablenecesitan ser desarrolladas y la

2.2 Los propsitos de la evaluacin


La evaluacin puede ser "forma-tiva" o "sumativa". El propsito de la evaluacin formativa es proveer retroa-limentacin a los estudiantes, como parte del proceso de aprendizaje. La evaluacin sumativa refiere a acciones tales como la calificacin o la acreditacin, en las que el foco est puesto en hacer un juicio sobre el trabajo del estudiante. No es posible, no obstante, separar los dos tipos claramente, sobre todo considerando el dominio que la evaluacin sumativa ha tenido en las mentes de los estudiantes (y en las prcticas de los docentes) y el modo en que ello ha oscurecido aun las ms modestas intenciones de la evaluacin formativa. Frecuentemente, la evaluacin responde a las necesidades del juicio sumativo, no del aprendizaje, y se concentra ms sobre el registro y la medicin que sobre la comunicacin y descripcin de la competencia lograda. Irnicamente, a menudo tampoco sirve muy bien a las necesidades de lo primero. Es importante encontrar maneras de considerar ambos aspectos juntos en cada momento, ms que esforzarse en separarlas artificialmente.

4 7

Los estudiantes deben salir de un curso b de formacin profesional o l equipados para autoevaluarse a lo e largo t de sus vidas profesionales n cinterfor

Actualmente, los estudiantes aprenden ms acerca de a autoevaluacin a travs de sus , propias reflexiones informales sobre su desempeo en las pruebas de evaluacin, pero eto es francamente insuficiente

autoevaluacin necesita ser activamente fomentada. Un punto de partida para hacer esto es (adaptado de Boud 1992): clarificar el concepto de criterio en trminos que sean familiares a los estudiantes por ejemplo, preguntando "cmo distinguira un buen trabajo de un trabajo malo en esta materia?"; y

estudiantes experimentan. Aun en un sistema basado en la competencia, la calidad y naturaleza de la evaluacin es vital en los pasos intermedios. Cuando el foco est puesto en el logro de un resultado estandarizado, la importancia del proceso de aprendizaje es a menudo minimizada. Prestar atencin al proceso involucra, entre otras cosas, disear actividades de retroalimentacin bien estructuradas. A menudo, sin embargo, no se traza bien la distincin entre, por un lado, la retroalimentacin de una tarea particular o la demostracin de habilidades y, por otro, el juicio sobre el estudiante como persona. Se hacen comentarios a los estudiantes que pueden ser tomados fcilmente como un comentario personal ms que como un comentario sobre sus trabajos. 2.5 La necesidad de evaluadores entrenados El comentario anterior acerca de la retroalimentacin a los estudiantes ejemplifica las habilidades que necesitan tener los evaluadores eficaces en la formacin profesional cuando se reconoce de manera creciente la importancia de la evaluacin en el aprendizaje. Tradicionalmente, los formadores profesionales han tendido a enfatizar ms su rol en la enseanza que en la evaluacin. Con el creciente nfasis en la importancia de los resultados en la formacin profesional, los docentes necesitarn una formacin adicional en evaluacin. El dominio de

especificar los criterios con sufi ciente detalle para que cada estu diante pueda juzgar la medida en que el criterio ha sido satisfecho. 4 o El criterio necesita especificar: el rea a ser evaluada; los objetivos del trabajo de evaluacin; los estndares a ser alcanzados. Es necesario implementar estrategias especficas para apoyar el proceso de autoevaluacin. Las dos ms comunes son el uso de guas escritas y de actividades grupales estructuradas. Ambas son explicadas en Boud (1992). 2.4 Retroa I mentacin a los estudiantes La retroalimentacin juega un rol importante en el aprendizaje que los

boletn cinterfor

las siguientes reas (tomadas de CSB 1 994) podran preverse para cual-

quier evaluador en formacin profesional:

reas de competencia para evaluadores en un sistema basado en competencia

establecer qu evidencia es requerida y organizar la evaluacin; recoger la evidencia; elaborar decisiones de evaluacin (a travs de la comparacin de la evidencia con los resultados requeridos de aprendizaje); registrar los resultados; y revisar los procedimientos.

2.6. Lectura adicional Rowntree, D (1989) Assesing students: how shall we know them? (Segunda edicin, revisada) London: Kogan Page. Este libro se refiere, de un modo muy accesible a los practicantes, a los temas subyacentes de la evaluacin. Discute los propsitos de la evaluacin, sus efectos colaterales, y los temas sobre qu evaluar, cmo evaluar y cmo interpretar los resultados de la evaluacin. Boud, D (1992) Implementing student self-assessment. (HERDSA Green Guide n 5). Segunda edicin. Sidney, Australia: Higher Education Research and Development Society of Australasia. Una gua prctica sobre cmo puede ser usada la autoevaluacin en

la enseanza y la evaluacin, incluyendo estudios de caso. CSB (1994) Workplace Assessor Competency Standards. Canberra, Australia: Assessor and Workplace Trainer Competency Standards Body. Este documento es un grupo de estndares de competencia para evaluadores, incluye tambin una discusin sobre la validacin, confiabilidad, flexibilidad e imparcialidad (discutida luego en este texto). Aunque con la intencin de ser una gua para aquellos asesores en formacin y acreditacin, es tambin til para clarificar los roles de aquellos con responsabilidad en la evaluacin. Eisner, E W (1993) Reshaping assessment in education: some criteria n searcb of practice. Journal of Curriculum Studies 25 (3) 219-233.

4 9

boletn anterior

Este documento discute la necesidad de apartarse de algunas de las concepciones tradicionales de la evaluacin que estn centradas en pruebas generales.

3. EVALUACIN DECXDMPETENCJAS
Los enfoques tradicionales de evaluacin han asumido que la inteligencia (as como otros rasgos tales como el peso), est distribuida de manera regular y puede ser representada por una curva normal. Este presupuesto est en la base de muchas de las maneras en que la gente piensa acerca de la evaluacin, as como tambin en la generacin de mediciones tales como las escalas porcentuales o de puntuacin. Las pruebas basadas en estos pre-5 O supuestos buscan establecer diferencias entre los individuos esto es, saber dnde los individuos se ubican en esta distribucin representada por la curva normal. Las preguntas e tems son seleccionadas por su precisin para discriminar entre las personas. Eso es, la excelencia se determina por la manera en que los individuos se desempean (bien o mal) en relacin con los otros. S todos los candidatos se desempearon bien en una prueba, sus diseadores concluiran que la disearon mal no que todos los estudiantes se desempearon de manera excelente. Los presupuestos del enfoque basado en estndares son bastante dife-

rentes. Ellos proponen que los estndares educacionales pueden establecerse, que la mayora de los estudiantes pueden alcanzarlos, que desempeos diferentes pueden reflejar los mismos estndares, y que los evaluadores pueden juzgar estos desempeos de manera consistente. El uso de un modelo tal cuestiona tanto el enfoque de la formacin como el de la evaluacin que se utilizan actualmente en la formacin profesional de muchos pases. Los cursos son diseados y realizados para alcanzar los estndares especficos, y la evaluacin est basada en estos estndares. Las pruebas basadas en este modelo siguen estndares pbcos y buscan medir la comprensin que los estudiantes tienen de los procesos y los conceptos que subyacen al desempeo en entornos autnticos, tales como el lugar de trabajo. Estas pruebas llegan a ser herramientas vitales de aprendizaje, y pueden ser realizadas varias veces a lo largo del ao escolar o incluso en periodos ms largos. Los estudiantes no necesitan alcanzar los estndares todos juntos y, al mismo tiempo, la evidencia puede ser recogida a lo largo del tiempo usando una variedad de mtodos y recurriendo a una diversidad de contextos. Los temas de la confabilidad no tienen que ver con los mtodos objetivos de puntaje sino con el uso del juicio profesional y de las muestras. Los evaluadores se convierten en "jueces" que sopesan la evidencia y evalan en

boletn anterior

qu medida los desempeos reflejan los estndares ya definidos.

3.1 Por qu la evaluacin basada en competencia?


Un enfoque de evaluacin basado en competencias es altamente apropiado para la formacin profesional: para asegurar que la enseanza y la evaluacin estn al servicio de los resultados requeridos (en lugar de basar la enseanza y la evaluacin, por ejemplo, en los cursos realizados, o en el tiempo utilizado); para facilitar el otorgamiento de crditos por la competencia adquirida en otros lugares; para ayudar a los estudiantes a comprender claramente lo que se espera de ellos si quieren tener xito en el curso; y para informar a los empleadores potenciales qu significa una calificacin particular. Dicho esto, queda una gran cantidad de cuestiones sin abordar referidas tanto a presupuestos de la evaluacin basada en competencias, como a su implementacin. Considerarlos va ms all de un texto como este, sin embargo, muchos de estos temas estn bien tratados en un reciente libro sobre la materia escrito por Alison Wolf (1994). Una de estas cuestiones, la

Un enfoque de implementacin de sistemas de evaluacin basado evaluacin de competencias de en competencias amplia escala, es tratada en la es altamente seccin 5. Otra cuestin es la apropiado para la que se relaciona con la formacin dificultad de especificacin de profesional resultados requeridos en la educacin general (como opuesta a reas tcnicas), debido a la dificultad en la cntextuali-zacin de los objetivos generales. 3.2 Cunta evidencia? Como ha sealado Wolf (1994), normalmente realizamos juicios basados en una pequea cantidad de evidencias. En formacin profesional utilizamos evaluacin para realizar predicciones de largo plazo acerca de la habilidad de una persona para satisfacer las necesidades futuras de una ocupacin o profesin. Para usar el ejemplo de Wolfe, "si podemos seguir a un mdico en su vida laboral completa, no solamente observando cirugas y visitas a domicilio, sino tambin haciendo un seguimiento de sus pacientes, estaramos en mejor posicin de decir si l es buen mdico". Pero, por supuesto, los evaluadores no estn en posicin de hacer esto, y ellos tienen que restringirse a aproximaciones ms rudimentarias para elaborar sus juicios. La seleccin y el uso de herramientas de evaluacin est relacionado con la pregunta acerca de qu y cunta evidencia es suficiente para evaluar aquello que necesita ser evaluado.

51

boletn cinteror

La seleccin y el uso de herramientas de evaluacin est relacionado con la pregunta acerca de qu y cunta evidencia es

En la decisin acer ca de cunta y qu tipo de evidencia necesita re unirse es cuestin de al canzar un equilibrio de licado. Para tomar pres tada una expresin de la profesin legal, los evaluadores deben sope evaluar aquello que necesita ser sar la evidencia que les permitir juzgar, "ha evaluado ciendo un balance probabilidades" y (donde la competencia es de impor tancia critica) "ms all de una duda razonable", que una persona es com petente,

incorrecta sea aceptablemente bajo. Esto normalmente implica la realizacin de evaluaciones cuya precisin se ajuste a la etapa del curso, al nivel de calificacin pretendido, a la importancia de esta evaluacin para el objetivo de la calificacin o los requerimientos del rea profesional, y el riesgo de incompetencia para la comunidad. Las caractersticas que deben reunir las herramientas de evaluacin que se usen dependern, as, de la precisin requerida y la cantidad de "riesgo" que es aceptable. Las exigencias de evaluacin ms altas sern, en la mayora de los casos, ms costosas, ya que exigirn reunir ms evidencia, o evidencias en contextos diferentes. As, adems de principios de evaluacin, los formadores, evaluadores y tutores necesitarn considerar estas cuestiones prcticas al momento de disear sus estrategias de evaluacin de competencias.

de

i-

52

Para decirlo de otro modo, todas las decisiones acerca de los mtodos de evaluacin incluyen una consideracin de riesgo: aunque no siempre se lo pone en estos trminos, los for-madores y evaluadores preparan procedimientos y mtodos de evaluacin tales que el riesgo de una evaluacin

Figura 1 El balance entre la evidencia y los criterios para la elaboracin dejuicios de evaluacin Juicio

boletn cinterfor

3.3 Los principios de la evaluacin basada en competencia Los principios bsicos de la evaluacin son: validez, confiablidad, flexibilidad e imparcialidad (ver recuadro en la siguiente pgina). Bajo un sistema de evaluacin centrado en competencias, los evaluadores hacen juicios acerca de si un individuo satisface un estndar o un

grupo de criterios, basndose en la evidencia reunida de una variedad de fuentes. La idea de estndares de competencia es esencialmente un desarrollo de la evaluacin referenciada en criterios que surgieron y evolucionaron en Norteamrica, pero con los aadidos, de una focalizacin en la evaluacin del desempeo y de su apLicacin a las particularidades de la formacin profesional.

LOS CUATRO PRINCIPIOS DE LA EVALUACIN Validez Las evaluaciones son vlidas cuando ellas evalan lo que pretenden evaluar. Esto se logra cuando: los evaluadores son completamente conscientes de lo que debe evaluarse (en relacin con criterios apropiados y resultados de aprendizaje definidos); la evidencia es recogida a travs de tareas que estn claramente relacionadas con lo que est siendo evaluado; el muestreo de las diferentes evidencias es suficiente para demostrar que los criterios de desempeo han sido alcanzados. Confiabilidad Las evaluaciones son confiables cuando son aplicadas e interpretadas consistentemente de estudiante a estudiante y de un contexto a otro. Flexibilidad Las evaluaciones son flexibles cuando se adaptan satisfactoriamente a una variedad de modalidades de formacin y a las diferentes necesidades de los estudiantes. Imparcialidad Las evaluaciones son imparciales cuando no perjudican a los alumnos particulares - por ejemplo, cuando todos los estudiantes entienden lo que se espera de ellos y de qu forma tomar la evaluacin. (Adaptado de Hagar et al. 1994) boletn anterior

5 3

Bajo un sistema de La competencia no evaluacin centrado puede ser observada dien competencias, los rectamente, pero puede ser evaluadores hacen inferida del desempeo. Por juicios acerca de si un ello es que se requiere pensar individuo satisface un acerca de los tipos de estndar o un grupo desempeos que permitirn rede criterios, unir evidencia, en cantidad y basndose en la evidencia reunida de calidad suficiente, para hacer juicios razonables acerca de la una variedad de fuentes. competencia de un individuo. Estos juicios no pueden ser absolutos. Hay tres grandes principios que, si se siguen, ayudan a los evaluadores a realizar juicios razonables acerca de la competencia: Usar los mtodos de evaluacin que son ms adecuados para evaluar la competencia de manera integrada. "Competencia" incluye conocimiento, comprensin, resolucin de problemas, habilidades tcnicas, actitudes y tica. Los mtodos integrados evalan una cantidad de elementos de competencia y todos sus criterios de desempeo simultneamente. Por ejemplo, las observaciones del desempeo en el aula de un maestro de escuela pueden ser usadas para evaluar en un mismo evento su capacidad para conducir grupos, el conocimiento de la materia enseada, los principios ticos, la planificacin.

No obstante, es peligroso inferir demasiado de la observacin del desempeo, ya que los profesionales se enfrentan a una amplia variedad de contextos. Casi inevitablemente habr ocasiones en las que el conocimiento necesitar ser evaluado independientemente del desempeo. Seleccionar los mtodos que sean ms directos y relevantes para aquello que est siendo evaluado. Por ejemplo, para evaluar las competencias de diagnstico en la formacin de la mecnicos automotrices, los evaluadores deben no solo observar los pasos en el diagnstico a travs de una evaluacin de desempeo, sino tambin evaluar la interpretacin de diagramas de circuitos o de un grupo de instrucciones a travs de, por ejemplo, un examen escrito. Para evaluar la integTalidad de la competencia, se necesitar utilizar ambos mtodos y tal vez algunos otros. Las razones para seleccionar los mtodos ms directamente relacionados con lo que se pretende evaluar son: asegurar que los esfuerzos de aprendizaje de los alumnos estn apropiadamente dirigidos; y asegurar que los criterios que se usarn para el juicio de evaluacin estn claros para los alumnos. Adems, los recientes estudios en psicologa cognitiva sugieren que la resolucin de pro-

54

boletln cinteror

blemas est especficos, problemas especificas generales.

siempre sujeta a contextos y que quienes resuelven confan en estrategias ms que en estrategias

enfatiza el desempeo, exige una mayor variedad de evidencia que la requerida por los enfoques tradicionales y busca mtodos de evaluacin directa.

La competencia no puede ser observada directamente, pero puede ser inferida del desempeo

Hay una creencia extendida en quienes siguen un enfoque basado en competencias, acerca de que el uso de evaluaciones de desempeo es condicin suficiente para una mejor evaluacin. Pero aun si el uso de tales tipos de evaluacin ayuda a los formadores a reflexionar en cmo conseguir que los alumnos formulen y resuelvan problemas -esto es, estimular un aprendizaje real-, un nfasis tal en la evaluacin de desempeo no es en absoluto suficiente para incrementar el logro del estudiante. Usar una amplia base de evidencias para inferir la competencia. Una mezcla de mtodos deber ser usada para proveer evidencia suficiente de la cual inferir el logro de competencias. Mientras ms estrecha es la base de la evidencia, menos generalizable es para el desempeo de otras tareas. Por ejemplo, en la mayora de las profesiones, el desempeo en pruebas con papel y lpiz ser probablemente estrecha para una evaluacin de la competencia ocupa-cional. En resumen, el enfoque de la evaluacin basada en competencias:

Para sistemas de formacin profesional de amplia escala, este enfoque tiene un problema obvio: su apli-cabilidad. Por ejemplo, puede ser bastante ms difcil generalizar mtodos variados de evaluacin que recurrir a exmenes escritos especialmente aquellos que se basan en la memoria de hechos. Adems, es ms fcil demostrar que los exmenes escritos son imparciales- aun cuando puedan no ser vlidos! El balance entre la credibilidad extema y la validez es importante cuando la legitimidad de las certificaciones todava no ha sido establecida. 3.4 Pasos para desarrollar una estrategia de evaluacin basada la competencia - un estudio de caso Diferentes pasos necesitan seguirse en el desarrollo de una estrategia de evaluacin basada en competencia: Agrupar de alguna manera los elementos de competencia y los criterios de desempeo (esto probablemente conducir a integrar elementos de competencia y criterios asociados en unidades de competencia ms comprehensivas).

55

boletn anterior

Analizar los mtodos de evaluacin disponibles para concentrarse en aquellos que tienen el potencial ms grande para una evaluacin directa e integrada. Analizar los mtodos disponibles a la luz de cuestiones prcticas, tales como el tiempo y los recursos con los que se cuenta. Redactar una tabla de especificacin que vincule el mtodo con las competencias que cada uno evaluar. La manera en que se ha hecho esto se muestra a continuacin para el caso de la evaluacin de algunas competencias de pilotos de aviacin. La tabla muestra las cuatro principales categoras de competencia que fueron identificadas, y para cada una de las categoras se indica el mtodo de evaluacin usado. Es digno de notar que mientras el nfasis est en mtodos directos de evaluacin, tambin se destaca la variedad de mtodos utilizados.

te lejos de las expectativas de simplicidad que algunos de los defensores del enfoque de las competencias abrigaban. Pero ella representa tambin un avance considerable respecto de las evaluaciones tradicionales, ya que descansa en inferencias profundas acerca de la relacin entre conocimiento y prctica profesional. Para este enfoque, la naturaleza del desempeo competente trasciende la simple verificacin de la realizacin de tareas de acuerdo con criterios precisos. Por ello debe responder a los problemas de contabilidad con mayor cuidado. Muchos de estos temas requieren ser abordados a travs de programas de formacin de formadores centrados en las tareas de evaluacin. El paso final en el desarrollo de una estrategia de evaluacin incluye, precisamente, temas de gestin tales como formacin de evaluadores (que se vincula con el paso previo: la formacin permite salvaguardar la confablidad del juicio evaluativo), desarrollando manuales para evaluadores y evaluados, revisando procedimientos y dems.

56

Las decisiones de evaluacin listadas en la tabla estarn finalmente basadas en el juicio subjetivo del profesional, pero es un juicio que se apoya en la experiencia. En ltima instancia, juzgar la calidad del desempeo de los candidatos ser un asunto de juicio profesional del formador, basado en decisiones acerca de la cantidad y el tipo de evidencia requerida. Esta La naturaleza del conclusin est bastandesempeo competente trasciende la simple verificacin de la realizacin de tareas de acuerdo con criterios precisos boletn cinterfor

3.5 Lecturas adicionales


Atkins, M J, Beattie, J y Dockrell, W B (1993) Assessment issues in higher education. Sheffield, UK: Employment Department. Este es uno de los pocos libros disponibles en la actualidad que examina temas de evaluacin desde

ALGUNOS MTODOS DE EVALUACIN DE COMPETENCIAS PARA PILOTOS DE AVIACIN (de Hagar, Athanasouy Gonczi 1994)
CATEGORAS DESEMPEO TCNICO OBSERVABLE MTODOS DE EVALUACIN Seis meses de prueba en simulador (mnimo de 1500 horas) Seis meses prueba de ruta Renovacin de licencia Seis meses de prueba asimtrica (por ejemplo falla de motor) 90 das para completar los requerimientos de una gua no direccional Un rango de radio de omnidireccional VHF y sistema de aterrizaje 90 das para completar los requerimientos para el despegue y el aterrizaje, tanto de da como de noche Cinco horas de instrumentos de tiempo de vuelo Qiequeo mdico Evaluacin en vuelo de prueba por el capitn o el simulador Simulador Problemas durante el vuelo evaluados por prueba del capitn Sistemas de aviacin - cuestionario oral Exmenes de aviacin civil (meteorologa, planificacin de vuelo, legislacin area) Cuestionario oral sobre la poltica y los requerimientos de la compaa

RESOLUCIN DE PROBLEMAS CONOCIMIENTO

ACTITUDES HBITOS DE TRABAJO

una perspectiva basada en competencias. Aunque escrito para la educacin superior, tambin trata temas de formacin profesional, Hagar, P, Gonczi, A y Athanasou, J (1994) Temas generales acerca de la

Evaluacin de la competencia. Assess-ment and Evaluaion in Higher Educaron 19(1)3-16 Aunque escrito para la educacin superior, este documento trata aspectos relevantes a la educacin
boletn anterior

profesional y es una introduccin ideal para la evaluacin basada en competencia. Wolf, A (1994) Competency-based assessment. Milton Keynes, UK.: Open University Press. Un registro extenso de los principios y prcticas de la evaluacin basada en competencia, incluyendo una crtica til de sus ventajas y desventajas.

4.1 Porqu la evaluacin debera tomaren cuenta el aprendizaje previo?


Quienes ofrecen formacin profesional deben tomar en cuenta el aprendizaje previo como una prctica educacional importante: a travs de ella los estudiantes pueden ser capaces de progresar ms rpidamente, y no se vern forzados a "aprender" cosas que ya saben. El uso del RAP para la admisin tiene tambin el potencial de beneficiar a estudiantes mujeres, y a aquellos con desventajas socioeconmicas, quienes pueden ser capaces de demostrar sus habilidades y conocimientos aun cuando carezcan de calificaciones formales. Hay beneficios financieros tambin: tanto los estudiantes como el pas pueden ahorrar dinero y esfuerzos gastados innecesariamente. En un contexto ms amplio, las discusiones focalizadas en el RAP tambin han servido en algunos pases como un puente entre las empresas y los proveedores de formacin profesional, promoviendo una formacin ms efectiva y mejor reconocida.

4. ELRECONOaMIENTODE APRENDIZAJES PREVIOS


El Reconocimiento de Aprendizajes Previos (RAP), tambin llamado Acreditacin de Aprendizajes Previos (AAP), es un proceso orientado a la acreditacin de aprendizajes obtenidos 5 8 o habilidades adquiridas fuera de las instituciones educativas formales. Las personas frecuentemente desarrollan habilidades y conocimientos a travs del trabajo comunitario voluntario, o a travs de la formacin informal dentro de una empresa, o a travs de cursos que no dan crditos. RAP enfatiza lo que una persona sabe o puede hacer, ms que cmo o cuando l o ella lo aprendieron. El RAP se lleva a cabo usualmen-te a travs de lo que una persona ha aprendido o puede hacer en relacin con los estndares requeridos por el curso pertinente. No es, sin embargo, un procedimiento para otorgar crdito a la experiencia de vida.
boletn anterior

4.2 Temas conectados con el aprendizaje previo


Para llevar a cabo exitosamente el RAP, es necesario clarificar un nmero de cuestiones acerca del aprendizaje tanto de conocimientos como de habilidades a fin de identificar los principios de evaluacin que guiarn una prctica exitosa. Algunas preguntas

que ayudan a clarificar los temas necesarios son (tomadas de Cohn et aL 1994): Para qu exactamente es este reconocimiento? Cuan relevante es el contexto en el que ha sido adquirido el aprendizaje? Qu elementos del "curriculum oculto" son incluidos en el proceso de evaluacin? Puede este aprendizaje haber sido adquirido fuera de una situacin de aprendizaje formal? Hay circunstancias en las que el aprendizaje efectivo puede ser solamente obtenido dentro de una estructura educativa formal? Qu tipo de aprendizaje externo es valorado y reconocido? Cmo es evaluado el aprendizaje y por quines?

variedad de modos en que el aprendizaje puede ser demostrado dentro de un marco de RAP flexible es mayor. Ademas, normalmente el RAP requerir instancias de evaluacin nicas, en la que el evaluador tomar una decisin sin un conocimiento del desempeo de la persona a lo largo del curso. 4.3 Mtodos usados

Quienes ofrecen formacin profesional deben tomar en cuenta el aprendizaje previo como una prctica educacional importante: a travs de ella los estudiantes pueden ser capaces de'progre-sarms rpidamente, y no se vern forzados a "aprender1' cosas que ya saben

Los evaluadores pueden usar una variedad de mtodos para ver si una persona tiene las habilidades, la comprensin y conocimiento requeridos para aprobar un curso. La siguiente Ntese que las nociones de "riesgo" y tabla (otra vez de Cohn et al. 1994) presenta "precisin" que antes se introdujeron son un listado de posibles mtodos con ejemplos mucho ms importantes en las evaluaciones sobre el uso de cada uno ellos. Aunque el para el RAP que en las evaluaciones listado se reere especficamente al RAP, los corrientes. En efecto, la mtodos de evaluacin sugeridos son pertinentes a la evaluacin en general.

59
MTODOS DE EVALUACIN
MTODOS DE EVALUACIN ENTREVISTAS PROPSITOS Y EJEMPLOS

Clarificar temas planteados en la evidencia documental presentada y/o revisar el alcance y profundidad del aprendizaje. Puede ser particularmente til en reas donde el juicio y los valores son importantes. (Puede ser estructurado con preguntas determinadas o relativamente no estructuradas semies-tructuradas- sin preparacin especifica previa). Ejemplo: a un dibujante calificado que ha desempeado tareas que requieren habilidades complejas, y est buscando una certificacin avanzada en construccin, se le pide que explique las bases legales de ciertas normas de construccin.

boletn cinteror

MTODOS DE EVALUACIN DEBATE

PROPSITOS Y EJEMPLOS

Confirmar la capacidad para sostener un argumento demostrando un conocimiento amplio y adecuado sobre la materia. Ejemplo: a un representante sindical de un sindicato nacional que busca que se le reconozcan sus competencias para la negociacin con el objeto de obtener el grado de abogado, se le solicita que prepare un tema para el debate formal o que tome parte en un juicio simulado.

PRESENTACIN

Chequear la habilidad para presentar informacin de manera adecuada a la materia y a la audiencia. Ejemplo: a un funcionario judicial que busca obteneT un ttulo de abogado, se le solicita que explique la jurisprudencia existente en un caso legal sobre un tema particular. Ejemplo: un asistente de laboratorio con seis aos de experiencia con IC1 que est buscando el RAP en una materia de laboratorio en el primer ao de qumica, explica las bases tericas de un experimento. Ejemplo. Un docente tcnico con dedicacin parcial y ocho aos de experiencia en empresas ha presentado videos de un curso introductorio y registros de evaluacin de un taller realizado durante los ltimos seis meses. Aspira a un certificado en docencia. El postulante escribe/presenta una clase para principiantes sobre una materia compleja especfica.

EVALUACIN DEL DESEMPEO

Evaluar las aplicaciones de la teora en un contexto estructurado de manera correctay segura (en un medio simulado o en el taller de laboratorio o en el lugar de trabajo) Ejemplo: El postulante usa equipo de laboratorio especfico para realizar un experimento y explica los hallazgos por escrito. Ejemplo: se le pide al postulante que explique los fundamentos de una secuencia de tareas llevadas a cabo usando equipamiento completo.

EXAMEN

Evaluar los conceptos y habilidades bsicas y aplicados usando ejemplos prcticos. (Puede ser una examen final o parcial de una materia) Ejemplo: un administrativo que ha trabajado en la misma empresa durante 12 aos en la oficina de registros contables, busca reconocimiento de sus aprendizajes para la asignatura introduccin a la contabilidad financiera

boletn anterior

MTODOS DE EVALUACIN EXAMEN ORAL

PROPSITOS Y EJEMPLOS

Chequear a profundidad de la comprensin de temas complejos y la habilidad para explicarlos en trminos simples. (Para estudiantes de posgrado esto podra tomar la forma de examen oral). Ejemplo. Un maestro multlinge busca una certificacin en lengua por medio de un examen oral.

ENSAYO

Chequear la calidady el estndar de escritura acadmica y el uso de referencias, la habilidad para desarrollar un argumento coherente, y confirmar la extensin, comprensin y transferencia de conocimiento y evaluacin crtica de ideas. (Los ensayos pueden ser similares en extensin o formato a los ensayos acadmicos formales diseados para los estudiantes inscriptos). Ejemplo. El postulante ha ledo y hecho tres Unidades de Educacin Continua en Historia Europea y busca el RAP como parte de un curso de Arte.

EJEMPLOS DEL TRABAJO HECHO, DESEMPEADO O DISEADO

Chequear la calidad del trabajo, la relevancia para la acreditacin buscada y la autenticidad de la produccin (a menudo comparado con entrevistas o con examen oral). Ejemplo: el postulante ha trabajado en la produccin de videos y tiene muchos ejemplos de videos producidos. Busca acreditacin en comunicacin visual para el diseo y produccin de videos. Ejemplo: el postulante ha desarrollado el diseo del prototipo de una mquina enciente en el uso de energa, y busca un crdito no especfico en un curso no relacionado. Ejemplo: el postulante busca acreditar habilidades de escritura para obtener un titulo en comunicacin a partir de trabajos publicados y de su experiencia como editor de una revista tcnica y otros trabajos independientes.

PROYECTOS ESPECIALES

Puede ser usado para una variedad de propsitos para aadir ms fluidez al conocimiento y a las habilidades, para completar aprendizajes o para ampliar el aprendizaje previo. Ejemplo: un programador experimentado en computacin conoce dos de los tres componentes del curriculum de un curso. El postulante acuerda completar el tercer mtodo a travs de un proyecto de trabajo y presentar la evidencia en dos semanas.

boletn anterior

MTODOS DE EVALUACIN

PROPSITOS Y EJEMPLOS

REVISIN DE BIBLIOGRAFA BSICA

Asegurar que el conocimiento y la capacidad de anlisis de la literatura pertinente se encuentran en un nivel satisfactorio. (Esto es a menudo usado cuando el postulante tiene aprendizajes acreditables, pero carece de puntos de vista especficos que son prerrequsitos para los estudiantes inscriptos y son bsicos para estudios futuros en el rea). Ejemplo: una enfermera de muchos aos de experiencia, tanto en enfermera como en administracin de la salud, busca obtener un crdito para un ttulo en ciencias de la salud. A travs del RAP, todas las materias clnicas y la mayora de la teora introductoria son acreditadas en los niveles altos. Se requiere que conozca, lea y analice crticamente un Texto bsico importante para el rea.

REVISIN COMENTADA DE LA LUERTURA

Para conocer el rango de lecturas realizadas por el postalante y asegurar el rango apropiado de lecturas para los requerimientos de la materia (esto es particularmente adecuado para las evaluaciones posgrado) Ejemplo: el postulante busca acreditar aprendizajes en varias materias de Ciencias Agrarias a partir de su trabajo en campo, realizado con un equipo de investigacin y desarrollo durante tres aos para el que ha estado realizando un conjunto de lecturas durante varios aos, relacionados con los problemas que surgan en el transcurso de las visitas al campo. Ha realizado bsicamente resmenes de contenido, pero tambin ha comparado diferentes enfoques y ha anotado reflexiones acerca del modo en el que los temas son presentados y su utilidad para los problemas en los que ha intervenido. Se le pide al postulante que complete esta tarea utilizando un enfoque ms sistemtico.

INFORMES, CRTICAS, ARTCULOS

Para indicar el nivel de conocimiento y evaluar habilidades para el anlisis y la escritura y temas de actualidad en un rea. Ejemplo: un postulante del sector pblico presenta un conjunto informes escritos hace pocos aos acerca de la materia. Se le puede dar al postulante un informe del gobierno actual y pedirle que lo critique desde el punto de vista de un grupo particular. Por ejemplo: un cuidador de animales que ha sido reconocido en investigacin de enfermedades especficas de animales nativos, busca crditos para una materia introductoria en ciencias veterinarias.

boletn cinteror

MTODOS DE EVALUACIN PORTAFOLIO

PROPSITOS Y EJEMPLOS

Para validar el aprendizaje de los postulantes proveyendo una coleccin de materiales que reflejan el aprendizaje anterior y los logros. Incluir el trabajo propio, las reflexiones sobre la propia prctica y la evidencia indirecta de otros que estn calificados para comentarlo. El portafolio identificar las conexiones pertinentes entre el aprendizaje y el crdito especifico o no especfico buscado. Ejemplo: el postulante ha trabajado de manera voluntaria como presidente de un grupo de cuidado de nios de una comunidad local, como secretario del comit de padres de ia escuela secundaria local, y como director de producciones musicales de las escuelas secundarias locales. Busca que se le acredite lo que sabe para obtener el ttulo docente. El postulante tambin tiene alumnos de msica privados que aprenden piano, clarinete y flauta, y que han logrado buenos resultados en sus exmenes del Conservatorio. El postulante busca consejo sobre qu le podra ser acreditado.

4.4 El proceso RAP El proceso de evaluar una postulacin de un estudiante involucra un nmero de etapas: informacin preliminar y orientacin, preparacin de la postulacin, evaluacin y acreditacin, orientacin posterior a la evaluacin, y registro de los resultados del RAP. Para ms detalle sobre cada uno de estos pasos, ver Cohn et al. (1994) y Simosko(1991). Es necesario tambin clarificar exactamente sobre qu bases ser dado el crdito, e identificar el modo ms efectivo de conducir las evaluaciones en un rea particular. RAP puede ser altamente recomendable en un buen nmero de escenarios educacionales.

4.5 Lecturas adicionales

63
Simosko, S (1991) Accreditation of prior language: a practical guide for professionals. London: Kogan Page. Whitaker, U (1989) Assesing learaing: standards, principies and procedures. Philadelphia: Council of Adult and Experiential Leaming. Estos dos libros sirven como una introduccin al RAP (tambin llamado acreditacin del aprendizaje previo o evaluacin del aprendizaje previo), y explican con mayor detalle el proceso involucrado. Cohn, R, Flowers, R, McDonald, R y Schaafsma, H (1994) Learning from
boletn cinterfor

experience counts. Parte II (pp 1-55) of Recognition of prior learning in Austrahan universities. Higher Educa-tion Divisin Occasional Papers Series. Canberra: Australian Government Publishing Service. (Tambin disponible como: Cohn, R, Flowers, R, McDonald, R y Schaafsma, H (1993) Learning firom experience counts: Sidney: University of Technology, Sydney) Este informe aborda los principios subyacentes del reconocimiento del aprendizaje previo (incluyendo por qu es importante) y temas que necesitan ser considerados en la implementacin de un sistema de reconocimiento del aprendizajes previos. Aunque escrito para universidades, sus ideas pueden ser completamente aplicadas a cualquier sector de la educacin. 5. LA EVALUACIN ATRAVES DE DIVERSAS INSTITUCIONES Gran parte de las discusiones de este libro han supuesto que aunque las polticas y procedimientos de evaluacin puedan definirse a nivel del sistema, la conduccin de la evaluacin es responsabilidad de los formadores en escuelas e instituciones formativas. Esto no siempre es el caso. Mientras las secciones previas se han centrado en el proceso de evaluacin en general, esta seccin est dedicada a especficamente a los procesos de evaluacin de mayor escala, tal como se implementan en muchos pases.

5.1 Aprendizaje, competencia y reconocimiento Las secciones previas han expuesto un nuevo enfoque de la evaluacin en la formacin profesional: un enfoque en el que se otorga un reconocimiento mucho ms fuerte que el acostumbrado a la conexin entre evaluacin y aprendizaje; en el que el nfasis est colocado en la demostracin de competencias; ms que en la comparacin con otros; y en el que las habilidades y conocimiento de los estudiantes pueden ser reconocidos, ms all de la forma y el lugar en el que fueron obtenidos. Sin embargo, cuando un amplio nmero de estudiantes que recorren diversas instituciones necesitan ser evaluados, hay dificultad en adoptar estas ideas. En estos casos, las relaciones entre evaluacin y aprendizaje se tornan problemticas. En efecto, esta forma de evaluacin puede, sin duda, incidir poderosamente en el modo en que los estudiantes eligen aprender, pero para hacerlo ya no cuentan con el intercambio cotidiano entre el formador y el estudiante que permite hacer de la evaluacin formativa una ayuda importante para el aprendizaje. La evaluacin de la competencia, por otra parte y en nuestro actual estado de conocimientos-, pierde muchos aspectos importantes que, en estos contextos, se vuelven irrealizables. Como Elley (1994) ha sealado en su artculo sobre evaluaciones transversales a muchas instituciones:

boletn anterior

"Hay una tensin inevitable aqu entre la libertad del formador para seleccionar el material que es apropiado para un grupo de estudiantes especfico, y la uniformidad de temas y condiciones de prueba necesarias". Esto es, la evaluacin de competencias separada de contextos especficos, y desarrollada en escenarios estandarizados y abstractos, estructurados con lmites de tiempos fijos para todos, y basados en una particular seleccin de materias y tpicos a ser evaluados, es problemtica. A pesar de estos comentarios, no obstante, los procedimientos de evaluacin de amplia escala son a menudo usados en muchos pases, en los que se los considera como el mejor modo hasta ahora conocido para asegurar uniformidad de estndares. Por esta razn, este tema ha sido incluido en esta monografa. En esta situacin la evaluacin es tanto sumativa como "externa", y el sistema de evaluacin suele ser operado por una autoridad que administra y controla un sistema nacional o regional de instituciones educativas o de formacin. La evaluacin formativa, por su parte, necesariamente se desarrolla en las instituciones como parte integral de sus programa de enseanza. Es probable que las autoridades de evaluacin externa tengan procedimientos altamente organizados para procesar evaluaciones y sistemas operacionales detallados capaces de lidiar

con un amplio rango de eventualidades, algunas de las cuales solo raramente ocurrirn. Tales autoridades a menudo responden y reflejan polticas nacionales sobre educacin y formacin, y deben responder por sus actos ante el gobierno. Los sistemas de evaluacin externa proveen informacin a los principales involucrados: estudiantes, formadores y aquellos que toman decisiones de contratacin en el mercado de trabajo, y de seleccin para el ingreso a la educacin superior.
5.2 Objetivos y polticas

La evaluacin extema a nivel de sistemas, generalmente es llevada a cabo por organismos de evaluacin externos-normalmente una agencia completamente independiente de las insti- o 5 tuciones en las que estn inscriptos los estudiantes. El objetivo de tales organismos es garantizar pruebas vlidas y servicios de evaluacin relacionados que sean, confiables, pblicas, de alta calidad y de costos razonables para organizaciones educativas, formativas, industriales y comerciales de su jurisdiccin. Dentro del sistema de evaluacin algunos componentes son administrados externamente por tales organismos y corregidos por evaluadores entrenados y controlados por l. Estos usarn generalmente exmenes escritos que se conocern en el momento de la prueba. Otros componentes de la evalua-

boletln cinteror

cin pueden ser definidos centralmente, pero implementados por los forma-dores y docentes de las instituciones (generalmente evaluaciones prcticas y asignaciones de tareas a desarrollar por los candidatos). Los sistemas de evaluacin extema a lo largo del mundo usan normalmente una combinacin de evaluaciones externas implemen-tadas por evaluadores calicados y evaluaciones realizadas por los propios formadores en las instituciones. Las autoridades responsables de la administracin de evaluaciones externas actan en el mbito pblico, estn bajo escrutinio, y son usualmente mo-nitoreadas y reguladas por el gobierno. Tanto en el caso en que esta organizacin sea una empresa o una agencia de gobierno, tendr que operar bajo restricciones de costoefectividad. Las evaluaciones debern justificarse tcnicamente en su viabilidad, tanto frente a la conduccin de dichas organizaciones, como frente a los centros eva-

luadores con los que stas se encuentran vinculadas. Las evaluaciones debern satisfacer las necesidades de todos los tipos de estudiantes que busquen calificaciones de cualquier nivel y satisfacer, al mismo tiempo, los imperativos polticos, econmicos y sociales del gobierno. Adems, la administracin del sistema debe asegurar que los resultados de los candidatos sean precisos y equitativos y entregados a tiempo. Se necesitarn reglas administrativas relacionadas con una variedad de situaciones por ejemplo, si la admisin de algunos candidatos puede ser rechazada, la prohibicin de combinar determinadas materias, la aceptacin de ingresos tardos, polticas de reintegracin de cuotas por abandono, transferencia de candidatos entre los centros, arreglos especiales para candidatos con necesidades especiales, y acuerdos para candidatos que estn ausentes de una parte de la evaluacin debido a enfermedades.

66

LA SECUENCIA DE EVALUACIN
El organismo evaluador El organismo evaluador (OE) es un cuerpo aprobado por el gobierno que conduce las evaluaciones para el otorgamiento de certificados de educacin general, formacin profesional y tcnica a estudiantes de nivel secundario y postsecundario de educacin. El organismo publica sus programas (curricula o cursos de estudio o formacin) antes de las sesiones de evaluacin para permitir la preparacin completa de los candidatos que se postulan para las evaluaciones. Adems, ofrecen de manera apropiada recursos de apoyo, guas y materiales apropiados. La informacin detallada acerca de la direccin del proceso de evaluacin es publicada y distribuida a los centros.

boletn anterior

El registro de los centros Las escuelas, institutos y organizaciones que deseen ingresar como evaluadores, deben registrarse ante el OE como centro de evaluacin (CE). Para obtener la aprobacin dicho organismo solicita al centro que provea detalles sobre el tipo de institucin, el rango de edad de los estudiantes, informacin completa sobre condiciones de seguridad para el almacenamiento y cuidado de los exmenes, datos sobre las instalaciones disponibles para evaluaciones prcticas, nombres y direcciones y datos sobre las personas responsables. Antes de la aprobacin, un inspector entrenado que trabaja para el organismo de evaluacin visita el centro. Responsabilidades de los Centros El director de la escuela, instituto, o centro asume la responsabilidad de: Designar un responsable que conducir las evaluaciones en el centro y mantendr la correspondencia con el OE (incluyendo la correspondencia sobre los estudiantes). Garantizar condiciones de seguridad para la recepcin y revisin y almacenamiento de las pruebas (lo que incluye la disponibilidad de una cerradura segura, un sitio seguro o gabinete de acero en un lugar no accesible a personas no autorizadas). Disponer de la infraestructura y servicios completamente adecuados para recibir a todos los candidatos. Garantizar la conduccin apropiada del proceso de realizacin de las pruebas. Designar un docente en cada materia que sea responsable de coordinar y estandarizar las correcciones de los componentes cuyo desarrollo se asigna a los centros. El OE puede hacer visitas no anunciadas a los centros en cualquier momento para observar la administracin de los componentes que tienen a cargo, la administracin de los exmenes escritos, y los dispositivos de seguridad para el almacenamiento del material confidencial. Los exmenes de ingreso Los centros de evaluacin deben indicar sus procedimientos de aceptacin de candidatos y el nmero estimado para cada materia. Solamente aquellos centros que enven un formulario con el nmero estimado de candidatos recibirn automticamente la documentacin para inscribirlos y reunir los antecedentes de cada uno. Las principales formas de inscripcin y registro asumen uno de los cuatro modos siguientes: el llenado de un formulario de ingreso, la presentacin de una planilla impresa en computadora, la presentacin de un diskette ms una copia ingresada al disco duro, un envo por correo electrnico.

67

boletn cintetfor

Documentacin de ingreso y procedimientos de control El Informe de Ingreso es un documento clave ya que permite chequear la informacin crucial sobre cada uno de los candidatos. Este documento enumera los componentes en los que el candidato aspira a ser evaluado, las fechas de las pruebas (para las pruebas escritas un tiempo determinado y para otras pruebas un periodo fijo de tiempo), el nombre y apellido, el sexo y la fecha de nacimiento. Los datos personales sern incluidos en el Informe de Resultados y en el Certificado, a menos que el OE reciba una notificacin que los corrija. Una copia del Informe de Ingreso es entregada al centro y otra al candidato. Los candidatos deben traer sus Informes de Ingreso a todas las sesiones de la evaluacin a las que asistan. El OE enva a los centros los formularios de correccin a los Informes de Ingreso a los centros, para que stos indiquen cualquier detalle personal o error que pueda haberse producido. El formador y la tarea de evaluacin Dentro de un sistema de evaluacin extema, hay disposiciones que el formador/ tutor deber respetar en la implementacin de las pruebas. Usualmente, estas disposiciones se traducirn en guas de trabajo escritas, proyectos, evaluacin de habilidades prcticas (para actividades de oficios, mecanizado, catering) y el desempeo de habilidades (en reas Liles como msica, deportes, produccin de imgenes). El organismo evaluador suministra las regulaciones, orientaciones e informaciones que el trabajo de los formadores evaluadores/tutores requiere. Cronograma para ]a realizacin de los trabajos Autentifcacin del trabajo de los candidatos Ttulo requerido para el docente evaluador Disposiciones para estandarizar la correccin de las pruebas Moderacin externa de la correccin Identificacin de las prcticas Llenado de hojas de correccin que se enviarn al organismo evaluador El OE espera el mismo nivel de rigor en la seguridad y confiabilidad de las evaluaciones llevadas adelante por los centros, que el que se requiere para las pruebas administradas a nivel central.

boletn anterior

SISTEMAS REGULATORIOS
La regulacin de la evaluacin extema se da en tres niveles. A continuacin se describe cada uno de ellos: Regulacin de los centros de evaluacin por parte del Organismo Evaluador La administracin de las evaluaciones extemas es un proceso complejo. El OE externo necesita obtener datos precisos acerca de los candidatos y hacerlo en los plazos previstos. Los centros de evaluacin necesitan informacin precisa y especfica acerca de qu hacer y cundo hacerlo, para gestionar todas las actividades involucradas en el proceso: la supervisin y control de los exmenes, la preparacin de los candidatos para la evaluacin, las actividades de evaluacin de los candidatos. La persona responsable de conducir las evaluaciones en cada uno de los centros los directores de las pruebas, requieren tambin de informacin detallada y especfica para llevar adelante las rutinas administrativas y los casos especiales (incluyendo en ellos casos de mala prctica y prdida de evaluaciones). Autorrregulacin de los organismos evaluadores a travs de sus propios procedimientos y documentos de orientacin elaborados sobre la base de un "Cdigo de Buenas Prcticas " Crecientemente, las organizaciones que ofrecen servicios de evaluacin sobre una base comercial han producido sus propios cdigos de autorregulacin de sus conductas. Algunos de stos siguen estndares internacionales, tales como las nonnas ISO 9000. Es buena prctica para los OE declarar de manera pblica, formalmente documentada y accesible, cules son sus polticas, principios y prcticas. Un documento tal establece lo que debera ocurrir y las razones por las cuales esto debe ser as. En Inglaterra y Gales, los OE de la educacin general, profesional y tcnica han producido documentos y procedimientos pblicos que establecen cmo conducirn sus empresas. La regulacin por autoridades externas Aunque la prctica vara de pas a pas, suelen ser los gobiernos quienes monitorean a los OE externos, ya sea directamente o a travs de una autoridad designada. Las autoridades reguladoras estn facultadas para aprobar programas e instrumentos para monitorear el proceso de evaluacin, a travs de procedimientos documentados y de la observacin directa de los procesos. Ellas son responsables de producir informes retrospectivos sobre las evaluaciones realizadas, de conducir estudios comparativos sobre las mismas en distintas reas y OEs, as como tambin de investigar el uso de los estndares a lo largo del tiempo. Las autoridades de reguladoras del sistema de evaluacin externa pueden visitar los centros para evaluar sus conductas en las evaluaciones y visitar los propios OE. Ellas pueden elaborar informes confidenciales dirigidos a los OE, as como tambin informes pblicos dirigidos a la comunidad en general.

boletn cinterfor

5.3 La administracin de examinaciones extemas un estudio de caso La mayora de los organismos de evaluacin del mundo operan sistemas similares. El resto de este captulo describe un sistema de evaluacin externo genrico aplicable a evaluaciones de todo tipo. La secuencia sigue el orden del proceso de evaluacin externa.

madores, los que toman las pruebas, los servicios postales locales y nacionales) sepan qu tareas tienen que ser completadas y en qu fecha. Seguridad La seguridad es un aspecto crtico de la administracin. Debe haber resguardos contra los fallos en la informacin a travs de todas las etapas, desde la escritura de los cuestionarios, y sus esquemas de correccin impresos, la distribucin a travs del correo u otros sistemas, y el almacenamiento en las instituciones, hasta la conduccin de la evaluacin. Las tcnicas para alcanzar altos niveles de seguridad varan de acuerdo a la cultura y los valores de la nacin involucrados. Distribucin postal En algunos pases, el servicio de distribucin (por ejemplo a travs del correo) es un mtodo perfectamente seguro de envo de materiales sensibles a los centros de evaluacin. En otros pases, son usados otros mtodos (tales como la distribucin directa por parte del personal del OE). Deben desarrollarse procedimientos especficos para asegurar que, una vez que es evaluado el trabajo del candidato, la informacin (por ejemplo, las correcciones o calificaciones los grados) no se pierda en el sistema de distribucin. (Por ejemplo, enviando al OE el trabajo evaluado de los candidatos en un envo separado del que se utiliza para las hojas con correcciones los examinadores).

5.4 Temas generales Precisin de los datos En el momento en que el Formulario de Ingreso est completo, toda la informacin relacionada con el candidato debe ser procesada y entregada de / 0 modo correcto. Los datos dados en este formulario son ingresados a una base de datos en la computadora, ya sea de manera electrnica o manual. Cualquier cambio de los datos que se produzca despus de este momento debe ser convenido con el personal del OE. La correccin manual de errores en cualquiera de las etapas posteriores es cara.
Plazos

Dado que cada sesin de evaluacin se desarrolla con plazos precisos, es esencial que todos los que participan en el proceso (el personal del organismo evaluador, los responsables de la impresin de los materiales, los for-

boletn anterior

Control de calidad Para ser justos con los candidatos, los cuestionarios de las pruebas y las asignaciones de tareas (junto con los criterios para evaluarlos) deben ser de alta calidad, los examinadores deben i > - ser seleccionados, entrenados para corregir siguiendo el mismo estndar, y los controles de su correccin deben ser realizados en varias etapas del proceso de evaluacin. Toda toma de decisin necesita ser controlada dos veces, particularmente las decisiones sobre el ajuste de las correcciones, la ponderacin de los componentes de la evaluacin o el establecimiento de niveles de logro. Apelaciones de los resultados La mayora de los sistemas de evaluacin permite a los candidatos o formadores apelar un resultado dado. El OE puede organizar servicios tales corno la revisin de la correccin, la reevaluacin del trabajo del candidato, o un informe escrito sobre el logro obtenido por el candidato. Al menos en un pas, Nueva Zelanda, los trabajos corregidos son regresados a los candidatos directamente de manos del examinador. Este sistema abierto ha dado como resultado pocas recusaciones de los resultados. 5.6 Lectura adicional Eckstein, MA y Noah, HJ (1993) Secondary School Examinations: Internacional Perspectives on Policies and

Practice. Newhaven: Yale University Press. Esta es una revisin de ocho sistemas de examinacn: de EEUU, China, Japn, Alemania, Inglaterra y Gales, Francia, Suecia y la ex Unin Sovitica. Las comparaciones se realizan siguiendo el formato, contenido y estilo de las preguntas de examen, el modo en que cada pas mide el xito acadmico y controla los exmenes, la manera en que inciden en el sistema de educacin, y el modo como los resultados inciden en al status social posterior y en las oportunidades de empleo de los estudiantes. The School Curriculum and Assess-ment Authority (1994) Code of Practice for GCE A and AS Examinations. 7 1 Reference P16/94/068. London Central Office of Information SCCU J063134; and Code of Practice for GCSE Examinations. Reference KS4/94/046. Estos folletos han sido escritos para promover la calidad y consistencia en el proceso de evaluacin a lo largo de todos los organismos evaluadores que ofrecen exmenes General Certifcate of Education Avanzado (GCEA) y Suplementario Avanzado (AS) y GCSE. Ellos estn diseados para asegurar que los estndares de certificacin son constantes en cada materia a lo largo de diferentes juntas de evaluacin, entre difeboletln cinterfor

all examination. Boards and GCSE L. Reference EXWP/IC^ disponibles del Ellos cubren la preparacin de los Director. Training Services, The A cuestionarios y esquemas de correccin, Examining Board, Stag Hill -Guildbrd, la estandarizacin de la correccin, la SurreyGU25XJ,Engk evaluacin y moderacin de trabajos, la El documento provee una gua a las calificacin y certificacin, las relaciones escuelas e instituciones forma-tivas entre los organismos evaluadores y de sobre la administracin de stos con los centros de evaluacin. examinaciones pblicas, y cubre todas las etapas que insumen los GCE Boards and GCSE Examining Groups procesos de implementacin de (1994). Instructions for the Conduct of exmenes extemos.* Examinations (for use in rentes programas, y de ao a ao.
REFERENCIAS BIBLIOGRFICAS Boud, D (992) Implemenring sludent selfassessrnent. (IIERDSA Green Guide n" 5) 2nd edition. Sydney. Australia: Higher Educalion Research and Development Society of Australia. Cohn. R..; Flowers. R.~ McDonald. R.; Schaafsma. H.(1994) Leaming from experience counts. Par JI (pp -55) of Recognition of prior leaming in Australian universities. Higher Educalion Divisin Occasional Papers Series. Canberra: Australian Government Publishing Service. (Tambin disponible como: Cohn. R.; Flowers, R.;. McDonald. R.; Schaafsma. H. (1993) Leaming from experience counts. Sydney: University of Technology). CSB (994) Workplace assessor competency standards. Canberra. Australia: Assessor and Workplace Trainer Competency Standards Body. Eckstein, M.A.; Noah, H. J. (1993) Secondary school examinations: inernational perspectives on policies and practice. Newhaven: Yale University Press. Elley. W (994) What is wrong with standards-based assessment? En: Peddie. R.; Tuck. B. (Eds) Setting the standards. Palmerslon North. NZ: Dunnmore Press p. 78-98. Hagar, P.: Goncii. A.: Athanasou. J. (1994) Assessment Technical Manual. Canberra: Australian Government Publishing Service. Hagar. P; Gonczi. A.; Athanasou. J. (1994) General issues about assessment ofeompetence. Assessment and Evaluation in Higher Education. V.J9. n.. p 3-16. Simosko. S. (99) Accreditation of prior leaming: a practical guide for professionals. London: Kogan Page. Wolf, A. (1994) Competency-based assessment. Milton Keynes, U.K.: Open University Press.

72

boletn cinterfor