EvaluacindelAprendizaje:Unagua prcticaparaprofesores

Dra.YolandaEdithLeyvaBarajas Marzo,2010

U no de los obstculos que con mayor frecuencia tienen las instituciones educativas para realizar un trabajo sistemtico de
evaluacin del aprendizaje, consiste en la falta de una cultura de la evaluacin entre los actores del proceso educativo -alumnos, profesores y directivos-, lo que conduce a prcticas evaluativas que nos son congruentes con los contenidos, enfoques y propsitos del modelo educativo, o bien son insuficientes o superficiales. Tales prcticas suceden en gran medida por la carencia de bases tericas y tcnicas en algunas de las fases del proceso evaluativo: la planeacin, el diseo y desarrollo de instrumentos de evaluacin; el anlisis de la informacin, o la interpretacin y uso de los resultados. Estas carencias se reflejan en la emisin de juicios de valor subjetivos, superficiales o sesgados que impactan de manera negativa en los estudiantes. Generalmente estas prcticas no resultan tiles para la toma de decisiones que tienen que llevar a cabo los diferentes actores en los distintos momentos del proceso educativo. En este documento se presenta informacin pertinente para que los grupos acadmicos de las instituciones educativas encuentren una gua prctica que coadyuve al desarrollo de las competencias necesarias para llevar a cabo una evaluacin del aprendizaje congruente con los enfoques actuales de la educacin basada en competencias, y til para reorientar su intervencin. Inicia con un breve marco terico acerca del concepto de evaluacin, as como las dimensiones con base en las cuales se ha desarrollado una clasificacin o tipologa de la evaluacin, aspectos que sern de utilidad como sustento a una prctica educativa ms congruente y eficaz. Tambin se abordan aspectos metodolgicos necesarios para la planeacin colegiada de la evaluacin del aprendizaje, el diseo y elaboracin de los instrumentos y tcnicas para la recogida de informacin y algunas reflexiones acerca del anlisis e interpretacin de la informacin para garantizar que la emisin de juicios de valor sea vlida y por lo tanto til para la mejora del proceso educativo. Esta informacin constituye tambin un apoyo para orientar la prctica educativa del personal docente y a nivel institucional contribuye en la mejora de los sistemas de planeacin y actualizacin de los planes de estudio, ya que la evaluacin objetiva del aprendizaje es una fuente de informacin importante para evaluar la eficacia e impacto no solo de la intervencin didctica del docente, sino de la eficacia y funcionalidad del plan y programas de estudio.

Yolanda E. Leyva Barajas

1.IntroduccinalaEvaluacindelAprendizaje
Para iniciar haremos una breve reflexin acerca del concepto de evaluacin educativa. Muchos son los autores que han ido definiendo el concepto a lo largo de la historia, la evolucin del concepto ha permitido su construccin, integrando los nuevos enfoques o definiciones que a su vez se han ido construyendo a partir de las diferencias, carencias y perspectivas paradigmticas en ocasiones contrapuestas, conduciendo a la elaboracin de concepciones evaluativas diferentes a lo largo de la historia. No es el objetivo del presente hacer una revisin exhaustiva de este proceso, para ello sugiero revisarlaresearealizadaporRamos,PeralesyPrez(2009). En este trabajo nos limitaremos a sealar que la concepcin ha sufrido una evolucin hasta llegar a la que actualmente es reconocida por la comunidad de investigadores y acadmicos dedicados a la evaluacin educativa a nivel internacional, y que tal evolucin lgicamente a enriquecido de manera progresiva la teora, la metodologaydesdeluegolosprincipiosticosnecesariosparagarantizareldesarrollode procesos evaluativos tiles y crebles. Tambin revisaremos algunas propuestas para la clasificacin o tipologa que nos permitan ubicar a la evaluacin del aprendizaje como procesosistemticoligadoalaintervencineducativa. Una sntesis actualizada acerca de las diferentes tendencias y definiciones de lo que actualmente representa la evaluacin educativa es la referida por el grupo de evaluacin y medicin (GEM) de la Universidad de Valencia: Se entiende por Evaluacinunprocesosistemticodeindagacinycomprensindelarealidadeducativa que pretende la emisin de un juicio de valor sobre la misma, orientado a la toma de decisionesylamejora(Jornet,2009). Ofreceademsunanlisisdeestadefinicin,destacandolossiguientesaspectos: Se trata de un proceso sistemtico; es decir, la evaluacin debe ser un proceso racionalmente planificado como parte del desarrollo de la enseanza, de forma que nodebeentendersecomoalgoaislado,niimprovisado,nidesconectadodeldiseoy desarrollodeladocencia. de indagacin y comprensin de la realidad educativa; en este sentido, el elemento fundamental radica en el acercamiento a la realidad para conocerla adecuadamente y comprenderla, de forma que no puede darse una evaluacin de calidad si no se sustenta sobre un grado de comprensin suficiente de la situacin educativadeloevaluado. que pretende la emisin de un juicio de valor sobre la misma; finalmente se requiere emitir un juicio de valor, basado en criterios objetivos u objetivables, se entiende que un elemento de objetivacin imprescindible en el contexto de la 2

evaluacin educativa es el consenso intersubjetivo que pueden manifestar expertos eneducacinacercadelacalidaddelosfenmenoseducativosevaluados. orientado a la toma de decisiones; es la base necesaria para poder tomar decisiones de cualquier tipo, sean de mejora (evaluacin formativa) o de rendicin decuentas(evaluacinsumativa). y la mejora; slo puede entenderse que una evaluacin es de calidad, si permite identificar no slo los elementos que requieren mejora, sino el cmo dinamizar el proceso de mejora o innovacin, es decir, el carcter formativo se identifica como uncomponentefundamentalparacualquierevaluacin. En cuanto a las dimensiones con base en las cuales se clasifica a la evaluacin educativa, retomamos la referidaporJornet,SnchezyLeyva(2009)lacualsesitaenel anlisis de las cuestiones clave que guan cualquier plan de evaluacin, y que por ello, orientan los procesos de la planificacin y diseo. Esta clasificacin, aunque originalmente fue realizada con objeto de identificar una tipologa de planes de evaluacin de docencia de educacin superior, ha sido aplicada y adaptada a diferentes situaciones,esgeneralizableyseadaptaalesquemaconceptualanteriormenteexpuesto. La propuesta incluye otras dimensiones que hemos denominado transversales las cuales se consideran complementarias porque refieren a las posibles especificaciones de los escenarios y situaciones educativas en los que se desarrolla la intervencin educativa. Deestaclasificacinretomaremosporahora,ladimensinquehacereferenciaalaunidad deanlisisalacualsedirigeelprocesoevaluativo.Quseevalaopretendeevaluar?Las unidadesidentificablescomoreferenciadelosdiversosprocesosson:

Laspersonas.Enesteepgrafesepuedendiferenciarevaluacionesreferidasaalumnos o estudiantes de cualquier nivel educativo, profesorado y figuras o agentes de la educacin (directores escolares, coordinadores acadmicos, orientadores educativos, supervisores). Las organizaciones educativas. Las cuales se pueden clasificar como formales (sistemas educativos, niveles y/o modalidades educativas, instituciones escolares de educacin bsica, media superior o superior); no formales (programas sociopolticos de actuacin formativa laboral, social, econmica, empresarial), instituciones de formacinparalaempresa,entreotras. Los elementos materiales de la intervencin educativa. Se incluyen aqu todos los elementos en que se materializa la organizacin educativa, tales como los proyectos educativos, los curricula o planes de estudio, programas de intervencin educativa a cualquier nivel tanto del mbito educativo como empresarial o social; y materiales educativos(librosdetexto,fichasdidcticas,materialmultimedia).

 Para el propsito de este trabajo, nos ubicamos en la evaluacin de personas, de manera especfica en la evaluacin del aprendizaje de alumnos o estudiantes, esta primera definicin nos brinda un primer paso para establecer la planeacin del proceso evaluativo ya que orienta en gran medida la metodologa de trabajo. Ahora bien se requiere contestar otras preguntas tales como qu evaluar?, es decir qu aspectos o rasgosdelaprendizajevamosevaluar;elparaqu?,esdecir,lafinalidadyconelloeluso que se har de los resultados de la evaluacin. La definicin del objetivo de la evaluacin guiar otras fases de la planeacin y desarrollo del proceso, tales como el diseo y desarrollo de tcnicas e instrumentos de obtencin y anlisis de la informacin, as como el establecimiento de un marco que permita interpretar esta informacin, para dar sustentoalaemisindejuiciosyporlotantoalatomadedecisionesmsadecuadas. La eleccin de un tipo determinado de evaluacin depende de los objetivos de la misma,loscualesasuvezsonsubsidiariosdeunaperspectivapsicoeducativa,envirtudde la cual la evaluacin adquiere un sentido especfico (Miras y Sol, 1991). El marco psicoeducativo que se toma como referencia para interpretar la enseanza y el aprendizaje, determina en gran medida tanto la informacin que es necesario obtener, comoeltipodejuiciosqueseemitanylanaturalezadelasdecisionesqueseadopten. El enfoque actual que hemos revisado del concepto de evaluacin, en el caso especfico de la evaluacin del aprendizaje, implica que no debemos limitarnos al mbito de los objetivos ms fcilmente contrastables, porque se perdera de vista la importante influencia de estrategias intelectuales y de procesos de pensamiento subyacentes a las tareas especficas, factores que nos permiten explicar causalmente el origen del xito o fracaso del alumno orientando la intervencin apropiada a cada causa detectada; slo as laevaluacincumplesufuncindeperfeccionamientoymejoradelprocesoeducativo. Para determinar la finalidad de un proceso de evaluacin de aprendizaje, revisaremos ahora algunos conceptos que han dado origen a una tipologa de la evaluacin del aprendizaje, los cuales nos servirn para orientar la seleccin de tcnicas y la construccin de instrumentos que recuperen la informacin necesaria y suficiente para sustentarelprocesoevaluativo. En el esquema presentado en la figura 1, Casanova (1998, 2007) representa la clasificacin de la evaluacin del aprendizaje en funcin de dimensiones tales como la funcionalidad u objetivo de la misma, la temporalidad en la cual se sita el proceso, el normotipootiposdereferenciasparalainterpretacindelosresultadosdelaevaluacin; yfinalmenteladimensindelosagentes,esdecirquinesvanaemitirlosjuiciosdevalor. El normotipo se refiere a la clasificacin de los tipos de referencias o criterios que subyacen a las interpretaciones, en trminos de si tales referencias o criterios son externos o internos al propio estudiante o persona sujeta a evaluacin. La evaluacin 4

nomottica, cuyo referente es externo, puede ser referida a una norma la cual depende de la poblacin o grupo del cual forma parte el sujeto evaluado, o bien a un criterio establecido en algn programa educativo formal. Cuando la referencia es normativa, nos permite la comparacin del rendimiento de cada alumno con respecto al logrado por el grupo, entonces es comn escuchar que tal alumno tiene un rendimiento superior al rendimiento promedio de su grupo; o bien que un grupo especfico est una desviacin estndar por debajo del promedio nacional o estatal, ya que generalmente la norma representa la media de la poblacin evaluada y los puntajes de cada persona o grupo evaluado pueden distribuirse en torno a esta media en una distribucin normal. Si la referencia empleada es criterial, la interpretacin es independiente del nivel logrado por el grupo o poblacin a la cual pertenece el alumno o persona evaluada, en este caso el inters se centra en determinar el nivel de competencia del alumno con respecto a uno o msestndarespreviamentefijados.
Porsunormotipo Porsufuncionalidad Porsutemporalidad Porsusagentes Figura1.Tipologadelaevaluacindelaprendizaje Nomottica Normativa Criterial Ideogrfica Diagnstica Formativa Sumativa Inicial Procesual Final Autoevaluacin Coevaluacin Heteroevaluacin

Por otra parte si lo que se requiere es conocer la evolucin de cada alumno a lo largodesuprocesoeducativo,elcriteriocontraelcualcompararsuejecucinesinternoy es lo que se denomina evaluacin ideogrfica; la cual nos permite determinar los progresos que ha realizado cada alumno con respecto a su propia ejecucin, en otros cursos o momentos de un curso y comparar con ellos las nuevas adquisiciones. Esta historia personal o individualizada resulta esclarecedora respecto a las causas de cada situacin, en un momento dado y permite proyectar su posible evolucin en el futuro, as comodisearunprocesodeintervencinadaptadoycongarantasdeefectividad. Los ejemplos de su utilidad son especialmente evidentes en programas de educacin especial, o de preescolar; tambin en programas de educacin fsica en escuelas en donde cada alumno presenta diferencias muy significativas en cuanto a 5

niveles mnimos de condicin fsica presentados para poder iniciar el programa. En cada caso ser necesarioestablecerunprocesofinodeevaluacindiagnsticaparadeterminar losnivelesactualesderendimientoyconbaseenellosestablecerunplandeintervencin acorde a las capacidades de cada alumno para despus en un proceso de evaluacin continua comparar el rendimiento del alumno longitudinalmente verificando sus avances sincompararsudesempeocontracriteriosexternosalmismo. La dimensin de funcionalidad se refiere a la funcin que cumplir el procesoevaluativorespectoalalumno,determinaelusoquesehardelosresultadosdel mismo, generalmente en la bibliografa se encuentra ligada a la dimensin de temporalidad. De acuerdo con la naturaleza de la evaluacin como actividad proyectada sobre todos los componentes del proceso didctico, las decisiones tanto iniciales o diagnsticas, como continuoformativas y finales, se proyectarn sobre la misma funcin docente, la metodologa, los recursosylascircunstanciascontextuales.Sloatravsdela evaluacin sistemticamente utilizada y aprovechada es factible transitar con cierta seguridad tanto en los procesos de planeacin como de desarrollo del proceso educativo. La evaluacin se relaciona con la planeacin y la ejecucin como parte de un todo absolutamenteintegrado.

La evaluacin inicial o diagnstica proporciona informacin acerca de los conocimientos y las habilidades previas del sujeto. Debe considerarse siempre en trminos de su utilidad para facilitar adaptaciones constructivas de los programas educativosalosindividuos.Enestesentidocumpleconlafuncinreguladoraqueasegure que las caractersticas del sistema se ajusten a las de las personas a quienes se dirige; es decir que va a servir de base para adoptar decisiones relativas a la realizacin de actividades de apoyo, especficamente orientadas a la superacin de problemas que presente el alumno, o bien dar lugar a modificaciones especficas en otros componentes delaenseanzaenfuncindelosproblemasdetectados.

La evaluacin formativa o procesual cumple una funcin reguladora de los procesos de enseanza y de aprendizaje lo cual nos permite llevar a cabo ajustes y adaptaciones de manera progresiva durante el curso porque se centra ms que en los resultados del aprendizaje en los procesos que se ponen en juego para el logro de tales resultados. Slo centrados en los procesos podremos identificar reas de oportunidad para poder ofrecer una retroalimentacin apropiada a los estudiantes, de manera que ellos sepan qu es aquello que deben hacer o ajustar de su proceso para alcanzar los resultados esperados. Una estrategia de evaluacin formativa requiere un marco conceptualquepreciseyjustifiquelos: Losprocesosimplicadosenlasolucindediversastareas(anlisisdetareas) Lasdificultadespresentadasporlamayoradelosalumnosenelaprendizaje Mtodosytcnicasparaobtenerinformacindelosprocesosimplicados(mtodos cualitativosderecogidadeinformacin)

 Principios de interpretacin de esta informacin mediante marcos tericos apropiados Estrategiasderetroalimentacinoportunaalosalumnos Pasosaseguirenlaadaptacindeestosprocesosdeaprendizaje Laevaluacinfinalosumativaconstituyeunbalancegeneraldelosconocimientos adquiridos o de las competencias desarrolladas despus de que se ha operado un programa de intervencin educativa, se centra en los resultados del aprendizaje; es decir que se orienta a verificar el cumplimiento de los objetivos y estndares previamente determinados en el programa, y por lo tanto nos permite emitir un juicio de acreditacin acadmica. Tal funcin de control, obliga a que el tipo de evaluacin sea criterial en cuanto a su normotipo. Adicionalmente posibilita la comparacin de grupos y la conexin entre niveles secuenciados, por lo que exige un espectro amplio de conductas representativas y significativas del aprendizaje alcanzado. La informacin cuantitativa proporcionada por la evaluacin sumativa, permite adems cumplir con la funcin de controlyacreditacindelaprendizaje,imprescindibleparalaplaneacinysistematizacin delaprcticaeducativa. Una reflexin relativa a la dimensin de funcionalidad es la relativa a los procesos mixtos; es decir, en los que se combinan consecuencias de ambos tipos en la evaluacin se identifican recomendaciones de mejora, al tiempo que se utiliza la informacin para apoyar una decisin de carcter sumativa. Cualquiera de las finalidades implica toma de decisiones en cuanto a la intervencin educativa. Desde la diferenciacin realizada por Scriven (1967), los extremos de esta dimensin sumativo vs. formativo, se han tomado como elementos excluyentes. Desde la posicin de Jornet, Snchez y Leyva (2008), no se puedenentendertotalmenteas.Siasumimosalaeducacincomounprocesoquesedaa lo largo de toda la vida de la persona y en diferentes escenarios y situaciones educativas, es cierto que la intervencin educativa estar acompaada por procesos evaluativos en losqueseproducentantoactosorientadosalarendicindecuentascomootrosdirigidos alamejora. Enrelacinconlatipologaenfuncindelosagentes,Casanova(2007)refiereque la autoevaluacin se produce cuando el sujeto evala sus propias actuaciones, es un tipo de evaluacin que toda persona realiza a lo largo de su vida; en el caso que nos ocupa, es de suma importancia que el alumno realice de manera continua ejercicios de valoracin desuaprendizaje,demaneraqueleseaposibleidentificaraspectosquedebemejorar.En la medida en que un alumno logre contrastar sus avances contra estndares de actuacin establecidos, podr identificar reas de mejora, con lo cual estar en condiciones de regular su aprendizaje hacia el logro de competencias tiles para su desarrollo social y profesional. La coevaluacin, la describe como la evaluacin mutua, conjunta de una actividad o trabajo determinado realizado entre varios. En este caso, lo recomendable es que

despus de una serie de actividades didcticas, los participantes tanto alumnos como el profesor evalen ciertos aspectos que consideren importantes de tal actuacin conjunta. Generalmentetrasuntrabajoenequipos,demaneranatural,cadaunovaloraloqueleha parecido ms interesante de los otros, por ejemplo se puede valorar si las actividades resultaron atractivas, si el contenido del trabajo realizado es pertinente, si el nivel de colaboracinfacilitellogrodelosobjetivos,etc.;esmuyimportanteenlaconduccinde estos procesos de coevaluacin pedir a los alumnos que se centren en la valoracin tanto de los aspectos positivos o que ellos consideren como los ms destacados, como en aquellosqueesnecesariotrabajarmsparamejorarlacalidaddeltrabajodesarrolladoen conjunto. La heteroevaluacin consiste en la evaluacin que realiza una persona sobre el trabajo, actuacin o rendimiento de otra persona. Es aquella que habitualmente hace el profesor de sus alumnos. Dado que es un proceso importante e imprescindible de control en los esquemas y modelos educativos vigentes, rico por los datos y posibilidades que ofrece, delicado por el impacto que tiene en las personas evaluadas, y complejo por las dificultades tcnicas que supone la emisin de juicios de valor vlidos y objetivos; es queestamosproponiendoestaguaprcticaparaprofesores. Como nota complementaria a esta propuesta de tipologa de Casanova (2007) es importante sealar que los elementos sistmicos y holistas que se integran en la concepcin de la educacin, apuntan a que la finalidad de los procesos puede ser diferentesegnseanalicedesdeunauotraunidaddeanlisis.Porponerunejemplo;una prueba de seleccin o admisin constituye sin duda alguna una evaluacin sumativa para la persona que debe superarla, pero desde determinados modelos de gestin educativa puede entenderse como un acto orientado a la seleccin de estudiantes con el fin de asegurarunosnivelesmnimosdecompetenciaenaquellosquesonadmitidos,demanera que puede formar parte de una orientacin dirigida a la mejora de la gestin de la institucin. Este ejemplo ilustra que la finalidad depende del plano de la intervencin desdeelqueseanalice,enrelacinalaunidadaqueseimpute(estudianteoinstitucin), y del modelo de gestin que la utilice. Por ello, la catalogacin en los extremos de este continuo siempre se debe entender referida a la unidad objeto de anlisis y como un indicadordelatendenciadominanteenlafinalidaddelprocesoevaluativo. Una recomendacin especialmente til para la planeacin del proceso evaluativo, es el reconocimiento de lo que Jornet y Leyva (2008) definen como las dimensiones transversales, ya que son las que identifican caractersticas del escenario y situacin educativa en que se desarrolla la intervencin, tales dimensiones se refieren al grado o nivel educativo, la edad de los estudiantes (adultos, adolescentes o nios); la modalidad de entrega presencial o en lnea; entre otros. La multidisciplinariedad, junto a la variabilidad y diversidad del objeto de estudio en ciencias de la educacin, y la evidencia puesta de manifiesto por las necesidades sociales acerca de la utilidad de la intervencin, 8

han ido abriendo los marcos de referencia en que sustentar el anlisis de las diversas unidadesobjetodeevaluacin. La comprensin de la realidad con el fin de intervenir sobre ella, requiere de aproximaciones muy diferenciadas en cuanto al grado de formalizacin del conocimiento. En el caso de la evaluacin del aprendizaje, a un nivel macroanaltico, existe un mayor desarrollo terico que en el de las organizaciones educativas. Asimismo, hay zonas disciplinares de la evaluacin de la educacin, en cada una de las unidades objeto, que tienen mayor tradicin y desarrollo que otras. Por ejemplo, el desarrollo terico en el mbito de las aptitudes es mayor que en el de las habilidades sociales o que en el rendimiento. Este desarrollo tericometodolgico desigualen un momento en el queha sido muy importante la penetracin de los movimientos de calidad en diversas reas de las Ciencias Sociales, as como un planteamiento epistemolgico ms flexible, ha tenido como consecuencia que los referentes acerca de la calidad de los procesos de intervencin se incluyan como elementos que orientan laidentificacindeloscriteriosde interpretacindelosprocesosevaluativos(Jornet,SnchezyLeyva,2008). A manera de resumen de este muy breve marco terico, evaluar el proceso educativo que implica a la enseanza y al aprendizaje, significa interpretar los resultados obtenidos de la actividad que conjunta a profesores y alumnos en cuanto al logro de los objetivos de la educacin, sean stos referidos a conocimientos o al desarrollo de competencias, adems de que la evaluacin del aprendizaje como proceso sistemtico mediante el cual se recoge informacin acerca del aprendizaje del alumno, permite no slomejorareseaprendizajeydetectarelementosparaformularunjuicioacercadelnivel alcanzado, sino que tambin informa acerca de la calidad del aprendizaje logrado y de lo que el alumno es capaz de hacer con ese aprendizaje, aspecto especialmente til para el enfoqueorientadoaldesarrollodecompetencias. Como proceso sistemtico podemos considerar a la evaluacin como una serie de actividades planeadas con suficiente anticipacin que responden a intenciones claras y explcitas y que guardan una relacin estrecha y especfica con el programa escolar, con las actividades de enseanza y de aprendizaje y con las circunstancias en que se dan esas actividades. Las caractersticas del aprendizaje, las posibilidades del profesor y las circunstancias en que ha de desarrollarse la evaluacin, determinan cual es la estrategia ms adecuada, o simplemente posible, y a que nivel de rigor o complejidad puede llegarse. Lo que es realmente indispensable, es que el juicio de evaluacin no se base en impresiones subjetivas, situaciones excepcionales o aisladas, ni en informacin insuficiente,irrelevanteoaccesoria. Adems de la estrategia de recogida y anlisis de la informacin, los cuerpos colegiados o academias deben establecer los estndares de ejecucin esperados como resultado del anlisis y discusin de lo que persiguen los programas de intervencin, facilitando con ello una interpretacin adecuada del nivel logrado por los estudiantes.Los 9

estndares deben ser difundidos entre los estudiantes, de manera que el proceso de evaluacinseatransparente,justoyequitativo,sloaspodrsertilparaapoyarlatoma de decisiones de todos los usuarios: los propios estudiantes, los profesores y acadmicos tanto a nivel individual como colegiado, y para aquellos que asumen actividades de direccin en los centros escolares, lo cual en suma representa la creacin de una cultura delaevaluacin.

10

2.PlaneacindelaEvaluacindelAprendizaje
Resulta evidente bajo la perspectiva anteriormente sealada, que un proceso evaluativo requiere de una fase de planeacin la cual de acuerdo con estndares de calidad en la elaboracin de pruebas educativas y psicolgicas (APA, 1999) debe ser realizadaporacademiasogruposcolegiadosdeprofesoresdeunainstitucineducativaya sea que estos grupos se organicen por materia, semestre o por rea curricular especfica del plan de estudios. Un proceso de planeacin de la evaluacin requiere que tales academias o grupos colegiados conozcan el perfil de egreso y el plan de estudios o estructura curricular que gua y organiza las diversas materias o asignaturas, ya que debern realizar un anlisis de cmo contribuyen los programas de tales materias o asignaturasallogrodelascompetenciasexpresadasenelperfildeegreso. Este ejercicio de discusin y anlisis colegiado servir para llegar a acuerdos respectoaquevaluar,esdecirquedeberndecidircualeslainformacindedesempeo de los estudiantes que sirva de sustento para hacer inferencias acerca de los procesos y resultados de aprendizaje esperados, as como los niveles mnimos de desempeo o competencia que se exigirn de los alumnos. Para una revisin de lo que implica la evaluacin de competencias revisar el apunte de Evaluacin de Competencias de Leyva (2009). Una vez definido el qu evaluar, debern decidir el para qu evaluar, es decir la finalidad de la evaluacin y el uso que se har de los resultados del proceso, tambin debern llegar a acuerdos acerca de cules son las tcnicas e instrumentos ms apropiados de recogida y anlisis de la informacin y de cmo conviene interpretar los resultados. Antes de iniciar cualquier accin, es indispensable hacer las especificaciones pertinentes, para despus seleccionar los materiales que tengan congruencia con el plan preconcebido. El desarrollo del esquema requiere una detallada consideracin de los objetivos, enfoques y contenidos de las unidades de instruccin que contienen los programas de estudio. Un procedimiento recomendado por Gronlund (1982) es el de desarrollar una tabla de especificaciones, seguida de amplias categoras que pueden ser subdivididas de acuerdo con la naturaleza de la instruccin y la complejidad de sus finalidades,paraasegurarnosqueelcampohasidoadecuadamenteconsideradotantoen los contenidos como en el tipo de conducta que se debermanifestaroutilizar,dadoque de esta fase del proceso depende la validez de constructo y contenido del proceso evaluativo. La tabla de especificaciones rene informacin que nos permite verificar la congruenciainternadelprocesoevaluativo;yaquecomoresultadodelanlisisydiscusin colegiada de los profesores, se redactarn indicadores de aprendizaje que en su conjunto renan la evidencia suficiente del desarrollo de competencias y del grado de cumplimientodelosobjetivosopropsitosexpresadosenlosprogramasdeestudiodelas 11

asignaturas. Una expresin adecuada del enunciado de cada indicador de aprendizaje, debe comprender tres elementos: a) la conducta o ejecucin especfica que debe exhibir el estudiante, la cual se relaciona directamente con el proceso o resultado de aprendizaje a inferir; b) las condiciones en que deber manifestarse tal conducta o ejecucin, y c) el estndaronormadeejecucinaceptable. Laeducacinformal,seguaporprocesosclaramenteorganizadosporuncurrculo o plan de estudios y programas de estudio de las asignaturas o materias que integran las diferentes lneas curriculares del plan; por lo que podemos partir de los objetivos y de los contenidosdecadaunadelasunidadesdeinstruccindesglosadasportemasysubtemas en el caso de planes diseados por objetivos; o bien las competencias a lograr junto con suscomponentesdeclarativos,procedimentalesyactitudinales.Cuandoestosnoexisteno no estn actualizados, se debe iniciar desde un perfil referencial de validez, con el subsecuente desglose de objetivos y contenidos necesarios para especificar lo que se deseaevaluar. Una forma apropiada de hacer un plan detallado de evaluacin o tabla de especificaciones consiste en redactar, por cada unidad temtica del programa, o competencia, una serie de indicadores especficos que se aceptarn como evidencia de que se han logrado los resultados de aprendizaje propuestos, en el nivel de profundidad deseado. Para elaborar esta tabla de especificaciones es conveniente el uso de algn sistema de clasificacin de tales indicadores de aprendizaje de acuerdo con el grado de profundidad y alcance que se espera lograr en cada programa,cuidandoqueelenfoquey propsito general de la materia o asignatura en cuestin, quede adecuadamente representado,paralocualserecomiendaelusodeunataxonoma. Para esta parte del diseo se recomienda una taxonoma de objetivos educativos acorde con los descubrimientos ms recientes en materia de procesos implicados en el aprendizaje.Paratalpropsitoserealizunarevisinyanlisisdediversastaxonomasen la literatura especializada. Entre las ms conocidas se encuentran las publicadas por Bloom (1956), Gagn (1972), Tuckman (1979), Merril (1994), Haladyna (1997), Marzano (2000, 2006); aunque existen otros enfoques diferentes o complementarios. Como resultado de tal revisin, para esta gua prctica propongo utilizar la taxonoma de Marzano (2000, 2006) la cual ha resultado ser til y congruente con los modelos educativos actuales basados en competencias tanto de nivel medio superior como en diversascarrerasdeeducacinsuperior. Marzanodesarrollasupropuesta,apartirdeunanlisisdelataxonomadeBloom, principalmente de sus debilidades. Para su integracin, rescata aquellos aspectos an vigentes de la taxonoma publicada por Bloom en 1956, incorporando los avances de los ms de 40 aos posteriores a su publicacin. Cabe hacer un parntesis y sealar cules sonlascrticasmscomunesalataxonomadeBloom,yenqueconsisten;unadeellases que se sustenta en una concepcin del aprendizaje a un nivel unidimensional, asumiendo el constructo de complejidad como nico elemento para separar los niveles del dominio 12

cognoscitivo, otra crtica relacionada con este constructo, es acerca de la estructura jerrquica que presupone que aquellos niveles subordinados involucran menor nivel de complejidad de los procesos cognoscitivos inherentes. Ambas caractersticas de la taxonoma no se pueden sostener desde los descubrimientos actuales de investigacin bsicadelosprocesoscognoscitivosenelhombre(Furst,1994). Estas crticas se sustentan en el principio bsico de que la dificultad de un proceso mental es una funcin de al menos dos factores: la complejidad inherente al proceso en trminos de los pasos involucrados en el procesamiento de la informacin y en el grado de familiaridad con el proceso. La complejidad de un proceso mental es invariante, es decirqueelnmerodepasosysusrelacionesnocambian,noobstantelafamiliaridadcon el proceso puede cambiar a lo largo del tiempo. A mayor familiaridad con un proceso se asociaunmenortiempodeejecucinyunamayorfacilidadenlamisma.Enconsecuencia no es conveniente ordenar jerrquicamente los procesos mentales en funcin de su complejidad, resulta ms efectivo ordenarlos en trminos de control, ya que actualmente sabemosquealgunosprocesosejercenuncontrolsobrelaoperacindeotrosprocesos. El modelo terico en que se sustenta la taxonoma, es propiamente una teora del pensamiento humano, y no una estructura como en el caso del sustento de la taxonoma de Bloom. Tcnicamente los modelos y las teoras son sistemas que permiten predecir fenmenos, mientras que una estructura representa conjuntos organizados de principios que describen caractersticas de un fenmeno dado pero no necesariamente permiten la prediccin del fenmeno. La propuesta de Marzano (2000, 2006) consta de tres sistemas de conocimiento interrelacionados: selfsystem o sistema de autoconciencia, que integra autoeficaciaymotivacin;elsistemametacognitivoyelsistemacognoscitivo. a) El sistema denominado selfsystem consiste en una red de creencias y metas interconectadas que permiten emitir juicios acerca de la conveniencia de involucrarse en una nueva tarea. Este sistema es tambin un primer determinante de la motivacin que uno desarrolla frente a la tarea. Si una tarea se considera comorelevanteoimportante,silaprobabilidaddexitopararesolverlaesaltaysi existe algn efecto positivo asociado a ella, el individuo estar motivado a comprometerseconlatarea. b) El sistema metacognitivo acta una vez que la tarea se ha seleccionado, es responsable de establecer metas relacionadas con la nueva informacin y de disear estrategias para alcanzar las metas. Una vez activado el sistema metacognitivointeractademaneracontinuaconelsistemacognoscitivo. c) El sistema cognoscitivo cuya funcin es propiamente el procesamiento de informacin fundamental para el logro de la tarea, es el responsable de las operaciones analticas tales como hacer inferencias, comparar y clasificar informacinentreotras.

Esta teora de aprendizaje, permite el diseo de un sistema jerrquico del pensamiento humano desde la perspectiva de dos criterios: el flujo de informacin y el 13

nivel de control de los procesos involucrados. En trminos del flujo de informacin, el procesamiento de la informacin siempre inicia con el sistema de autoeficacia, prosigue con el sistema metacognitivo y finaliza con el sistema cognoscitivo, es decir que los tres sistemas representan una organizacin jerrquica en trminos del flujo de la informacin. Ademsdequeelestatusdelosdiversosfactoresdentrodeunsistemacontrolaelestatus delosdiferentesfactoresdentrodelosdemssistemas. Por ejemplo si dentro del sistema de autoeficacia no existen creencias que concedanimportanciaalatarea,osepiensaquetienepocasprobabilidadesdelograruna ejecucin aceptable, el individuo no se involucrar en la tarea o su nivel de compromiso ser mnimo o de baja motivacin. Adems, an si la tarea se percibe como importante y el sujeto piensa que puede realizarla, pero el sistema metacognitivo no establece metas claras o no existe un monitoreo efectivo, la ejecucin de la tarea puede fallar. Finalmente an cuando funcionen bien todas las operaciones de los dos primeros sistemas, pero el procesamientodelainformacindentrodelsistemacognoscitivonooperaefectivamente, latareanosecompletar. Adicionalmente estos tres sistemas tambin tienen una jerarqua relativa al nivel de conciencia requerida o recursos de procesamiento conciente para controlar la ejecucin. Es decir que en el sistema de autoeficacia los procesos para establecer la relevancia, eficacia y motivacin hacia la ejecucin de una tarea, representan un nivel de introspeccin y pensamiento conciente mayor que aquel involucrado en los procesos metacognitivos de establecimiento de metas y monitoreo conciente. Finalmente en el sistema cognoscitivo, los procesos de utilizacin de la informacin son los que requieren mayor grado de pensamiento conciente en su ejecucin, seguidos de los de anlisis, comprensinyporltimolosderecuperacinquepuedendarsedemaneraautomtica.

En el caso de la elaboracin de pruebas educativas realizadas a partir de reactivos de opcin mltiple, para evaluacin sumativa, una vez que se redacten los indicadores de aprendizaje acordes a los objetivos o competencias que se desea evaluar, se deben realizar ponderaciones por rea, ya que la tabla de especificaciones cumple una doble funcin: a) sirve de gua a los redactores de reactivos acerca de la naturaleza de la evidencia que se desea recuperar para verificar si el sujeto evaluado tiene el nivel requerido de conocimientos o competencias y b) permite obtener validez de contenido y constructo al verificar la congruencia entre los reactivos elaborados y los indicadores de aprendizaje planteados. Adicionalmente la ponderacin nos indica el esquema de muestreo ms apropiado para evaluar el universo de conocimientos y habilidades con base en un anlisis de relevancia, garantizando que tal muestreo sea representativo para poderemitirjuiciosvlidosapartirdelosresultadosdelaaplicacindelaspruebas. En la tabla 1, se presenta un resumen de la taxonoma que Marzano public en 2000 la cual mantiene en la segunda edicin publicada en 2006, con una descripcin de cadaunodelostressistemasyporcadaniveldeestossistemas. 14

Tabla1.TaxonomadeObjetivosEducativos Lostressistemasdepensamiento
Nivel6:SelfSystem Examinandorelevancia Examinandoeficacia Examinandorespuesta emocional Examinandomotivacin Descripcindelosobjetivos Identificalaimportanciadelconocimientoyelrazonamientoquesubyaceasu percepcin Identificalascreenciasacercadesuhabilidadparamejorarsucompetenciao comprensindelconocimientoyelrazonamientoquesubyaceaestapercepcin Identificarespuestasemocionalesalconocimientoylasrazonesdeestasrespuestas

Identificasuniveldemotivacinparamejorarsucompetenciaocomprensin relativaalconocimientoylasrazonesdeesteniveldemotivacin Nivel5:SistemadeMetacognicin Especificacindemetas Estableceunplandemetasrelativasalconocimiento Monitoreodeprocesos Monitorealaejecucindelconocimiento MonitoreodeClaridad Determinaelgradoenelcualtieneclaridadacercadelconocimiento Monitoreodeexactitud Determinaelgradodeexactituddelconocimiento SistemaCognoscitivo Nivel4:Utilizacindelconocimiento Tomadedecisiones Usasuconocimientoparatomardecisionesopuedetomardecisionesacercadeluso desuconocimiento Solucindeproblemas Usasuconocimientopararesolverproblemasopuederesolverproblemasacercade suconocimiento Cuestionamiento Usasuconocimientoparageneraryprobarhiptesisogeneraypruebahiptesis experimental acercadesuconocimiento Investigacin Usasuconocimientoparaconducirinvestigacionesopuedeconducirinvestigaciones acercadelconocimiento Nivel3:Anlisis Empate Identificaimportantessimilitudesydiferenciasentreelconocimiento Clasificacin Identificacategorassuperordinadasysubordinadasrelacionadasconel conocimiento Erroresdeanlisis Identificaerroresenlapresentacinousodelainformacin Generalizacin Construyenuevasgeneralizacionesoprincipiosbasadosenelconocimiento Especificacin Identificaaplicacionesespecficasoconsecuenciaslgicasdelconocimiento Nivel2:Comprensin Sntesis Identificalaestructurabasedelconocimientoylascaractersticasocomponentes crticosdelosquenoloson.Extraelaesenciadelainformacingenerandouna macroestructura. Representacin Reconocecaractersticasdeinformacinycreaunanlogosimblicodela informacincontenidaenunamacroestructura.Lainformacinpuedeserprocesada endosmodosprimarios:lingsticoodeimgenes. Nivel1:Recuperacin Recuerdo Reconocecaractersticasdeinformacin,aunquenonecesariamenteentiendela estructuradelconocimientoopuedediferenciarcomponentescrticos. Ejecucin Ejecutaunprocedimientosinerroressignificativosperononecesariamenteentiende cmoyporqufunciona.

15

En esta propuesta taxonmica, a diferencia de la propuesta publicada por Bloom, Marzano divide de manera clara el dominio del conocimiento y las operaciones mentales, al postular tres sistemas de pensamiento que operan con tres dominios de conocimiento. En la tabla 2, se presenta una sntesis de tales dominios del conocimiento con sus componentes, una descripcin para cada componente y un ejemplo. Es importante destacarquedentrodecadadominio,existeunordenjerrquicoquetienequeverconla complejidaddecadacomponente. Tabla2.Componentesdelostresdominiosdeconocimiento
DominiodeInformacin Componentes Vocabulario Descripcin Ejemplos Significadodetrminosaunnivel Elsignificadodeltrmino generalymuchasvecessuperficial. democraciasinlosdetallesdesus implicacionesendiversoscontextos. Contieneninformacinespecfica Lascaractersticasdeunlugar: acercadepersonas,lugares,cosas ChetumaleslacapitaldeQuintana yeventos. Roo. Eventosimportantesqueocurren Loseventosqueocurrenentreel entredospuntoseneltiempo. iniciodeunacampaapolticaylas eleccionespresidencialesenun pas. Involucraneventosqueproducen Organizacindesecuenciascausales unproductoounefecto. dealgneventohistrico. Comnmentelosefectostienen Secuenciadelosprocesosde redescomplejasdecausas. divisincelular. Eventosespecficosqueocurrenen Undebatepolticoentrecandidatos undeterminadotiempoylugar, delospartidospolticos,previoalas entrepersonasespecficasycon eleccionespresidencialesdeun secuenciasdetiempoycausales pas. particulares. Sondeclaracionesdecarcter Elamoresunadelasemociones general,representanabstracciones humanasmspoderosas. queidentificanclasesocategoras depersonas,lugaresosituaciones. Tiposespecficosde generalizacionesqueserefierena relacionescausaleso correlacionales. Causal:Latuberculosisesproducida porunabacteriadenominada tuberclebacillus Correlacional:Lasciudadescon mayordensidaddepoblacin presentanndicesdecriminalidad elevados.

Detalles

Hechos

Secuenciasde tiempo

Secuenciascausa efecto

Episodios

Ideas organizadas

Generalizaciones

Principios

16

Dominiodeprocedimientosmentales Componentes Reglassimples Habilidades Descripcin Ejemplos Eseltipomssimple,consistede Elprocedimientopararealizaruna unaproduccinsi(unasituacinX) restaentredosnmeros entoncesejecutalaaccinY)yse naturales. empleanenlospasosdealgn procedimiento Procedimientosmentalesque Obtenerlamediaaritmticaola normalmentenopresentanvariantes varianzadeungrupodedatos. ensuaplicacin,tienenresultados especficosyunnmeroespecfico depasos. Consistenenlaproduccindeun Interpretacindeungrficoque patrngeneralenelcualse presentaunafuncinentre incorporanreglasgenerales,nohay variables. unordenonmerodepasosrgido. Tcnicamenteserefierena Elaborarunplande procedimientosmscomplejoscon mercadotecniadealgnproducto variossubcomponentesyque oservicio. requierenalgunaformade administracinycontrol. Dominiodeprocedimientospsicomotores Descripcin Estosprocedimientossedesarrollan generalmentesinunainstruccin formal,noobstantepueden mejorarse,porloquepueden clasificarsecomotiposde conocimientoenlamedidaenque sonhabilidadesaprendidas. Ejemplos Fuerzaesttica Equilibriocorporal Velocidaddemovimientos Velocidaddedigitacin Destrezadigital Destrezamanual Estabilidad,uniformidady consistenciabrazomano Control,precisin Involucrapasosdeunprocedimiento Lanzaruntirolibreenbasquetbol enelcualactanprocedimientos bsicosenparalelo. Conjuntoorganizadode Extraerunapiezadental. procedimientoscomplejosparael Conducirunaeroplanoendiversas logrodeunametaespecfica. condicionesclimticasyde visibilidad.

Algoritmos

Tcticas

Procesos

Procedimientos macro

Componentes Procedimientos bsicoso Habilidades fundamentales

Procesos

Combinaciones simplesde procedimientos Combinaciones complejasde procedimientos

Aslosprocesosmentalesquesubyacenalossistemasdepensamientointeractan de diversas maneras con los tres dominios de conocimientos, los cuales pueden clasificarse en tres categoras generales: a) el dominio de la informacinque se refiere al conocimiento declarativo; y aquel que se conoce como conocimiento procedimental: b) el dominio de procedimientos mentales y c) el de los procedimientos psicomotores. Dado que estos tres tipos de conocimiento son muy diferentes, resulta conveniente pensar en elloscomodominiossobrelosqueactanlostressistemasdelpensamiento. Ejemplos: 17

 Ejemplo1.Tabladeespecificacionesparaevaluarhabilidadeslectoras
Competenciapara lacomunicacin escrita. Bloquesorasgosde competencias Comprensin lectoradetextos informativos, cientficosy literariostanto continuoscomo discontinuos. Evidencia necesaria para verificar que se Nivelesde desarroll la competencia a evaluar. Se deben complejidad enunciar tantos indicadores como el grupo sugeridos colegiadodeterminequeessuficiente. 1.Recuperacin 2.Comprensin 3.Anlisis 4.Utilizacindel conocimiento 5.Metacognicin 6.Autoeficacia
Ponderacin

1 2 Identificalasideascentralesdediversostiposde X textos Identificaelpropsitodediversostiposde textos Diferencialospropsitosdediversostiposde texto. Relacionaciertasideascontenidaseneltexto paraobtenerinformacinquelepermite comprobarhiptesis. Elaborainferenciasapartirdelacomparacin dedistintasfuentes. Reconocesusaciertosysusfallasenla comprensindediversostiposdetexto. Reconocesusinteresesygustosentrelos diversostiposdetextos. Precisineneluso Seleccionalaspalabrasadecuadasdeacuerdoal X delvocabularioyen contexto elusodelas Identificaelsignificadodepalabrasy X estructuras expresionesapartirdelcontexto lingsticasenla Aplicalasmetforasdemaneraadecuaday comunicacin acordealcontextoendiversassituaciones. escrita. Aplicaadecuadamentelasreglasde concordanciaentreadjetivoysustantivoyentre verboysustantivo Aplicalostiemposverbalescorrectamentede acuerdoconelmensajeacomunicar Detectasuserroresgramaticalesysemnticos ensusescritos. Redaccindetextos Completaoracionesqueemitenunmensaje X informativosy claroyespecfico. cientficos. Diferenciaoracionesprimariasysecundariasde unprrafoapartirdelaintencincomunicativa. Establecenexosentrelosprrafosdeuntexto conunaintencincomunicativaclarayexplcita. Jerarquizaenunordenlgicoloselementosa comunicar(planderedaccin) Reconoceycorrigefallasdetectadasensus escritos.

Indicadoresdeaprendizaje

3 4 5 6 Dominio X X X
S.Causa efecto Episodio Generaliz . Proced. macro Proced. macro Proced. macro macro

50%

30%

X X

X Proced.
Tcticas S.Causa efecto Proced. macro Algoritm.

X X

Algoritm. Proced. macro S.Causa efecto S.Causa efecto S.de tiempo Proced. macro Proced. macro

X X

20%

100%

Ejemplo2.Tabladeespecificacionesparaevaluaruncursodematemticas 18

Competenciasenla solucinde problemasmediante elusodelas Matemticas

Evidencianecesariaparaverificarquese Nivelesdecomplejidad desarrolllacompetenciaaevaluar.Se sugeridos debenenunciartantosindicadorescomoel grupocolegiadodeterminequees suficiente.

1.Recuperacin 2.Comprensin 3.Anlisis 4.Utilizacindel conocimiento 5.Metacognicin 6.Autoeficacia

Dominio
Ponderacin

Bloquesorasgosde competencias Usodelas operaciones numricasbsicas.

Indicadoresdeaprendizaje Aplicalosalgoritmosdelasoperaciones bsicasenlasolucindeejercicioscon nmerosenterosyfraccionarios. Aplicalajerarquadelasoperaciones bsicasconenterosyfracciones. Encuentraelmnimocomnmltiployel mximocomndivisor. Identificasustiposdeerroresenlasolucin deoperacionesconnmerosenterosy fracciones. Aplicalasleyesdelosexponentesen operacionesaritmticas. Conviertedelanotacinderadicalala notacindepotencia Aplicalasleyesdelosradicales Identificaycorrigesuserroresenla aplicacindelasleyesdelosexponentes. Reconocesuscapacidadesparaelusode operacionesconpotenciasyraces. Traducelospolinomiosdellenguajecomn alalgebraicoyviceversa. Estableceenformaalgebraicalasrelaciones entredatosatravsdepolinomios. Identificatrminossemejantesenlos polinomios Identificaeltipodeerroresquecometeen latraduccinyestablecimientode relacionesentrelospolinomios. Planteamedianteellenguajealgebraicoun problemaparasusolucin. Establecerelacionesentrevariablesdeun problemamedianteellenguajematemtico. Seleccionaalternativasviablesdesolucina problemasplanteados. Solucionaproblemasmedianteelusodelas matemticas. Corrigelassolucionesdadasadiversos problemasplanteadosmediantela identificacindeltipodeerrorquecometi. Identificasusinteresesygustosporlas matemticasylasolucindeproblemas.

1 X

Algoritmo

20%

X X

Algoritmo Reglas simples Proced. macro Algoritmo Algoritmo Reglas simples Algoritmo Proced. macro Tcticas Tcticas Reglas simples Tcticas

Usodelas operacionescon potenciasyraces.

X X X X X

X X

20%

Traducciny operacionescon polinomios

20%

Solucinde problemasmediante elusodelas matemticas.

X X

X X

Tcticas Proced. macro Proced. macro Proced. macro Proced. macro Proced. macro

40%

19

3.Tcnicaseinstrumentosderecogidade datosparalaevaluacinformativa
Para la evaluacin formativa, se recomienda obtener toda la informacin necesaria para regular el proceso educativo en el aula, por lo que se sugiere seleccionar entre las diversas tcnicas disponibles para recabar la informacin necesaria acerca del progreso y dificultades quelosalumnosenfrentanenelprocesodeaprendizaje,ascomo desarrollar los instrumentos que resulten ms apropiados para registrar y analizar dicha informacin. Casanova (1998, 2007) presenta un paradigma evaluador para la evaluacin formativa centrado en tcnicas cualitativas de recogida de informacin, el cual se representaenelesquemapresentadoenlafigura2.

Figura 2. Paradigma de evaluacin formativa

En el proceso de planeacin de la evaluacin una vez definido el propsito de la misma y los indicadores de aprendizaje a evaluar, se requiere decidir cules son las tcnicas e instrumentos ms apropiados a estos propsitos y al uso que se har de los resultados del proceso evaluativo, si el propsito es formativo, se recomienda como lo seala Casanova (1998; 2007) un paradigma cualitativo que permita recoger informacin de los procesos, por lo que se requiere integrar diversas tcnicas e instrumentos como parte de una estrategia que adems permita la triangulacin de fuentes de informacin paralainterpretacinylainferenciadeprocesosdealtoordenasociadosalaprendizaje.

20

Nosetrataslodereunirmuchainformacin,serequieretenerunaestrategiaque permita integrar la informacin en un todo coherente que apoye la toma de decisiones continua y oportuna para ir ajustando la intervencin educativa hacia el logro de los propsitos o desarrollo de las competencias. Para plasmar la informacin obtenida mediante las tcnicas que se apliquen, es muy importante contar con instrumentos o registrosadecuadosacadatcnicaparadargarantaderigurosidadysistematicidad.

Figura3.Instrumentosderegistrodeinformacin

Conviene tambin una revisin a la propuesta de Tenbrink (1997) relativa a tcnicas e instrumentos para la evaluacin de aspectos del desempeo que requieren la observacin de procedimientos psicomotores en tiempo real, o bien la evaluacin de los productos derivados del desempeo de alguna actividad y para la evaluacin de actitudes y otros rasgos sociopersonales; aspectos implicados en el concepto de competencia (Leyva,2009). Los instrumentos ms comunes que sirven para observar de manera sistemtica el rendimiento y la ejecucin de los estudiantes, as como aspectos o rasgos socio personales y de actitudes, son las listas de control, tambin llamadas listas de cotejo y las escalasdeevaluacin. Paralaconstruccindelistasdecontrolvlidas,fiablesyfcilesdeusarserequiere: 1. Especificarunaejecucinoproductoadecuado 2. Enumerar las conductas o caractersticas ms importantes para verificar si se producen 3. Aadircualquiererrorcomn 4. Ordenarlalistadeconductasocaractersticasenelordenenqueseproducen 5. Ofrecerunmododeutilizarlalista 21

 Las escalas de evaluacin, son variantes de las listas de control en el sentido de su finalidad y construccin; no obstante tienen la ventaja de que nos permiten formular juicios sistemticos acerca del grado en el que se presenta algn comportamiento o caracterstica relacionado con el desempeo a observar. Consisten en un conjunto de caractersticasajuzgaryalgntipodejerarqua,yelobservadorusalaescalaparaindicar lacualidad,cantidadonivelderendimientoobservado. Ambos tipos de instrumentos son tiles porque ayudan al observador a centrarse enaspectosespecficos,observablesdelelementoquesejuzga,demaneraquecuandose usa con un grupo de estudiantes, todos sern juzgados desde un marco de referencia comn,loqueofreceobjetividadyconfiabilidad;siempreycuandosepongacuidadoenla enumeracin de las caractersticas o elementos; y en el caso de las escalas de evaluacin, la escala est bien diseada. Tenbrink (1997) ofrece algunas recomendaciones tiles para suconstruccinentrminosdeaquelloquesepretendeevaluar: En el caso de la evaluacin de procedimientos como cantar, tocar un instrumento, dibujar, dirigir una discusin, debatir, usar una sierra, jugar tenis, sacar una muela, etc.; para enunciar los pasos del procedimiento es comn preguntarnos Qu comportamientos importantes muestran las personas que pueden ejecutarlo con xito? Si lo que est sujeto a evaluacin es un producto; como una pintura, un proyecto, un guin, un plano, una maqueta, una escultura, un plan de clase, etc.; para la enumeracin de elementos a juzgar, conviene dar respuesta a la pregunta Qu aspectos son caractersticosdelaaltacalidaddeproductosdeestetipo?Finalmentesiloqueesobjeto de estudio es algn rasgo sociopersonal o actitud como extroversin, veracidad, paciencia, cooperacin, educacin, generosidad, etc.; en este caso la pregunta pertinente es Qu aspectos o acciones importantes se asocian comnmente a esta actitud o rasgo sociopersonal? Una vez enumeradas las caractersticas o elementos a juzgar, en el caso de las escalasdeevaluacin,esmuyimportanteladefinicindelaescalademedicinparacada elemento o caracterstica enunciada. Aunque una escala define un continuo de fondo, en realidad marcamos ciertos hitos que no necesariamente representan unidades significativas; es decir que no podemos asumir que todas tengan el mismo valor y que la distancia entre cada una de ellas sea igual, como sucede con escalas para medir alguna magnitud fsica. No obstante, en el momento de construir una escala podemos representar grficamente distancias iguales entre los valores adoptados. Una recomendacin til para definir estos valoresconsisteenprimerodefinirlosextremosdel continuoyenseguidalospuntosintermedios,normalmenteseusanescalasimpares(3a5 niveles),siemprequesepuedadetectarunpuntoneutroounpuntomedioclaroentrelos dosextremos. Los tres tipos ms comunes de escalas son la numrica, la grfica y la descriptiva; aunque a veces se usan combinaciones de ellas. La escala descriptiva implica una 22

descripcin verbal ms completa de los puntos a lo largo del continuo. Presentamos a continuacin algunos ejemplos de escalas; las de la figura 4 son ejemplos de escalas numricas y representan grados o frecuencias; mientras que en la figura 5, presentamos unaescalagrficayunadescriptiva.

Figura4.Escalasdeevaluacinnumricas

La escala descriptiva ha probado ser de gran utilidad para procesos de evaluacin formativa ya que permite comunicar con mayor claridad a la persona evaluada acerca de susituacinrespectoacadaelementodesuejecucinodesempeo.

Figura5.Escalasdeevaluacingrficaydescriptiva

Para ser congruentes con los aspectos tericos acerca de lo que significa la evaluacin del aprendizaje, los procedimientos de evaluacin deben contribuir al aprendizaje del estudiante y no slo medirlo, adicionalmente el aprendizaje que se requiere para el desarrollo de competencias profesionales tanto genricas como especficas a algun campo profesional de la educacin superior es complejo y multidimensional por lo que requiere valorarse a travs de mltiples formas (Murphy, 2006) aspecto que adems requiere de estrategias de triangulacin para el anlisis de la informacin como se advierte en el paradigma propuesto por Casanova (2007) representadoenlafigura2. 23

Laevaluacindecompetencias Hemoscomentadoya,quelasociedadmodernadelegaenlaeducacinsuperiorla funcindedesarrollarenlosestudiantesaquellascompetenciasquelepermitanactuarde manera eficaz y responsable en dicha sociedad (Yniz y Villardn, 2006). La necesidad de ajustar los resultados pretendidos con lo evaluado requiere reflexionar acerca de la concepcin de competencia como resultado de aprendizaje, para ms informacin es conveniente revisar la concepcin ms actualizada de competencia en el marco de la educacin superior que presento en (Leyva, 2009). En este espacio slo comentaremos que: En primer lugar la competencia supone la adquisicin de conocimientos, habilidades y actitudes, por lo que es necesario recuperar evidencias de los tres tipos de adquisiciones. En segundo lugar la competencia supone la movilizacin estratgica de estos elementos como recursos disponibles y necesarios para dar respuesta a una situacin determinada en un contexto especfico, por lo cual se requiere constatar la capacidad de movilizarlosrecursosdeformaeficazyticaparaatenderaunademanda. En tercer lugar la competencia se demuestra haciendo, por lo que requerimos recoger evidencias de desempeo a partir de actividades planeadas que pongan en juego talescompetencias. Encuartolugareldesarrollodecompetenciasesunprocesodeaprendizaje,locual permite aprovechar las potencialidades de la evaluacin para favorecer el logro de los objetivosformativos. DeacuerdoconYnizyVillardn(2006)laevaluacinenlaformacinuniversitaria cumple dos funciones fundamentales: la funcin sumativa de certificacin de unos aprendizajes exigidos y la funcin formativa para favorecer el logro de dichos aprendizajes. Es decir que refiere a la evaluacinensufuncinsumativacomoevaluacin de competencias y en su funcin formativa como evaluacin para el desarrollo de competencias. Esta concepcin enlaza adems con el concepto de evaluacin autntica, perspectiva que enfatiza el hecho de que una evaluacin debe reflejar los desafos, el trabajoylosestndaresvigentesenelejercicioprofesionaldemaneraquecomprometaal alumno en forma interactiva con oportunidades para explicar, dialogar e investigar (Wiggins,1989).Talenfoquedeevaluacinrequierequeelalumnoacteeficazmentecon el conocimiento adquirido, en un amplio rango de tareas significativas para el desarrollo decompetenciasquepermitanensayarlarealidadcomplejadelavidasocialyprofesional.

24

La competencia no puede ser observada directamente en toda su complejidad pero puede ser inferida a partir del desempeo, lo que lleva a pensar en los tipos de actuaciones que permitan reunir evidencia suficiente para hacer juicios razonables acerca deloslogrosdecadaestudianteenrelacinconlosresultadosdeaprendizajepretendidos yclaramenteespecificados,locualayudaalospropiosestudiantesalacomprensindelo queseesperadeellos,alavezquesirveparainformaraotraspersonasinteresadassobre elsignificadodeunacalificacindeterminada(YnizyVillardn,2006). Elportafoliosdeevaluacin Una de las herramientas en el contexto educativo que est experimentando un notable aumento en su utilizacin como sistema de evaluacin ligado a la intervencin educativa, es la prctica del portafolios de evaluacin, lo cual representa un indicador de la bsqueda de mejoras en el contexto educativo y responde a la necesidad de subsanar algunas de las deficiencias cruciales derivadas de un modelo de enseanza ms esttico y enciclopdico,queunconocimientoflexibledetipocondicional(Barber,2005). El concepto del portafolios de evaluacin existe desde hace tiempo en numerosos mbitos;artistas,arquitectos,fotgrafos,diseadoresgrficoslosusanparapresentarsus trabajos a clientes potenciales. En educacin son un fenmeno relativamente reciente y hasta ahora es que se empieza a explorar su potencial. A principios de los noventa se hablabadesuusoprincipalmenteenreferenciaalaevaluacin(Polin,1991). Unportafolioesunregistrodelaprendizajequeseconcentraeneltrabajodelalumno yensureflexinsobrelastareasoactividadesimplicadasparasudesarrollo;medianteun esfuerzo cooperativo entre el alumno y el docente, se rene material indicativo del progreso hacia los resultados esenciales esperados (National Education Association, 1993). Usados en el marco de la evaluacin, los portafolios son colecciones sistemticas realizadas por alumnos y docentes que sirven como base para examinar los logros, los progresos, los procesos, las actitudes y el esfuerzo adems de satisfacer las exigencias de responsabilidad habitualmente alcanzadas por procedimientos de prueba ms formales (Johns,1992)locualloshacepertinentesparaenfoquesmixtos. Aunqueexistendiferenciasdenfasisenlasdefinicionesdeportafolios,lamayora compartenciertascaractersticasesenciales: 1. Consisten en colecciones de la tarea de los alumnos, una serie de trabajos producidos porcadaunodeellos. 2. Lascoleccionessondeliberadasynoazarosas 3. Esunamuestradelostrabajosreunidosconunpropsitodeterminado. 4. Incluyen la oportunidad que tienen los alumnos de comentar su trabajo o reflexionar acercadel.

25

Lo cierto es que el uso del portafolios de evaluacin ha probado ser una herramientamuyvaliosadeevaluacintantosumativacomoformativa,siempreycuando se incorpore de forma planificada en el proceso de enseanza y aprendizaje; su uso tiene muchas implicaciones psicopedaggicas ya que coadyuva tanto al fortalecimiento de las capacidades cognoscitivas de los alumnos, como a las metacognitivas, es decir de autorregulacin de su proceso de aprendizaje. Esto es debido a que el portafolios promuevequeelestudiante,medianteladocumentacindeevidenciasdesuaprendizaje, haga un seguimiento y reflexin de su propio desempeo, y con ello la evaluacin continua a lo largo del tiempo, brindando informacin til para la identificacin de sus logros y fallas, con lo cual se facilita el ajuste progresivo de sus estrategias y hbitos de estudio. Deacuerdoconalgunosinvestigadoresydocentes(Agra,GewercyMontero,2003; SedaSantana,2002;Barber,2005;Barragn,2005;ArraizySabirn,2005),laestrategia de portafolio puede servir principalmente para involucrar a los alumnos con el contenido del aprendizaje, promover las habilidades de lareflexinylaautoevaluacin,documentar su aprendizaje en reas que no se prestan a la evaluacin tradicional y facilitar la comunicacin de los logros de los alumnos ante diferentes audiencias. Consecuentemente,elnfasisrealizadoenlaprcticahabitualdelportafoliosproporciona unos buenos hbitos cognitivos y sociales en los alumnos. En esta mayor participacin en su propio proceso de aprendizaje, el alumno tambin aprende a responsabilizarse de la direccin que toma su educacin, del nivel de profundizacin con el que decide tratar los contenidosydeloslogrosconseguidos. Atendiendo a la necesidad que se tiene de contar con enfoques mixtos que por un lado favorezcan el valor estratgico de la evaluacin formativa a la vez que se apoyen los juicios de acreditacin acadmica que todo sistema educativo formal demanda como parte de su normativa, los portafolios han mostrado ser herramientas apropiadas en el cumplimiento de ambas funciones; adems de que resulta idneo para la evaluacin de competencias, ya que permite integrar una gran variedad de tareas y actividades que pongan en juego los conocimientos, habilidades y actitudes de los estudiantes tanto en trabajoindividualcomodeequipo. Resulta especialmente til para estos propsitos la propuesta documentada por Danielson y Leslie (1999), la cual consiste en tres etapas o portafolios: el de trabajo, el de evaluacin y el de presentacin. La primera fase o etapa denomina portafolios de trabajo contienetantotrabajosencursocomomuestrasterminadasorientadasporcompetencias uobjetivosdeaprendizaje.Comosupropsitoeseldediagnosticarlasnecesidadesdelos estudiantes mediante evidencias de los procesos implicados en el desarrollo de las competencias u objetivos y en el nivel de logro alcanzado por cada alumno, permite cumplirlafuncinformativadelaevaluacin.Encuantoalproceso,seestructuraentorno de un rea decontenidoespecficaodeunacompetenciaysedocumentaelprogresodel alumno en el logro de las competencias u objetivos, mediante diversas evidencias de desempeo detectando lagunas o errores conceptuales o de procedimiento. El portafolio 26

de trabajo se revisa en su totalidad para evaluar sus elementos de manera continua. En esta parte, para cumplir adecuadamente la funcin formativa, resulta muy importante la retroalimentacin del profesor para ayudar al alumno a detectar sus reas de oportunidad. Es posible trasladar algunos de los elementos del portafolios de trabajo a la siguientefaseoetapalacualconsistepropiamenteenelportafoliodeevaluacin,elcual tiene la finalidad de documentar el cumplimiento de competencias u objetivos, en esta fase se cumple una funcin de carcter sumativo, es decir que se centra en resultados y permitelaemisindeunjuiciodeacreditacinacadmica. Tambin algunos de los elementos pueden trasladarse a un portafolios de presentacin el cual tiene como propsito demostrar el nivel ms alto de realizacin alcanzado por el alumno. Puede mantenerse a travs de todo un ciclo agregando nuevos elementoscadaao.Elusomsgratificanteparaelalumnoeseldepresentarsusmejores trabajos e interpretar su significado, lo cual fortalece su motivacin orientada a la tarea y sirvecomounrefuerzodelaautoeficacia. Esta propuesta en fases, resalta la importancia de que sean los propios estudiantes quienes seleccionen lo que van a incorporartantoalportafoliosdeevaluacincomoalde presentacin, con lo cual ilustran lo que ellos creen que es importante de su aprendizaje, qu es lo que valoran y qu quieren mostrar a los dems. Estrategia que promueve el desarrollo de habilidades metacognitivas, es decir habilidades para la reflexin acerca de del propio pensamiento o conocimiento sobre nuestro aprendizaje, as como, sobre nosotros mismos en cuanto aprendices, lo cual se facilita si para ello tenemos evidencias tangibles de los avances y logros que se van documentando como parte del ejercicio de integrar los portafolios. Esta ventaja adems de que resulta especialmente relevante ya que el estudiante se sensibiliza acerca de la importancia que tiene la documentacin de todas las evidencias de su desempeo, es una fuente de motivacin y de afirmacin de la autoestima, aspectos que favorecen el logro de las competencias y desde luego la verificacindequesealcanzaronlosestndaresestablecidos. Hoy en da la autoevaluacin y autogestin del conocimiento son caractersticas fundamentales que deben estar presentes en todo estudiante que pretenda iniciar estudios deeducacinsuperioroincorporarsealmundodeltrabajo.Laprimeraserefiere a los pensamientos personales de los alumnos en cuanto a sus conocimientos y habilidades, a sus estados afectivos en relacin a su conocimiento, sus habilidades, motivacin y caractersticas. La autogestin se refiere a su vez a la reflexin sobre el pensamientoenaccinqueayudaalindividuoaorganizarlosaspectosenlaresolucinde problemas(Klenowski,2005).

En sntesis, la propuesta especfica de esta gua prctica para la evaluacin del aprendizaje, es que la estrategia del portafolios de evaluacin se convierta en parte de la metodologa de la enseaza que se inserta en los procesos de la evaluacin formativa de 27

los aprendizajes, de tal forma que sea posible la evaluacin de trayectorias acadmicas y por lo tanto del desarrollo de competencias obtenidas por los alumnos en dichas trayectorias, lo que permite que existan ms posibilidades de que los alumnos reciban retroalimentacin de manera oportuna para apoyar su toma de decisiones acerca de su propioaprendizajeyqueparalosdocentesconstituyatambinunafuentedeinformacin til para reorientar su prctica, logrando que su intervencin sea acorde y oportuna para atenderlasnecesidadesyreasdeoportunidaddetectadasporlosalumnos. Hemos hecho nfasis en la importancia que tiene asegurar la utilidad de la evaluacin, lo cual se logra cuando se cumple la funcin formativa respecto a la retroalimentacin como elemento fundamental que coadyuva a la mejora. Sin embargo estoslosucedesiesefectivayoportuna.Paraelloesnecesariotenerclaridadrespectoa los estndares contra los cuales se va a contrastar el desempeo de los estudiantes para saber el grado en que cada uno de ello se ha acercado a los estndares esperados en su ejecucin o desempeo en las diversas actividades y tareas lo cual requiere como ya se coment del trabajo colegiado en la fase de planeacin para determinarlosresultadosde aprendizaje esperados. A partir de estos resultados esperados, se procede al anlisis de las tareas o actividades que pongan en juego tales resultados; y en paralelo se trabaja en el establecimiento de los estndares de ejecucin y desempeo que reflejen aquello que seesperaqueelestudiantedemuestredurantelaejecucindelastareasyactividades. La mejor forma de lograr tanto la orientacin del alumno hacia el logro de tales estndares, as como la de proporcionar una retroalimentacin efectiva y oportuna es la incorporacin de rbricas basadas en el establecimiento de estndares de ejecucin y niveles de desempeo esperados en las diversas actividades y tareas. Las rbricas se realizan una vez que se ha determinado la actividad o tarea a realizar para poner de manifiesto el desempeo del estudiante, lo que a su vez constituye una forma de garantizar que los profesores han logrado comunicar eficaz y oportunamente a los alumnosloqueseesperadeellosparacadaactividadotareaprogramada(Stevens&Levi, 2005). Tambin servirn como referente para la deteccin oportuna de profesores y alumnos de aspectos logrados, as como de aspectos que requieren ms trabajo para cerrar las brechas entre el estndar y lo que cada alumno es capaz de desarrollar en cada dimensinocriterioevaluado. Los 4 componentes de las rbricas de evaluacin, organizados en trminos del procesoparaconstruirlasson: 1. Descripcindeunatareaoactividad 2. Dimensiones:Soneltipodehabilidadesqueseponenenjuegopararealizarlatarea, representanloscriteriossobreloscualesvamosacentrarnuestraatencin. 3. Escaladevaloracin:sonlosnivelesdelogroenlaejecucinodesempeo 4. Descripcindelniveldeejecucindecadaniveldelaescala(retroalimentacin)

28

Debemos considerar estos componentes en la construccin de rbricas, como se puede observar las rbricas representan una escala de evaluacin descriptiva por lo que podemos seguir los mismos pasos en su construccin. De manera similar a las listas de cotejo y las escalas de evaluacin, se requieren dos insumos para que tenga sentido su construccin: Haber realizado la planeacin en donde se especifiquen los resultados de desempeo esperados y haber elegido aquellas actividades o tareas que pongan en juego alguno o varios de estos resultados. Slo as podremos definir las dimensiones o criterios implicados. Ahora bien, para definir una escala que sea apropiada, necesitamos antes determinar si el propsito de la evaluacin es formativo, sumativo o mixto, generalmente seusanentre3y5nivelesdeejecucinodesempeosiesquevamosutilizarlatcnicade observacin de alguna ejecucin o conducta en tiempo real; o de calidad en el caso en el queloqueestemosevaluandoseaunproducto. Finalmente para poder describir cada uno del niveles de ejecucin por cada dimensin o criterio, se requiere determinar el estndar o nivel de ejecucin satisfactorio o de competencia mxima a lograr por cada dimensin. A partir de haber definido ste nivel se procede a describir, segn sea el nmero de niveles de ejecucin lo que representa cadaunodeellos.Facilitalatarea,pensarinicialmenteenlosextremos,porlo que despus delnivelcompetente,sepuededescribirelnivelqueimplicaraquenoseha cubiertoelestndar;esdecirquelaejecucindelapersonanoessatisfactoria,ydespus pensar en l o los niveles intermedios y describir de manera cualitativa cada tipo de desempeo o ejecucin. Es muy importante que las diferencias entre los niveles estn claramentedelimitadas. En trminos de las principales ventajas que se han documentado del uso de las rbricaspodemosdestacarlassiguientes: 1. Proporcionanretroalimentacinoportuna 2. La retroalimentacin informa sobre el rendimiento en cada dimensin o componentedeunatarea 3. Promuevenelpensamientocrticoylareflexin 4. Facilitanlacomunicacincondiversasaudiencias 5. Nospermitenrefinarlosmtodosdeenseanza Como se puede deducir de estas ventajas las rbricas son un aproximacin adecuada cuando la funcin de la evaluacin es formativa; no obstante, han probado ser una herramienta muy poderosa para la evaluacin sumativa en el contexto de la educacin basada en competencias, sobre todo en aspectos del aprendizaje que no puedenevaluarseatravsdepruebasobjetivas,porquerequierenalgntipodeevidencia de desempeo. En todo caso para ambas funciones se requiere tener una metodologa clara para la determinacin de estndares de ejecucin contra los cuales contrastar el desempeodecadapersonaevaluada.

29

4.Elaboracindereactivosydiseodepruebas objetivasparaevaluacinsumativa

La construccin de pruebas objetivas con reactivos de opcin mltiple se recomienda principalmente para la evaluacin sumativa, ya que nos permiten hacer un muestreo ms representativo de los contenidos y procesos que se desea evaluar al final deuncursoodeunperododeterminado. Los estmulos de una prueba objetiva pueden ser de diferentes formas, sin embargo diversas investigaciones y la propia evidencia emprica resultante de las aplicaciones, demuestran que los reactivos de opcin mltiple son los ms estables y nos sirven no solo para medir los resultados de conocimiento, sino de una gran variedad de habilidadesycapacidadesintelectuales,porloqueresultanserlosdeusomscomn.Las investigaciones tambin han demostrado que los estmulos de opcin mltiple concuatro opciones son los mejores, siempre que se inicie con cinco opciones y se elimine la que consistentementetengamenorfrecuenciaderespuestas. Algunas ventajas de las pruebas objetivas conformadas por reactivos de opcin mltiple son: 1. Sepuedenadaptarfcilmentealosresultadosdeaprendizajeespecficos. 2. Permitenunmuestreomsadecuadodeldominioaevaluar. 3. Sepuedencalificarmsrpidoyobjetivamente. 4. Sonmssencillasdeaplicar. 5. Poseenunasolarespuestacorrecta Los reactivos de opcin mltiple se conforman por una base y cuatro o cinco opciones de respuesta. La base es el enunciado que presenta la situacin problema planteada explcita o implcitamente en una pregunta, afirmacin o enunciado incompleto. Las opciones se entienden como las posibles respuestas, entre las cuales una responde correctamente al enunciado o pregunta y las otras son respuestas incorrectas llamadasdistractores.

Sugerenciasgeneralesparaelaborarunreactivo
Encuantoasuescritura: El lenguaje usado en la redaccin de un problema debe ser apropiado para la materia quecubre,particularmenteenloqueserefierealvocabulariotcnico. Debe redactarse con sencillez y correccin. El problema no debe medir habilidad para comprender estructuras gramaticales complejas, excepto cuando se est midiendo esta habilidadenparticular. 30

 Eviteerroresgramaticales:depuntuacinydeortografa,ascomoabreviaturas. Eviteelusocomplicadodegerundios,participios,artculosypreposiciones. Empleeconceptosconocidosenlugardesinnimosovocabulariorebuscado. Silosartculosopreposicionesqueacompaanalossustantivossonigualesparatodas

lasopciones,debenformarpartedelabase. Tome en cuenta el tiempo de lectura por reactivo, utilice la informacin necesaria perosuficiente,paraoptimizareltiempo. Eviteelaborarreactivosqueevalensloelsentidocomndelsustentante. Tomeencuentaelnivelescolaryeldemaduracindelosexaminados.

Encuantoalcontenido: Tomecomoreferencialatabladeespecificaciones. Elaborereactivosconbaseenlosindicadoresoresultadosdeaprendizajedelatabla. Eviteaumentarladificultadeligiendoaspectospocosignificativosdelconocimiento. Incluyaunasolaideaalelaborarelreactivo. Eviteevaluarconceptosdemaneratextual. Eviteevaluarcontenidosintrascendentesotriviales. Noelaborepreguntascapciosas. Los reactivos que evalan comprensin siempre deben ser originales para evitar respuestasaprendidasdememoria. En la mayora de los casos el problema debe contener slo material relevante a su solucin. Indicacionesparaelaborarlabase Cada reactivo debe presentar, por s mismo, un problema que al ser resuelto permita demostrarquesehaalcanzadounresultadodeaprendizajedeterminado. Incluya todos los elementos estrictamente necesarios para comprender el sentido correctodelapregunta,detalmaneraquesinleerlasopcionestengasentidopropio. Los reactivos deben ser independientes unos de otros, sin que la informacin contenidaenunosugieralasolucindeotro. Elaboreunesquemadeindagacinynoslounapalabraofrase. Cuidequelaredaccinseaprecisayadecuada. No sobrecargue el enunciado con material no pertinente por el deseo de seguir enseando. Evitetrminosqueconfundanodenclavesdelarespuestacorrecta. Evitequeunapreguntaayudearesponderotra. Redacteelenunciadoenformaafirmativasiemprequeseaposible.

Indicacionesparaelaborarlasopciones Delasopciones(4)slounasercorrecta. 31



Larespuestacorrectadeberesolverelproblemasatisfactoriamente. La respuesta correcta debe ser incuestionable (Por lo menos dos personas debern revisarelreactivoparadeterminarsilasolucincorrectaestclara) Incluyadistractoresplausibles. Debentenerconcordanciagramaticalconlabase. Deben guardar entre s un equilibrio coherente en su aspecto gramatical: sintaxis, gnero,nmero,tiempoverbal,etc. Debensercongruentesconelcamposemnticodelabase. Eviterepetirelmaterialencadaopcineincluyaelcontenidocomnenlabase. Nodeberepetirseningunaopcinniconsinnimos. Debenpresentarlamismaextensin. Evite que una opcin ayude a elegir la opcin correcta, por indicios gramaticales o plausibilidad. Presntelasalazar,amenosqueserequieraunordencronolgicoonumrico. Incluyaenlosdistractoresloserroresmscomunesdelosestudiantes. No utilice en las opciones: todas la anteriores, ninguna de las anteriores, no s, etc. Evite las formas negativas (no, excepto) o las absolutas (nunca, siempre, completamente,totalmente). Utilice enunciados verosmiles pero incorrectos. Evite las frases inadecuadas, ridculas ohumorsticas. Norepitapalabrasdelenunciadoentrelasopciones.

Variantesconformatodeopcinmltiple:
En cuanto a variantes de reactivos de opcin mltiple, podemos identificar al menos 5 tipos los cuales son ms adecuados a cierto tipo de indicadores o resultados de aprendizajeaevaluar:

1. 2. 3. 4. 5. Simple Jerarquizacinuordenamiento Seleccindeelementosdeunlistado RelacindeColumnas Multireactivos(decabeceraogrupodereactivosdependientesdelcontexto)

En el siguiente apartado brindamos una breve descripcin de cada tipo, el formato general que presentan, as como ejemplos para facilitar la elaboracin de reactivos que sean ms acordes al tipo de indicador de aprendizaje a evaluar, sea este para evaluar conocimientos del dominio declarativo o procedimental. Generalmente para recabar evidencia de competencias, los multirreactivos presentan la posibilidad de utilizar una gran variedad de contextos y factores que permitan evaluar pensamiento de alto orden, necesariosparasolucindecasosyproblemasyparalatomadedecisionessustentada.

32

1.FormatoSimple: Es el planteamiento de un problema en forma sencilla, sin embargo existen diversas formas de formular la base, por ejemplo con forma interrogativa, imperativa, de completamientoydemaneraexcepcionalnegativa. Formato:
BASE: Texto y / grficas. Si el reactivo contiene esquemas, grficas o imgenes, es importante que incluya tambinlasinstruccionesparaqueseentiendaconclaridadloquesetienequehacer. OPCIONES:(Textosy/grficas) A) B) C) D)

Ejemplos:
Enqupalabraestsubrayadalaslabatnica? A) Avenida B) Consecuencia C) Revistero D) Consulado Elijalaopcinquepresentaunapalabragrave. A) Paz B) Clula C) Fotografa D) Situacin Laopcinquepresentaunapreposicines: A) el B) en C) ha D) su LassiguientespalabrassonagudasEXCEPTO: A) situacin B) potenciar C) consulado D) adems

Interrogativa

Imperativa

Completamiento

CompletamientoNegativa

33

2.Jerarquizacinuordenamiento Este tipo de pregunta requiere elegir la opcin que contiene el ordenamiento o secuencia correcta de diversos elementos. La base del reactivo indica que la situacin por resolver es ordenar, con base en algn criterio, una serie de elementos presentados al azar en una lista. Las opciones se forman a partir de la combinacin de varios ordenamientosyslounacombinacinescorrecta. Estetipodereactivoestilparaevaluarentreotrosaspectos:Identificacinde procesos,procedimientosyeventoshistricos.Elnmerodeelementosaordenarno debersermuygrandeyseasignarunpuntoporelordenamientocorrectoyningunopor losdems. Formato:
ENUNCIADO:. 1. 2. 3. Aquseescribelalistadeelementosendesorden 4. 5. OPCIONES: A) 3,2,4,1,5 B) 2,4,3,5,1 C) 5,1,2,4,3 D) 4,3,1,2,5 E) 2,3,4,5,1

Ejemplo:
Indica la secuencia en laqueseordenancronolgicamentelosacontecimientosdelavidapolticadeBenito Jurez. 1. DerrocaSantaAnna 2. SeconvirtiengobernadordeOaxaca 3. FuedesterradoaCubayNuevaOrleans 4. ContribuyalacadadeMaximilianoI A) 2,3,1,4 B) 1,2,4,3 C) 2,4,3,1 D) 4,1,3,2

34

 3.Seleccindeelementosdeunlistado: Es el formato de reactivo mediante el cual se le solicita al sustentante que elija de entre distintos elementos, una serie de ellos menor a la enunciada. Este tipo de formato permite evaluar la capacidad de discriminacin de caractersticas, datos, elementos, circunstancias, eventos y reglas, entre otros aspectos; de un proceso, fenmeno o procedimientodeterminado. Formato:
ENUNCIADO:. 1. 2. Aquseescribelalistadeelementosmayorala 3. solicitadaenlabase. 4. 5. OPCIONES: A) 1,2,5 B) 2,3,5 C) 1,2,4 Seeligeunnmerodeelementosrelacionadosconunaspectoespecfico D) 2,4,5

Ejemplo:
Delossiguientestiposdetejidopresentadosenlalista,eligeloscincotiposdetejidoconectivo. 1. Muscularestriado 2. seo 3. Cartilaginoso 4. Conjuntivodenso 5. Nervioso 6. Adiposo 7. Sanguneo A) 1,3,4,5,7 B) 2,3,4,6,7 C) 1,2,3,6,7 D) 2,3,4,5,6

4.Formatoderelacindecolumnas: Es una forma modificada del estmulo de opcin mltiple donde se enlistan en una columna una serie de premisas y en la otra columna las respuestas posibles. No obstante, a menos que todas las respuestas sirvan como opciones razonables para cada premisa, el formatoserinadecuado.Haydoserrorescomunesalelaborarestetipodereactivos: 35

 Tendenciaamantenerlamismacantidaddepremisasyrespuestas; Incluirdemasiadoselementosenambaslistas. Reglasparasuelaboracin a. Incluyaslomaterialhomogneoencadaestmulo, b. Utilice listas de tamao razonable y ubique las respuestas a la derecha; esto permite unamayorfacilidaddelecturaybsqueda. c. Utilice un nmero de respuestas menor o mayor que el de las premisas y haga que las respuestassepuedanusarmsdeunavez,parareducirlarespuestaportanteo. d. Especifique en las instrucciones las bases de la correspondencia e indique que cada respuestapuedeusarseunaomsveces,onousarse. Formato:
ENUNCIADO:(Instruccionesydescripcinenlabase. TTULODELACOLUMNAIZQUIERDA TTULODELACOLUMNADERECHA 1.__________________________________ a)_______________________________ b)_______________________________ 2.__________________________________ c)_______________________________ d)_______________________________ OPCIONES: A) 1a,b;2c,d B) 1a,c;2b,d C) 1b,c;2a,d D) 1c,d;2a,b

Ejemplo:
Relacionelosmovimientosconsusconsecuencias. Movimientos Consecuencias 1.Rotacin a)Cambioaparentedeltamaodelsol b)DesviacindeloscuerposencadalibrehaciaelEste 2.Traslacin c)DeformacionesdelaTierra d)Estacionesdelao A) 1a,b;2c,d B) 1a,c;2b,d C) 1b,c;2a,d D) 1c,d;2a,b

36

5.Multirreactivos Es el formato mediante el cual podemos evaluar de forma integrada, una variedad de conocimientos y habilidades cognoscitivas. Pueden ser de base terica y metodolgica y de distinto nivel taxonmico. Este formato se recomienda para plantear un problema o describir un contexto y con base en l elaborar una serie de reactivos. Su construccin debe presentar consistencia y claridad en el problema presentado en la base y en las preguntasquesedesprendendel. Formato:
Instrucciones: Situacinocaso:. Base1 1. Opciones: A) B) C) D) Base2 2. Opciones: A) B) C) D) Seincluyentodoslosreactivosqueseestimeconveniente

Ejemplo1.EstadsticaparalacarreradePsicologa Instrucciones:Leaelsiguientecasoyrespondalassiguientescuatropreguntas: . Se aplic un inventario de habilidades de estudio, en su versin autoreporte a 900 alumnos de las licenciaturas de psicologa, ingeniera y derecho. Los resultados indican quelosalumnosdepsicologa presentan una distribucin negativamente sesgada en la escala de autorregulacin; los alumnos de ingenieramuestran un sesgo positivo en la escala de adquisicin de la informacin y; los alumnos de derecho muestran distribuciones con sesgo casi igual a cero en las escalas de autorregulacin y adquisicindeinformacin.

37


1. Forma dedistribucinquerepresentamejorlaspuntuacionesdelosalumnosdePsicologa
A)

B)

D)

Razonamiento. LarespuestacorrectaesA),yaqueunacurvaconsesgonegativoextiendeunadesuscolashacialos puntajes bajos y acumula la mayora de los datos en las puntuaciones altas. La opcin C) es incorrecta por que hace referencia a una curva aplanada o con baja curtosis, D) no es correcta por que hace referencia a curvas con sesgos positivos y la opcin B es incorrecta por que hace alusin a una curva son sesgo casi igual acero. acuerdoconladistribucindefrecuencias,cmoeslamayoradelosalumnosdeingeniera? 2.De A)Unaproporcinmayordealumnosaltamenteestratgicosenadquisicindeinformacin B)Todoslosalumnossonmedianamenteestratgicosenadquisicindeinformacin C)Unaproporcinmayordealumnosbajosenestrategiasdeadquisicindeinformacin D)Todoslosalumnossonaltamenteestratgicosenadquisicindeinformacin Razonamiento. LarespuestacorrectaesC)yaqueunacurvaconsesgopositivoextiendeunadesuscolashaciala derechayacumulalamayoradelosdatosenlaspuntuacionesbajas.A)esincorrectaporquerepresenta unacurvaconsesgonegativo.B)esincorrectaporquerepresentaunacurvaconsesgoigualacero.D)es incorrectaporquehacereferenciaaunacurvaaplanadaoconbajacurtosis. 3.Cmosonlosvaloresdelasmedidasdetendenciacentraldelaspuntuacionesdelosalumnosdederechoen cuanto asusestrategiasdeadquisicindelainformacin? A) lamodaesmayorquelamediaylamediana B) lamodaesmenorquelamediaylamediana C) lamediaesdiferentedelamodaylamediana D) lamediaesigualquelamodaylamediana Razonamiento. LaopcincorrectaesD)yaqueenunacurvaconsesgocasiigualacero;lamedia,lamedianayla modaseubicanenelmismovalordebajodelacurva.LasopcionesA),B)yC)sonincorrectasporquese refierenavalorestomadosdecurvasconsesgopositivoynegativo.

38

 4.Cmosonlamayoradelosalumnosdederechoensusestrategiasdeadquisicindeinformacin,encomparacincon los alumnosdeingeniera?

A) conmejoresestrategiasdeadquisicindeinformacinquelosingenieros B) casiigualdeestratgicosenadquisicindeinformacindelosingenieros C) menosestratgicosenadquisicindeinformacinquelosingenieros D) muypordebajodelosingenierosenadquisicindeinformacin Razonamiento. LaopcincorrectaesA)yaquelosalumnosdederechoalmostrarunadistribucinconsesgocasiigual aceroposeenunadistribucincasinormal,mientrasquelosingenierostienenunadistribucinconsesgo positivo.LasopcionesA),B)yD)sonincorrectasporqueserefierenasituacionesenlascualeslosalumnos dederechopresentarancurvasconsesgopositivoonegativo.

Ejemplo2.CarreradeOdontologa:readeformacinoperativa Leeconatencinlainformacindelsiguientecasoclnicoycontestalasdospreguntasasociadas: Sepresentaaconsultaunpacientede12aosdeedad.Durantelaexploracinseobservaincisivocentral izquierdo de color pardo y el incisivo central derecho de coloracin rojiza, ambos incisivos se muestran sintomticos; en la radiografa se observa tratamiento de conductos con muy poca estructura radicular en el central izquierdo y en el incisivo central derecho una zona radio lcida en forma de bombilla a nivel del tercio medio del conducto. Al interrogarlo, el paciente refiere haber sufrido fractura de ambos incisivos superiores centrales a la edad de siete aos, con exposicin de la pulpa vital en el central izquierdo, al cual se le realiz el tratamientodeconductosdeinmediato.
1. Quprocedimientosedebihaberrealizadoparapreservarmsestructuraradicularenelcentral izquierdo? A)Tratamientosdeconductos B)Apicognesis C)Observacinycontrol D)Implanteendodntico Respuestacorrecta:B) Razonamiento. A la edad de siete aos el pice los incisivos centrales no se encontrara totalmenteformado,porlo que el tratamiento inicial en caso del central izquierdo, con la pulpa dental expuesta debi ser la apicognesis o pulpotoma con hidrxido de calcio para permitir la formacin radicular y el cierre apical, y posteriormenteyafinalizadosteefectuareltratamientodeconductos.

2.Qutratamientoserecomiendaparaelincisivocentralderecho?
A) Observacinycontrol B) Apicognesis C) Cirugaexploratoria

39

D) Tratamientosdeconductos

RespuestacorrectaD) Razonamiento. Enelcasodelcentralderechoeldiagnsticoesmuyclaro,dadoquesedescribenlascaractersticas clnicasyradiogrficasquecorrespondenaunaresorcinradicularinterna,encuyocasoserequiererealizar eltratamientodeconductosparaevitarquestacontine.

Ejemplodeformatoparacapturadereactivos.

No. Concepto 0 Identificacin 1 Rasgodelperfila evaluare indicador. 2 Clasificacinpor dominioypor niveltaxonmico

Estndaroespecificacin Nombredelredactor,fechaynmerodereactivo Incluyaaquelrasgodelperfilreferencialdevalidezcorrespondiente. Enseguidaelindicadorespecficoqueevalaelreactivoquevaaredactar. Clasifiquelosreactivosdeacuerdoconeldominio,esdecirtipode conocimiento:Informacin,procedimientomental,procedimiento psicomotor. Clasifiquelosreactivosdeacuerdoconlosnivelesdetaxonmicosdediseo Nivel1.Recuperacin Nivel2.Comprensin Nivel3.Anlisis Nivel4.Utilizacindelconocimiento Redaccindela Sigaloslineamientosderedaccinpresentadosenelpunto3.3 basedelreactivo. RecomendacionesGenerales,deestemanual. Redacteelenunciadodeformaclara,nouseformasnegativas,noutilice determinantesespecficos(siempre,nunca,etc.). Serecomiendaseleccionareltipodeformato(simple,eleccindeunlistado, relacindecolumnas,jerarquizacinymultirreactivo)msapropiadoaltipo deresultadodeaprendizajeaevaluar. Sepuedenincluirdibujos,imgenes,cuadros,etc.,dependiendodeloquese deseaevaluar. Respuesta Todoslosreactivosdebenserde4opciones. correctay ColoquelarespuestacorrectaenlaopcinAparafinesdelBancode distractores Reactivossilasopcionespuedenpresentarsealeatoriamente. Exceptosielreactivotienelasopciones"fijas",encuyocasodebeindicarse cuidadosamentelarespuestacorrecta. Elreactivodebeincluirunarespuestacorrecta,nicaydemostrable. Razonamiento Esmuyimportanteincluirlajustificacin,procedimientooexplicacinpara llegaralarespuestacorrecta. Seexplicartambincmoseconstruyeronlasrespuestasincorrectaso distractores. Referencias Elreactivodebeincluirporlomenosunareferenciadedondesehaya obtenidolainformacin,conesteformato: Autor(fecha)"ttulo",editorial,pas,pginas.

40

Anlisisycalibracindereactivos En trminos generales el procedimiento de calibracin de reactivos sirve para el diseodelosexmenesyconsisteenlossiguientespasos: Eleccin de una muestra representativa de sustentantes para la aplicacin piloto delosexmenes. Integracindeunaversindecadaexamenparasuaplicacinenelestudiopiloto. Anlisisdereactivos. Los reactivos que en la calibracin no cumplan con los parmetros mnimos de dificultad y discriminacin recibirn una primera revisin por parte del supervisor, quien estimar si el reactivo merece ser rediseado o desechado definitivamente. En caso de rediseo, el reactivo ser revisado por el redactor del reactivo, por el revisoryporelsupervisor,conobjetodeobtenerunanuevaversin. Los reactivos que cumplan con los parmetros requeridos, sern considerados como "aprobados" y se darn de alta definitiva en el Banco de reactivos del examencorrespondiente,conlosndicespsicomtricosobtenidoenelpiloteo. Losreactivosclasificadoscomo"desechables"serneliminadosdelBanco. Calibracindereactivos Toda pregunta en una prueba tiene un componente de varianza de error adjudicable al evaluador y no al sustentante por esto debemos verificar si la pregunta es pertinentealgrupodeestudiantesalqueestsiendoaplicada. Para las pruebas de aprovechamiento utilizadas para evaluacin en aula existen procedimientos sencillos que nos permiten asegurar una mayor calidad en nuestros procesos de evaluacin. Slo se justifican procedimientos ms complejos cuando se requiereunamayorprecisinenprocesosdeevaluacinagranescala. Laspreguntastienenunadificultadrelativadeacuerdoconelgrupoynivelenque se apliquen. Una pregunta con una baja frecuencia de aciertos tiene una dificultad mayor que otra conunafrecuenciaalta.Ladificultaddelreactivoesunainformacinbsicapara labasededatosdelbancodereactivosyparaelmomentodeldiseodelaprueba,yaque sta debe estar balanceada en cuanto a la dificultad global y de cada una de sus reas o secciones. El ndice de dificultad de acuerdo con el modelo clsico, ser la frecuencia de respuestas correctas entre el nmero total de alumnos y se expresa en trminos de porcentaje:

41

 GD= donde P=Totalderespuestascorrectasdelossustentantes N=Totaldesustentantes(slorespuestasvlidas) Los parmetros generalmente aceptados por los evaluadores para el ndice de dificultadclsicaes: 20 % GD 80 % Otro indicador importante a obtener es el poder de discriminacin, es decir la capacidad del reactivo para distinguir entre sustentantes de alto y bajo rendimiento ya quenospermitedeterminarsilapreguntalaaciertanmsfrecuentementelosestudiantes del grupo superior, comparados con los estudiantes del grupo inferior. Si la prueba y las preguntas estn bien elaboradas, se espera que el estudiante que conteste mayor cantidad de preguntas corresponda al que obtiene un mayor rendimiento en la prueba y viceversa. Mientrasqueladificultadeselporcentajederespuestascorrectasalreactivoentre el total de personas evaluadas, el poder de discriminacin es la diferencia de respuestas correctasentreelgruposuperioryelgrupoinferiorysecalculamediantelafrmula: P(GS ) P(GI ) x100 PD= N donde: P(GS)=RespuestascorrectasdelGrupoSuperior P(GI)=RespuestascorrectasdelGrupoInferior N=Totaldesustentantes(slorespuestasvlidas) Desde luego se espera que el ndice de discriminacin sea mayor a cero, de lo contrarioelreactivoserechaza.Elcriteriodeaceptacindeunreactivoentrminosdesu poder de discriminacin debe ser estricto, por lo que conviene que el poder de discriminacinseamayoroigualal30%delgradodedificultaddelreactivo. Para facilitar la interpretacin del poder de discriminacin podemos usar la relacindiscriminativalacualestincluidaenelreportedelanlisisdereactivos,paraque un reactivo sea aprobado se requiere que esta relacin sea mayor o igual a uno (RD 1). Lafrmulaes: PD RD= ND 42

P x100 ; 0 GD 100% N

Los reactivos con valores inferiores de RD deben revisarse personalmente por los redactoresdereactivosparaverificarsuredaccin,laopcincorrecta,elcomportamiento delasopcionesdistractoras,etc. Estos indicadores clsicos del reactivo se pueden obtener de manera automtica con Kalt de uso general. Tambin se puede calcular mediante otros procedimientos especficosdeteoraderespuestaaltem,siseobtieneelpaquetedeKaltCriterial. Anlisisdedistractores

Para analizar cada una de las opciones de respuesta, se construyen tablas de contingencias con las opciones de respuesta y la frecuencia de respuestas de los sustentantes divididos en Grupos Superior (GS) e Inferior (GI) como una particin de la poblacinsustentante,divididaentrminosdelamediana. Para que un reactivo sea aceptable se deben verificar varias relaciones. Las verificaciones a realizar corresponden al funcionamiento de un reactivo en la tabla de contingencias,deacuerdoconlassiguientescondiciones: a) SeesperanmsrespuestascorrectasenelGrupoSuperiorqueenelInferior. b) Se espera que la diferencia en respuestas del Grupo Superior e Inferior sea por lo menosigualaunvalornormativode0.3deltotalderespuestascorrectas. c) Se espera que los distractores sean ms atractivos para el Grupo Inferior que para el Superior. d) Se espera que los distractores sean igualmente plausibles, es decir que no haya distractoresmsatractivosqueotrosyquenohayaunoenparticularquecompitacon larespuestacorrecta. Todas estas comparaciones fijan la validez de las opciones en trminos de la dificultad del reactivo y del azar de las respuestas de los sustentantes. Los reactivos que no cumplen con el patrn de cotejo por dificultad y por azar deben ser revisados o eliminados.Estasrelacionesestablecen,asimismo,losconjuntosdevaloresesperadospor azar o por grado de dificultad, con los cuales se pueden efectuar pruebas de hiptesis 2 (Chi cuadrada) para verificar la diferencia entre valores observados y valores esperados. Esta informacin ayuda a los redactores en la revisin y mejoramiento de aquellos distractores que no funcionan adecuadamente. El procedimiento est incluido en el software y permite el anlisis de todas y cada una de las preguntas de la prueba para mejorarlacalidaddelaevaluacin.

Para evaluar la dificultad del reactivo de una manera rpida y accesible utilizaremos la medida clsica del grado de dificultad como porcentaje de respuestas correctas. Tambin se puede calcular mediante otros procedimientos como en el caso del

43

anlisis de Rasch. En el Manual Tcnico del CENEVAL (1999), se describen ambos procedimientos.

Ejemploparaunclculorpido:
Supongamos que tenemos un grupo de 40 estudiantes y les aplicamos una prueba objetiva con reactivos de cinco opciones de respuesta. Despus de calificar a los alumnos, los ordenamos desde el que obtuvo el mayor porcentaje de respuestas correctas hasta el de menor porcentaje, y dividimos al grupo por la mediana de manera que nos quedan dos gruposigualesaloscualesdesignaremoscomogruposuperiorygrupoinferior.

Opciones Superior20 Inferior20 Total40 *=respuestacorrecta

El ndice de dificultad de acuerdoconelmodeloclsico,serlafrecuenciaderespuestascorrectas (15),entreelnmerototaldealumnos(40)yseexpresaentrminosdeporcentaje: GD= donde P=Totalderespuestascorrectasdelossustentantes N=Totaldesustentantes(slorespuestasvlidas)

A 1 5 6

B* 12 3 15

C 4 3 7

D 2 7 9

E 1 2 3

P x100 ; 0 GD 100% N

Ennuestroejemplo:

GD=15/40=0.375*100=37.5

El reactivo del ejemplo tiene un valor aceptable porque se encuentra entre el 20% y el80%, (an con el criterio ms estricto de 27% y 73% que exige Kalt), observamos adems que se tratadeunreactivodifcilyaquelocontestaronmenosdel50%delosalumnos.

Ennuestroejemplo,elpoderdediscriminacindelreactivoes: PD=(123)/40 =9/40 =0.225 x100=22.50

Ylanormadiscriminativaes: ND=0.3xGD esdecir: 30%delGD 30%(37.5)=11.25

44

Larelacindiscriminativa: RD=22.5/11.25=2 2 1 porloqueelreactivoqueestamosanalizandoesaceptable.

Anlisisdelaprueba Desde la planeacin hemos trabajado en garantizar la validez de los exmenes que estamos construyendo, no obstante, adems de la validacin lgica de contenido de cada reactivo de la prueba, es necesario hacer algunos anlisis empricos a partir de resultados delasaplicaciones,quenospermitanverificarlacalidaddelaprueba. Latabladeespecificacionesyelperfilreferencialdevalidezelaboradosporgrupos colegiados o comits acadmicos, constituyen los fundamentos de la validez terica del instrumento. Son tambin instrumentos base para los procedimientos de validacin por jueces, lo cuales tienen que emitir juicios respecto a si los reactivos son adecuados y pertinentes al perfil referencial y a la tabla de especificaciones, y si el muestreo del universo es representativo. Al final de este documento se proporciona un ejemplo de formato que han de llenar los jueces que validen cada reactivo de una prueba objetiva (Anexo). Elconceptodevalidez Desde un punto de vista cientfico, la validez de constructo es en s la validez, mientras que los dems tipos de validez (predictiva, concurrente, convergente, factorial) pueden ser considerados ms bien como estrategias de coleccin y anlisis de datos empleadas para probar las conexiones conceptuales entre la medicin y el constructo (Angoff, 1988; APA, AERA & NMCE, 1999). Aqu el nfasis est dado en sustentar el grado en que los puntajes en la prueba representan la medida de la caracterstica o atributo psicolgico que se supone evala la prueba, es decir, el constructo terico, por lo que es necesario establecer procedimientos para la revisin lgica de tal adecuacin, el anlisis de su estructura interna o el anlisis de la relacin de la prueba con variables externas (casodelavalidezconcurrente,opredictiva). La validez de una inferencia depende de la intencin especfica de la prueba, del procedimiento usado, as como de las condiciones de la coleccin de los datos, de los procedimientos de enjuiciamiento ymedicinseguidos,delanlisisdelosprocedimientos empleados y de las caractersticas de las personas que proporcionan los datos y la informacin. Estas dependencias originan la identificacin de diversas fuentes de evidencia que pueden aclarar diversos aspectos delavalidez,locualnosignificaquesean

45

distintostiposdevalidez.Lavalidezesunconceptounitarioyserefierealgradoenelcual la evidencia acumulada apoya la interpretacin de las medidas de la prueba de acuerdo conelpropsitopropuesto. Enfuncindeestasformasdiversasdeobtenerevidenciasdevalidez,seadoptaron categoras tales como la validez de contenido, de constructo y de criterio, esta ltima subdividida a su vez en dos categoras denominadas predictiva y concurrente. Esto no implica que sean diferentes tipos de validez o que alguna estrategia de validacin sea mejorparacadatipodeterminadodeinferenciaousoposibledeunaprueba;dehechono esposiblehacerunadistincinrigurosaentreestascategoras. En la nueva versin de estndares de la APA, AERA, NMCE (1999) no se sigue ya con esta clasificacin; en cambio, se describen las fuentes de evidencia que pueden emplearse para evaluar una interpretacin propuesta de las medidas de una prueba para un propsito particular. En esta publicacin de estndares se presentan cinco fuentes o lneas de evidencia de validez, las cuales se describen en una breve introduccin del captulo que agrupa los 24 estndares de validez. En el glosario del documento, los autores proporcionan definiciones de los trminos, explicando la diferencia entre el uso tradicionalyelactual. Anlisisdeconfiabilidad Adems de la validez, debemos demostrar que los exmenes que construimos son confiables, es decir que podemos obtener la misma medicin en diferentes condiciones. Confiabilidadindicaconsistenciayprecisinenlamedicin. En algn caso la condicin ser el paso del tiempo (estabilidad temporal), es decir, que sin que medie ningn aprendizaje extra, la persona que es medida en dos momentos diferentes debe dar las mismas respuestas al instrumento. Por el dinamismo que representa el proceso de aprendizaje el primer caso est expuesto a cambios en cortas temporadas, midindose en muchas ocasiones la estabilidad del instrumento viciada con el dinamismo de aprendizaje, por lo que no se sugiere realizar estudios de este tipo en perodosqueexcedanlostresmeses. En un segundo caso la condicin ser similitud de instrumentos (equivalencia), es decir, que un estudiante deber obtener calificaciones similares si se le aplican dos instrumentos de medicin formados con la misma cantidad de preguntas seleccionadas conndicesdedificultadsimilaresconbaseenunatabladeespecificacionescomn. Las mediciones en el rea educativa, a diferencia de aquellas efectuadas en las ciencias naturales, difcilmente mantienen una precisin exenta de variabilidad entre un instrumentoyotroapesardelosgrandesesfuerzosporbuscarlaequivalencia.

46

En el tercer caso la condicin consiste en la relacin que guardan cada una de las partes del instrumento, con el resultado final que se obtiene (consistencia interna). Esto implica la relacin que guarda la calificacin total del estudiante con las calificaciones obtenidasenlostemasylaspreguntasqueintegranelinstrumento. La consistencia interna es, en la mayora de los casos, la forma ms estable de medir la confiabilidad de un instrumento. Adems, un estudio de consistencia interna permite la obtencin automtica de la validez terica, siempre y cuando el universo de conocimientos est bien definido y el muestreo de los conocimientos sea representativo. Por esto y, asumiendo el cuidado requerido en la elaboracin de la tabla de especificaciones y la elaboracin de las preguntas que representen el conocimiento en forma amplia y en la taxonoma requerida, se propone una forma breve de obtencin de laconsistenciaenelinstrumento,incluyendoambosndicesrequeridos. La confiabilidad de un instrumento se acostumbra estimar por medio de la Alfa de Cronbach (o de CronbachHoyt), la cual parte de un anlisis de varianza mltiple, bajo ciertashiptesissimplificatorias.EnelsoftwareKalt,seobtieneelvalordelAlfamediante una forma directa, empleando solamente tres variables: el nmero de personas, la varianza muestral y los grados de dificultad de los reactivos, que son los parmetros empleadosgeneralmenteennuestromedio(Tristn,1996). Lafrmuladirectaparaelclculodelaconfiabilidades: ALFA= donde N=nmerodereactivos GD=Gradodedificultaddecadareactivo s2=varianzadepuntuacionesdelossustentantesenporcentajedeaciertos Encadaaplicacinseobtienedemanerarutinarialaconfiabilidaddetodoelinstrumento, as como por tema o rea del examen. Los valores aceptables de ALFA se cotejan contra un modelo en trminos del nmero de reactivos, buscando en todos los casos los valores msaltosdeALFA. Anlisisdeerrordemedida.

N GD(100 GD) 1 2 2 N 1 s N

47

Mediante el software Kalt, se obtiene en cada corrida en forma rutinaria diversos erroresdemedida(Tristn,1999).Enparticularsetienenlossiguienteserroresestndar: a)errorestndarparalamedia=

b)errorestndarparalamediana=

2N

c)errorestndarparaladesviacinestndar= d)errorestndardemedida= s 1 e)errordemedidadecadasujeto= t 0.975 ( M 1)

2N

s M 1

enestasexpresiones: M=nmerodereactivos N=nmerodesustentantes s=desviacinestndardelasdificultadesdelosreactivos t0.975(M1)= valor de t de Student para 97.5% de confianza (5% en prueba estadstica de 2 colas)paraMreactivos(M1gradosdelibertad) =confiabilidad(ALFAdeCronbach) =desviacindelaspuntuaciones =3.14159265359 Longituddelexamenydelassecciones Tanto los valores de confiabilidad como de error de medida, obtenidos de manera rutinaria, nos permitirn apoyar la toma de decisiones respecto a la determinacin de la longitudmsadecuadadelapruebaydelassecciones. La longitud del instrumento se determina en funcin de estos elementos bsicos: las proporciones de reactivos especificadas en la tabla de validez de contenido, el tiempo disponible para la aplicacin del cuestionario y el error de medida deseable para dictaminar el nivel de desempeo o dominio de un sustentante. En relacin con las proporcionesyeltiempo,losconsejostcnicosdecidenenfuncindeexperienciasprevias o de opiniones sometidas a consenso. En el caso del error, en cambio, se dispone de un modelo matemtico. A partir de un modelo procedente de la teora de muestras pequeas se pueden encontrar lmites inferiores para el valor del error de medida que conducen, a su vez, a

48

longitudes de un examen o partes del mismo (Tristn, 1999). El tamao de la muestra de reactivosquedebeaplicarsealossustentantestieneunerrordadoporlaexpresin: s errordemedida t 0.975 ( M 1) M 1 donde: M=nmerodereactivos s=desviacinestndardelasdificultadesdelosreactivos t0.975(M1)= valor de t de Student para 97.5% de confianza (5% en prueba estadstica de 2 colas)paraMreactivos(M1gradosdelibertad) Se puede obtener una tabla en donde se presenten algunos valores indicativos de la longituddelexamenodesuspartes,enrelacinconelerrordemedidaesperado: error% Nmeromnimodereactivos

20 12

15 19

12 27

10 39

5 131

Lainformacinestadsticaqueseobtieneapartirdelateoraclsicadeanlisisde losresultadosdeunaaplicacindelosinstrumentos,estilparaeldiseodeversionesde exmenes vlidos, confiables y objetivos, adems de que permite la mejora continua tanto de reactivos, como de las versiones de examen que se diseen a partir de los mismos, razn por la cual siempre se recomienda hacer una aplicacin piloto de los exmenes,esdecirunaaplicacinqueenlamedidadeloposiblerepliquelascondiciones de una situacin de prueba, principalmente en trminos de la representatividad de la poblacinalaquesedirige. En el caso de la aplicacin de exmenes objetivos a gran escala y de alto impacto; los estndares de calidad de la APA (1999) exigen realizar anlisis de reactivos y del comportamiento de la prueba; en estos casos resulta ms apropiado contar con modelos logsticos de anlisis para integrar bancos de reactivos a partir de los cuales se puedan generar exmenes que cumplan tanto las especificaciones de una tabla de validez de contenido, como los estndares de calidad necesarios para garantizar un proceso evaluativotcnicamenteimpecable.

49

ReferenciasBibliogrficas
Agra, M. J.; Gewerc, A. y Montero, L. (2003): El portafolios como herramienta de anlisis en experienciasdeformacinonlineypresenciales.Espaa,Enseanza,21. American Psychological Association, American Educational Research Association, National Council onMeasurementinEducation(1999):StandardsforeducationalandpsychologicalTesting. Washington.APA. Arraiz, A. y Sabirn, F. (2005): El portafolios, una herramienta intersubjetiva para la evaluacin etnogrficadecompetencias.EnActasAIOSP/IAEVGInternacionalConference,Lisboa,14 16deseptiembre. Barber,E.(2005).Laevaluacindecompetenciascomplejas.EDUCERE.Vol.31. Barragn, R. (2005): El portafolio, metodologa de evaluacin y aprendizaje de cara al nuevo Espacio Europeo de Educacin Superior. Una experiencia prctica en la universidad de Sevilla,RevistaLatinoamricadeTecnologaEducativa,4(1). Bloom, B. et al. (1990): Taxonoma de los objetivos de la educacin: Clasificacin de las metas educacionales.BuenosAires:ElAteneo. Casanova,M.A.(1998):LaEvaluacinEducativa.Mxico,SEPCooperacinEspaola. Casanova, M. A. (2007): Manual de Evaluacin Educativa. 9 ed. Madrid, Espaa, Editorial la Muralla,S.A. Centro Nacional de Evaluacin para la Educacin Superior, (1999): Manual Tcnico. Mxico, CENEVAL. CommitteeonTestStandards:AmericanEducationalResearchAssociation,NationalEducation AssociationandNationalCouncilonMeasurementsUsedinEducation(1955):Technical recommendationsforachievementtests.Washington:TheNationalEducationAssociation. Danielson, C. y Leslie, A. (1999): Una Introduccin al uso de portafolios en el aula. Mxico. Fondo deCulturaEconmico. Furst,E.J.(1994):Bloomstaxonomyphilosophicalandeducationalissues.EnL.W.AndersonyL. A. Sosniak (Eds.) Blooms taxonomy a frothyyear retrospective. 93rd Yearbook of the NationalSocietyfortheStudyofEducation. Gagn,R.M.(1970):Lascondicionesdelaprendizaje.Madrid:Aguilar. Gronlund,N.E.(1982):Elaboracindetestsdeaprovechamiento.Mxico:Trillas. Haladyna,T.M.(1997):Writingtestitemstoevaluatehigherorderthinking.Boston:Allyn&Bacon.

50

 Johns, J. (1992): How professionals view portfolio assessment en Reading Research and Instruction,nm.32,1. Jornet, J. M. (En prensa): La evaluacin de los aprendizajes universitarios. Publicaciones de la UniversidaddeCdiz. Jornet, J. M.; Snchez, P. y Leyva, Y. (2008) Dimensiones de clasificacin de los procesos de Evaluacin Educativa. En Jess M. Jornet y Yolanda E. Leyva (Coords.) Conceptos, metodologayprofesionalizacinenlaevaluacineducativa.INITE,Mxico. Klenowsky, V. (2005): Desarrollo del portafolios para el aprendizaje y la evaluacin: procesos y principios.Nancea,Madrid. Leyva, Y. E., (2009): Fundamentos de la educacin basada en competencias. (En prensa) Mxico, INITE. Leyva, Y. E., y Jornet, J.M. (2006). El perfil del evaluador educativo. Boletn CENEVAL, n 7 (Nov.), pgs.26.Mxico:CENEVAL. Marzano, R. J. (2000): Designing a New Taxonomy of Educational Objectives. Corwin Press, Inc. A SagePublicationsCompany.California. Marzano, R. J. (2006): Designing a New Taxonomy of Educational Objectives; 2nd. Ed., Corwin Press,Inc.ASagePublicationsCompany,California. Merrill,M.D.(1994):Instructionaldesigntheory.EnglewoodCliffs,NJ:Educational.

Miras,M.ySol,I.(1991):Laevaluacindelaprendizajeylaevaluacinenelprocesoenseanza aprendizaje. En Coll, C., et. al. (Comp.) Desarrollo Psicolgico y Educacin II. Psicologa de laEducacin.Espaa:AlianzaEditorial. Murphy, R. (2006): Evaluating new priorities for assessment in higher education. En C. Bryan y K. Clegg(Eds.)InnovativeAssessmentinHigherEducation.NewYork.Routledge. National Education Association (1993): Student Portfolios, Washintong, D. C. National Education Association. Poln,L.(1991):PortfolioAssessment.InTheWritingNotebook,Nm8,3 Ramos, G. Perales, M. J. y Prez, M. A. (2009): El concepto de Evaluacin Educativa. En Jess M. Jornet y Yolanda E. Leyva (Coomps.) Conceptos, metodologa y profesionalizacin en la evaluacineducativa.Mxico,INITE. Scriven, M. (1967): The methodology of evaluation: Perspectives of curriculum evaluation. AERA monographseriesoncurriculumevaluation,1,3983.Chicago:RandMcNally

51

SedaSantana, I. (2002): Evaluacin por portafolios. Revista Latinoamericana de Estudios Educativos.134. Stevens, D. D. & Levi, A. J. (2005): Introduction to Rubrics: An Assessment Tool to Save Grading Time, Convey Effective FeedbackandPromoteStudentLearning.Canada,StylusPublishing, LLC. Tenbrink, Terry (1997): Evaluacin: Gua Prctica para Profesores. Madrid, Narcea S. A. de Ediciones.255273. Tuckman,B.W.(1979):Evaluatinginstructionalprograms.Boston:Allyn&Bacon. Tristn Lpez, Agustn (1995): Nuevas capacidades de Kalt para el dictamen de cuestionarios objetivos.MemoriadelIForoNacionaldeEvaluacinEducativa.Mxico:CENEVAL. Tristn,Agustn,(1996):FormulacindirectaparacalcularlaConfiabilidadconAlfadeCronbach, CuadernosdelCENEVAL961. Tristn, Agustn (1999) Contribucin al estudio del error de medida (parte 1). Notas sobre EvaluacinCriterial.CENEVAL/ICI. Tristn, Agustn (1999) Contribucin al estudio del error de medida (parte 1). Notas sobre EvaluacinCriterial.CENEVAL/ICI.

Yniz,C.yVillardn,L.(2006):Planificardesdecompetenciasparapromoverelaprendizaje.Bilbao, Mensajero.

Wiggins, G. (1989): A True Test: Toward More Authentic and Equitable Assessment. Phi Delta Kappan,70/9,703713.

52