Capitulo 7: Evaluaciones estandarizadas: Reflexién inicial Parte ¥. Conteste las siguientes preguntas 1. 2Qué tipo de evaluaciones estandarizadas toman sus estudiantes? 2. Qué conceimientos, habilidades 0 competencias se miden en estas evaluaciones? eDe qué manera utiliza usted los resultados de estas evaluaciones es- tandarizades para guiar su proceso de ensefianiza en el aula de clase? Parte 2. Imparto de las exaluaciones estandarizadas #Cada cudnto uthza informacién o los resultados de las ewaluaciones es- tandarizadas para las siguientes actividades? ¢De qué manera lo hace? Para planear sus cursos Para seleccionar estrategias pedagogicas Para disediar materiales de clase Para disediar actividades de clase Para disefiar evaluaciones en clase Para retroalimentar a sus estudiantes Para identificar las fortalezas de cus estudiantes Para identificar debilidades en sus estudiantes Para remediar las debilidades de sus estudiantes 10. Para evaluar los progresos de cus estudiantes 11, Para evaluar su efectividad docente WOU ~~ Las evaluaciones estandarizadas En una evaluacién estandarizada las condiciones son las mismas para to- dos los participantes. La estandarizacin se da a varios niveles: presenta 13 Le cnn ame bein caiAes bier, cidn, formato, tipo de preguntas, instrucciones, administeacién, mimero de preguntas, tiempo para contestar, sistema de calificacion e interpreta- cidn; esto permite que generalmente se puedan comparar los resultados de Jos estudiantes que las toman. Entre sus fortalezas encontramos que son prdeticas ylos resultados se pueden agregar y comparar Por otro lado se dicen que las evaluaciones estandarizadas son limitadas dado que no oftecen suficiente informacion, tienden a tenes sesgos, generalmente usan preguntas de seleccién, pueden Limitar el cusriculo, se confeccionan con base en nosmas y sus cesultados producen con frecuencia una dusién falsa de calidad Por lo general, las evaluaciones estandarizadas constituyen “altas apues- tas”. Es decir, estas evalvaciones se pueden utilizar para tomar decisiones impertantes (por ejemplo, la promocién, el logro, el empleo, la seleceién), que afectan alos individuos o las instituciones que las toman. Por ejemplo, los resultados del examen TOEFL pueden determinar si un estudiante cumple con los requisitos insutucionales de lenguas extranjeras, 2 puede solicitar una beca 0 si se le premia con una asistencia en un programa de postgrado. Mirada critica a las evaluaciones estandarizadas Segin Messick (1981) las evaluaciones estandarizadas estin siempre situa- das dentro de un contexto politico, social o cultural especifico. Es decis, existen muchas fuerzas externas ~politieas, leves, decretos— al srstema edu- cativo que obligan a las instituciones a usar los resultados de las evaluacio- nes estandarizadas de diferentes maneras, El problema es que a menudo estas fverzas externas estén en conflicto con la forma come se debesian sas las evaluaciones paca infozmar el proceso de ensedanza y aprendizaje Brindles, 1998) En muchos sistemas educativos se adoptan las evaluaciones estandarizadas para que haya equidad. La intencién ¢s la darle a todos los estudiantes la misma oportunidad de demostear qué y cuinto saben, y por lo tanto se les daa todos la misma evaluacién, Pero esta es una solucién muy simple para un problema muy complejo. El hecho que todos los estudiantes tomen la misma evaluacién no significa necesanamente que haya equidad. Para que verdaderamente haya equidad en la educacién, todes los estudian- senagemase m4tes tendsian que tener acceso a las mismas oportunidades y a los mismos secucsos. Lafortunadamente, esto estd muy lejos de la realidad de la edu- cacién en la mayorla de los paises. Existe inequidad en muchos aspectos incluyendo: recursos materiales y humanos, contenido de los programas, calidad de los cursos, formacién de los profesores, intensidad horania, apo- yo institucional y familiar entre otros. Pareciera que existiezan dos alternativas para mejorar la baja calidad de la educacion. Una es darle a todas las instituciones los materiales y la forma- cién necesaria paca poder subir el alvel y la otra es institocionalizar uaa evaluacin estandarizada y forzar a todas las instituciones a preparar a los estudiantes o que estos mismos se preparen para aprobar estas evaluacio- nes independientemente de sus recursos ¥ de la formacién de los docentes (\adaus, 1988). Segin (Linn, 1998), la segunda opcidn es la mis ficil de implementar por las siguientes razones: + En comparacién con otras alternativas, disefiar una evaluacién nueva €s menos costoso que, por ejemplo, dotar 2 las instituciones con mejo- res recursos y materiales, entrenar a los profetores, reducix el nimero de alumnos por clase, aumentar el calendario escolar 0 contratar pro- fesores nuevos, = Una evaluacién nueva se puede imponer extemamente, por ejemplo, por ley 0 por decreto. Es mas facil requerir que todos los estudiantes de un pais, depactamento o ciudad tomen una evaluacion estandan- zada, que requezir que se hagan cambios a nivel interno dentro de las instituciones (por ejemplo, cambiar el curriculo, cambiar la metodolo- gia de ensefianza, cambiar los materiales, cambiar el tipo de acuridades: que se hacen, o formar a los docentes) + Los cambios en una evaluacién se pueden implementar en un tempo relatwamente corto. Igualmente, los resultados de una evaluacién son visibles, se pueden hacer publicos 7 se pueden usar para demostrar si hay mejozia o no. El problema radica en que las evaluaciones estandarizadas ton simplemen- te instrumentos para medir el aprendizaje y no instrumentos para resolver la baja calidad de la educacién. Por ejemplo, si tenemos ficbre, usamos us Le aaa cont marmeeagar lercogeet te, tun tesmémetzo para medic la temperatura. Pero por el hecho de haber usado un termémetzo no sc nos va a reduc la ficbse. Pasa poder sedu- cir la fiebre es necesario aplicar un remedio o un tratamiento. Lo mismo ‘ocurre con la calidad de la educacién. Las evaluaciones estandatizadas nos pueden dar informacion sobre lo que saben hacer los estudiantes, o sobre las deficiencias que tienen, pero no nos van a resolver sus deficiencias de conocimiento, La informacién que nos dan es importante, pero es nece- sano tomar otras medidas para resolver los problemas de la baja calidad en la educacion, Igualmente, existe la posibilidad de que los resultados de los eximenes estandarizados no ceflejen Gnicamente difecencias en conocimientos ino también diferencias en la calidad de Ja educaci6n que se les daa los estu- diantes y diferencias en recursos que tienen las instituciones. Es impor- tante determinar si las diferencias en los resultados entre los diferentes grupos de individuos (por ejemplo, raza, repién, clase social, tipo de co- legio) se deben a diferencias en conocimientos y no a diferencias en las oportunidades y en el acceso a recursos materiales y humanos, Algunes estudios han mostrado que las diferencias entre los diferentes grupos de estudiantes no se deben a diferencias en conocimiento sino que se deben mis alas diferencias sociales © culturales que existen entre ellos (Garcia y Pearson, 1994; LaCelle-Peterson Rivera, 1994; Ogu, 1992) Como a menudo se usan los resultados de las evaluaciones estandasizadas como Unico eriterio pata tomar decisiones importantes, se corse el riesgo que los resultados de la evaluacién no sean una muestra vilida del cono- cimiento que tiene cada estudiante, ya que existen muchas otras variables extiafias que no hacen parte del constructo de evaluacién que se esti mi- diendo y que pudieran tener un efecto en el zesultado de la evaluacién (Messick, 1989). Por ejemplo, motivaci6n, interés, estado de dnimo, can- sancio, enfermedad, autoestima, ansiedad, nervios, entre otros. También ocurre que este tipo de evaluaciones se conviecte en una com- petencia a pesar de que esta no sea la intenciéa de las institaciones que las practican. Aunque las competencias no son necesariamente negativas, ‘en esta competencia no todos los pasticipantes compiten bajo las mismas condiciones ya que las instituciones e individvos com mayores recucsos pueden tener una ventaja sobre las instituciones y los individuos que no annem 16pia Senha eondoiedes tienea las mismas oportunidades porque pueden contratar profesores par- uculares o asistir a cursos especiales para prepararse para el examen. Coa esto se crea una competencia no equitativa. Esta inequidad puede conducir a que se usen los cesultades de una eva- Iuacién estandanizada para castigar a las vietimas (los estudiantes) y no se penaliza alos verdaderos culpables (la calidad de la educacién que se imparte en algunos colegios 0 en algunos salones de clase). A lo mejor el problema no es el estudiante sino la instituciéa educativa, l nivel de los profesores, el contenido de los programas, los secursos con que se cuentan © simplemente la calidad de la educaciéa que reciben. Las evaluaciones estandarizadas como instrumentos de poder Histéricamente, las evalvaciones se han usado como mecanismos de con- trol F poder (Madaus, 1988). Segéa Foucault (1979), las evaluaciones son observaciones normalizadas 0 métodos de vigilancia que nes permiten cuantificar, clasificar y castigar. Las evaluaciones tambien se pueden per- cibir como instrumentos simbdlicos ¢ ideolégicos para mantener las es- trueturas sociales de Ia clase élite, la cual usa las ewaluaciones para mante- ner y conservar su lugar en la sociedad (Bourdieu, 1991). Esto es lo que Foucault llama “poder conocimiento”. Es decir, el conocimiento es un instrumento de poder y las evaluaciones se convierten en un método de despliegue de ese poder y de la busqueda de la verdad, Las instituciones y los profesozes a menudo usen las evaluaciones pasa detecminas qué sabea Jos estudiantes y para controlar su conducta dirigiéndolos hacia qué se debe estudiar, Las evaluaciones también sirven como documentos o pruc- bas del conocimiente de los estudiantes. Estos documentos a sv vez dan informacién detallada sobse los estudiantes y permiten que los sistemas de poder los controlen (por ejemplo, promedio académico, nota parcial, nota final). Los que tenen el poder, es decir, las instituciones educativas, usan estos documentos para fosmular categocias, promedios y norms que a su ‘vez se convierten en una base para el conocimiento. Los resultados de una evaluacion o de un sistema de evaluaciones se con- vierten en un método para controlar y estos pueden determinar nruchos aspectos importantes en la vida de los estudiantes. Madaus (1988) zesalta que los resultados de las evaluaciones determinan frecuentemente el fa- 7 _Leesiasin con teres fr desAbe Be, ture que puede tener un individso. Por ejemplo, las evaluaciones pueden abrir 0 cerrar puertas, dar o quitar oportunidades y en cierta forma, de- terminar el rumbo que estos estudiantes toman en la vida. Los resultados de las evaluaciones pueden tener un efecto perjudicial 0 negativo en los estudiantes dependiendo de las decisiones que se tomen a partir de ellos. ‘Un resultado positive puede avalar el éxito que un individuo puede tener © puede dacle acceso a muy buenas oportunidades (por ejemplo para apro- bar un curso, graduarse, tenex acceso a una educaciéa de alta calidad, ob- tener una beca, obtener un buen trabajo). Y por el contrario, un resultado negative en una evaluacién puede destruix la vida de un individuo, creade una autopercepcién negativa o colocale obsticulos para que pueda alean- czar todas sus metas. Este problema se ve reflejado en muchas evaluaciones estandarizadas. En el caso de Colombia tenemos el Examen de Estado, 0 prueba Saber 11 Los resultados de esta evaluacién estandasizada determinan a qué instits- ciones de nivel supesior puede tener acceso 0 a qué carreras puede aspixar wun individue, Estas decisiones pucden delimitar icreversiblemente el fa- turo de cada estudiante. Ain cuando estos estudiantes puedan tomar este examen en mds de una ocasion, el resultado del primer examen influye dedsticamente en la autoestima de cada individuo porque no se cuestionan J se inteepretan como evidencia de su limitade conccimiento. Ipualmente, se pude daz el caso del efecto del “Lage Wobegon” (Kozetz, 1988), en el que la mejoria entre los resultados de una evaluacién y otra no se debe a que se ha adquiido mis conocimiento, sino a que el individuo esti més familiarizado con la evaluacién porque la ha tomado varias veces Pox otua parte, vemos que las evaluaciones son instrumentos que tienen mucho poder porque dan informacion y pueden propiciar eambios (Li, 1990). Las evaluaciones tienen el poder de informar sobre el proceso de ensedianza y de apzendizaje. Por ejemplo, las evaluaciones pueden daz in- formacién a las instituciones, a los profesozes, al estudiante y a les padres de familia sobre lo que los estudiantes saben y pueden haces, y sobre la efectividad de los métodos, materiales y actividades que se estin usando. Igualmente, las evaluaciones también tienen el poder de propiciar o fo- mentar cambios. Por ejemplo, los resultados de una evaluacién pueden obligac a un profesor a usar métodos, materiales o actividades diferentes oa reforzar Un tema especifico, De igual manera, los resultados de una aesuparsons 8evaluacién pueden obligar al estudiante a estudiar més, a venir a clase mas frecuentemente, o usar estrategias de estudio diferentes. Las evaluaciones adquicren ain mas poder si se usan como el nico indicador del proceso de aprendizaje (Madaus, 1988). Infortsnadamente, muchas instituciones de educacién superior en Colombia usan los resultados del Examen de Estado como inico criterio para tomar decisiones sobre quicnes tienen acceso a la institucion y a qué carreras En un sistema de evaluacién de! aprendizaje existen varios grupos de in- dividuos. Infortunadamente, existe una relacion de poder desigual entre los grupos que conforman un sistema de evaluacioa (Hamp-Lyons, 2000) Estos grupos se pueden dividir en dos categorias: los grupos que tienen el poder de tomar decisiones ~ los que disefian y administran las evalua- cones ~ y los grupos que van a estar disectamente afectados por estas decisiones — los que toman el examen, Generalmente, los que toman las decisiones son las instituciones 7 los ditectamente afectados son los in- dividuos (Madaus, 1988). Entze los grupos que tenen el poder de tomar decisiones encontramos a los directivos que imponen las politicas educa- tivas (ministetios y secretasias de educacién, rectores) 7 los que disefian el examen (entidad publica o privada, investigadores, profesores). Estos gropos determinan qué se evaliéa, cémoy cudndo se evakia, cémo wsar las evaluaciones, cémo calificarlas, + cémo se deben interpretar los resultados Entre los grupos que pueden estar directamente afectados por las decisio- nes que se toman con base en los resultados de las evalvaciones encontra- mos a los colegios, los profesores, los padres de familia y los estudiantes Los colegios pueden estar directamente afectados por los resultados delas evaluaciones estandanizadas porque los zesultados de estas se pueden usar para compararlos con otzes colegios o para determinar si un colegio se puede clasificar como de alto o bajo rendimiento. Los profesores también se pueden ver dizectamente afectados con los resultados de uaa evaluaciéa porque esta se puede usar para evaluar su efectividad o su calidad como docentes El impacto de las evaluaciones estandarizadas Andrews (2004) define el impacto de una evaluacién como el efecto que esta tiene sobre la ensedianza y el aprendizaje, sobre el sistema educative 119 Lreaissie sane lorentes peoe senediogeteat toe, y sobre los diferentes grupos de participantes que componen el sistema educativo. Algunos estudios han encontrado evidencia de que le que se evalia induye en lo que los profesores ensefian en las aulas de clases (por ejemplo, Linn, 2003; Stecher y Hamilton, 2002). Las evalcaciones cuyos resultados se usan para tomar decisiones importantes en la vida de los es- tudiantes, tienden a tener un mayor impacto en les programas académicos yen el contenido de los cursos. Por lo tanto, el objetivo de los programas académicos se distorsiona si no estin alineadas consistentemente. Para po- der reforzar los contenides de los estindares es muy importante que estos estén alineados con los contenidos de las evaluaciones Los contenidos ¥ los procesos cognitivos que se estin eviluando en los exdmenes deben representar adecuadamente el cusriculo. Las evaluaciones no se pueden limitar simplemente a evaluar partes del cursiculo que son mis faciles de evaluar. Si se quiere promover el aprendizaje de los conte- nidos desesitos en el cucsiculo, las evaluaciones deben estat alienadas con aleussieulo (AERA, 2002). Como se acoté anteriormente, las evaluaciones son instrumentos muy po- dexosos. Este poder puede ser tanto negative come positive dependiendo del impacto que tengan sobre los diferentes grupos o individuos. Inicial- mente se pensaba que si una evaluacién era “buena” iba a tener un efecto positivo, y por el contrario si la evaluacién era “mala” iba a tener un efecto negativo, Pero en realidad el tipo de efecto o impacto que pueda tener una evaluaciéa es totalmente independiente de su calidad (Alderson y Wall, 1993). La calidad del impacto que puede tener una evaluacion depende de va efecto sobre el proceso de aprendizaje. Es decir, sila evaluacion facilita el proceso de aprendizaje, el efecto se puede considerar como positivo. Por el contrario, sila evaluacién impide el proceso de aprendizaje, el efecto se puede considerar como negativo. Sintilizamos los conceptos de Foucault, podemos inferir que muchas eva- juaciones estandarizadas se usan para vigilar, cvantificar y clasificar a los colegios ya los estudiantes ya que todos tenen la obligacién de tomaclas, sus resultados se'van a cuantificar y a clasificar de acuerdo a una escala pre- establecida para alimentar un registro sobre cada estudiante e institucién. Estas evaluaciones estandarizadas, intencionalmente 0 no, estin ejercien- do un control del contenido del curriculo que cada institucin educativa y venegemmane 120profesor debe enseiiar en el saldn de clase. Ademés, muchas instituciones wzatan de alinear sus ensefianzas al contenido y formato de la evaluacién estandarizada. Los estudiantes tambien tratan de alcanzar ¢l conocimiento que se va a evaluar y pueden optac por prepasarse individualmente para tomarla o inscribi¢ndose en un instituto especializado en preparacién para la evaluacién. Esto implica que las instituciones educativas o individuos gue no tengan los recursos para poder prepararse para tomar la evaluacién van a estar en desventaja. De igual manera, algunas evaluaciones o algunos sistemas de evaluaciéa del aprendizaje estin sujetos a abusos porque sus resultados se pueden interpretar de diferentes maneras (Hamp-Lyons, 1997). Por ejemplo, en Australia se usa ua examen de inglés que fue disefiado para medi la suf- ciencia inptistica de adultos que estia apsendiendo inglés como segunda lengua para controlar el flujo de inmigrantes a ese pais y para determinar a quién se le da residencia permanente (Hawthorne, 1997). Igualmente, Binet disefié el examen de inteligencia (més conocido como el examen de cociente intelectual, IQ) para poder diagnosticar 5 corregic problemas, Peco en la cealidad, este examen se usa para oxdenac, clasificar, © segeegar a los estudiantes (Lemann, 2000) La mayoria de los conceptos, habilidades o competencias que se miden a través de las evaluaciones estandanzadas son conceptos abstractos 0 te6- sicos, Lo que la evaluacién mide es la operacionalizaci6n de estos concep- tos. Las imitaciones de las evaluaciones estandanizadas se deben tener en cuenta porque éstas también van a limitar la forma como se pueden usare interpretar los resultados y las inferencias que se pueden hacer con base en ellos. Por ejemplo, las evaluaciones estandarizadas no pueden medix todo el conocamiento © todas las habibdades o competencias. Las evaluaciones estandarizadas son solamente una pequefia muestra de estos constructos Existe la necesidad de mirar criticamente la forma como se usan los exi- menes estandarizados, especialmente a aquellos que se usan como tnico caitesio para tomar decisiones importantes en la vida de los estudiantes Es importante examinar el impacto que tienen estas evaluaciones en la comunidad, las instituciones y los individvos, Esta es una invitacién a ce- flexionar criticamente sobre las evaluaciones estandarizadas, en especial, cobre come fueron disefiadas, qué miden, cémo se deben usar, como se 121 Lapakene cme emer or estedeben interpzetar 7 qué clase de decisiones se pueden tomar con base en los resultados. Actividad final Critica Seleccione una evaluacién estandarizada que sus estudiantes tomen actual- mente (Saber 5, Saber 9, Saber 11, PISA, TIMSS, Saber Pro, TOEFL, ete) y con base en ésta conteste las siguientes preguntas. 2Cémo se llama la evaluacién estandarizada? 2Coindo toman sus estudiantes esta evaluacion? Por qué toman sus estudiantes esta evaluacién? 2Cuil es el propésito de esta evaluacion? 2A quién evalta? Haga una descripcidn de los estudiantes que las to- sman. 6. Describa la evaluacién, Incluya informacién sobre tipo de prucba, tipo de preguntas, mimero de preguntas, etc 2Qué constructos mide esta evaluacién? Describa los conocimientos, habilidades o competencias que se cvalian. 8. 2Cémo se califica esta evaluaciéa? Cémo se usan y s¢ interpzetaa los resultados de la evaluacién? Qué tipo de decisiones se toman con base en los resultados? 9. Cree usted que esta evaluacién tiene algiin sesgo? Explique su es- puesta. 10, ;Cudles son las fortalezas y limitaciones de esta evaluacién? 11. Qué impacto tene esta evaluacién en sus estudiantes? /Qué impacto tienen en su proceso de ensefianza? 12. -Qué recomendaciones dasia para mejorar etta evaluacién? veep wenmpereens 122