MANUAL PARA LA

CONSTRUCCIN DE TEMS

Con el fin de garantizar alta calidad en los tems y por ende de las pruebas, se hace necesario disponer de un manual tcnico dirigido a todos aquellos docentes responsables de pruebas, que participan de alguna manera en el proceso de construccin de ellas, a fin de orientar de una forma estandarizada la construccin de tems. Sin embargo, teniendo en cuenta que los docentes y equipos de gestin desarrollan numerosos programas de evaluacin en los diferentes niveles de educacin formal (b sica, media, S!"C#, $S% u otras& se plantea este manual como base a tener en cuenta si se requiere construir un sistema evaluativo en alg'n caso. #s un requisito para quienes construyen tems que dominen los planteamientos del marco de fundamentacin conceptual establecido y vigente, as como las especificaciones tcnicas del instrumento, a fin de que cada pregunta aporte su m (imo potencial evaluativo al propsito de evaluacin planteado. CARACTERSTICAS DE UNA PRUEBA OBJETIVA

Se determina previamente una estructura de prueba, en la cual se resumen las reas o componentes&, las dimensiones y el tipo de

caractersticas importantes de la misma* el ob+eto de evaluacin, la dimensin disciplinar (los contenidos que abordar , organizados en preguntas que utilizar . cognitivas (competencias, aptitudes, conocimientos, etc.& que evaluar

Comprender que miden el grado en el cual una persona posee una determinada

cualidad o tributo a travs de un n'mero. #sto se logra gracias a que los criterios de calificacin est n establecidos previamente, sobre los cuales ha habido acuerdo desde el momento mismo de la construccin de la prueba.

-os tems se acompa.an de un n'mero reducido y limitado de opciones de

respuesta, entre las cuales el e(aminado debe escoger aquella que me+or responda al tem. #n las pruebas cualitativas, en cambio, los tems son abiertos y buscan que el mismo estudiante construya la respuesta.

/odos los e(aminados son sometidos al mismo instrumento de evaluacin, aplicado

ba+o condiciones estandarizadas (de espacio, tiempo, etc.&, es decir las mismas pruebas y los mismos tems para todos.

) )

$osibilitan evaluar grandes grupos de personas de forma masiva y simult nea debido Cabe reiterar que con las pruebas ob+etivas se tiene la intencin que sean adem s un

a la facilidad de ser calificadas por medio de m quinas y sistemas computacionales. instrumento pedaggico, esto es que ense.e a quien lo responde y enriquezca a quienes lo construyen, es un punto de partida y no de llegada, que debe suscitar refle(iones de la comunidad acadmica. CARACTERSTICAS O ATRIBUTOS DE UNA PRUEBA OBJETIVA PARA QUE CUMPLA CON UNOS DETERMINADOS FINES $ara que las pruebas ob+etivas cumplan con los fines para los cuales se dise.an, deben tener fundamentalmente tres caractersticas* confiabilidad, validez y equilibrio. Confiabilidad -a medicin de la caracterstica o cualidad en aplicaciones sucesivas de la prueba debe ser similar. #s decir, si aplicamos la prueba en diferentes momentos, se deben obtener los mismos resultados ba+o condiciones idnticas. Valid ! %na prueba es v lida si mide lo que se pretende medir. #l grado de validez de una prueba se refiere a la e(actitud con la cual se mide la cualidad o atributo que se quiere medir con la prueba. #s el grado en el cual las interpretaciones sobre el ob+eto de evaluacin (competencias, conocimientos, etc.& de una persona o un grupo de personas, son correctas, a partir de su o sus respuestas a una pregunta. -os siguientes tres factores afectan negativamente la validez, por lo cual se deben eliminar en el proceso de construccin de tems*

) ) )

-a tarea a la cual se enfoca el tem no es relevante para la evaluacin del ob+eto #n el tem se incluye informacin que facilita o dificulta su interpretacin y por ende 0dicionalmente, la validez del proceso evaluativo sera ine(istente si las preguntas

definido en el marco de fundamentacin. su resolucin. son conocidas por todos o algunos miembros de la poblacin ob+etivo antes de su aplicacin. $or lo anterior, la "onfid n"ialidad en el proceso de elaboracin de preguntas es un compromiso esencial de quienes participan en la construccin de las pruebas. E#$ilib%io $ara poder hacer una adecuada discriminacin del desempe.o en el grupo a evaluar, que tengan la posibilidad de e(hibir sus habilidades de desempe.o, es necesario mantener un adecuado equilibrio en la cantidad de las preguntas por dimensin disciplinar (componentes&, dimensin cognitiva (competencias, aptitudes, etc.& y comple+idad (ba+a, media y alta& CONSTRUCCIN O ELABORACIN DE PRE&UNTAS %n instrumento de evaluacin es un con+unto intencionalmente articulado de tems a travs de cuya aplicacin se infiere el desempe.o de quienes son evaluados en relacin con el ob+eto de evaluacin. %na prueba es m s que la simple suma de tems que la conforman, aunque su poder evaluativo se deriva de la potencia para evaluar que tengan todos y cado una de ellos. Se espera que un instrumento de evaluacin sea una unidad evaluativa completa, armnica, que responda efectivamente a los propsitos planteados en su marco de referencia y a las caractersticas definidas en las especificaciones de prueba. Siendo as, la construccin de tems una actividad crucial en la cual se materializan los propsitos y caractersticas establecidos. 1acer buenos tems implica tambin conocer y aplicar aspectos tcnicos en su formulacin* las caractersticas de los distintos tipos de preguntas susceptibles de utilizacin, las reglas e(istentes para su correcta elaboracin y los factores que pueden alterar su validez. 2uiz s, por todo esto, la tarea m s difcil en el proceso evaluativo es construir tems que se a+usten a las especificaciones de prueba y que, efectivamente, respondan al propsito de la evaluacin.
'

#s pertinente plantear que el proceso de construccin de tems e(ige din micas de refle(in y discusin entre pares y el apoyo de e(pertos que garanticen la calidad y pertinencia de cada tem. 3espus de elaborados los tems, el instrumento se ensambla de acuerdo con las especificaciones psicomtricas y se somete a revisiones por parte de pares o e(pertos en los aspectos conceptuales o disciplinares, etc., que sirven al propsito doble de controlar la calidad evaluativa y verificar que se disponga de las adecuadas condiciones editoriales del instrumento. TIPOS DE PRE&UNTAS Corresponde a la forma en la cual se estructuran las preguntas. -a siguiente gr fica muestra una clasificacin de los tipos de preguntas, establecida a partir de la accin que el evaluado realiza para producir una respuesta cuando se enfrenta a cada tipo de pregunta* $ara cada tipo de pregunta que se utiliza en un instrumento de evaluacin, deben especificarse las instrucciones correspondientes. -as in()%$""ion ( son el con+unto de recomendaciones o pasos que guan y dan informacin acerca de cmo proceder para responder la pregunta. -as instrucciones deben presentarse de manera clara y en lengua+e adecuado al nivel de los e(aminados, en algunos casos resulta recomendable mostrar un e+emplo sencillo antes de empezar el e(amen propiamente, sobre todo si no se ha elaborado instructivo para los e(aminados. 0unque las instrucciones generalmente no se presentan para cada tem, sino que son comunes para grupos de ellos, se han considerado como un elemento importante del tem puesto que la respuesta del e(aminado puede verse seriamente alterada por la forma cmo se entiendan las instrucciones.

ESTRUCTURA DE UNA PRE&UNTA DE SELECCIN M*LTIPLE CON *NICA RESPUESTA

Con) +)o #s la informacin necesaria para la resolucin de una problem tica. #n algunas ocasiones el conte(to no se e(plicita porque corresponde al marco de referencia del ob+eto de evaluacin. #n otras ocasiones el conte(to puede ser un te(to 4por e+emplo, en tems de comprensin de lectura4, una gr fica, un dibu+o, una tabla o cualquier otra forma de presentacin de la informacin a partir de la cual se deriva el enunciado. En$n"iado #s el planteamiento de la problem tica que se espera sea resuelta por el evaluado. #n el enunciado se e(pone la )a% a de evaluacin elegida para dar cuenta del ob+eto evaluado y por tanto dirige el esfuerzo del evaluado para generar o seleccionar una respuesta. #n algunos tems el enunciado est contenido dentro del conte(to y en otros el enunciado hace referencia a informacin que aparece 4como conte(to4 de manera independiente en el instrumento. #ste debe proveer una idea completa y clara de la tarea de evaluacin, que contenga la informacin necesaria y suficiente para contestar el tem.

O-"ion ( d % (-$ ()a Son posibles respuestas a la problem tica planteada en el enunciado. $ara el tipo de pregunta de seleccin m'ltiple con 'nica respuesta slo una de ellas es ./lida (conocida como Cla. 01 las dem s no responden en forma completa o pertinente a la problem tica formulada 2o-"ion ( d % (-$ ()a No Valida(3 )a4bi5n lla4ada( di()%a")o% (03 pero resultan plausibles para los evaluados que no dominan la tarea de evaluacin. -a opcin que responde correctamente (Clave& a la tarea debe diferenciarse de las dem s opciones por su contenido y no por sutilezas del lengua+e. %na opcin no v lida puede ser un error com'n, una afirmacin verdadera pero que no contesta completamente a la pregunta o no satisface las e(igencias del problema. RE&LAS PARA LA CONSTRUCCIN DE TEMS DE SELECCIN DE RESPUESTA -a e(periencia en la construccin de tems, as como algunos estudios adelantados sobre las tcnicas que conduciran a desarrollar tems de alta calidad, permiten contar en la actualidad con un con+unto de reglas para la construccin y administracin de los tems.

0& R 6la( (ob% a(- ")o( 6 n %al ( d la "on()%$""i7n d 8) 4( ) ) ) )

$lanear la construccin de tems contemplando el tiempo suficiente para la edicin y 5erificar que en todo el instrumento (portada, te(tos, instrucciones, tems, etc.& no %tilizar un lengua+e claro, preciso y directo, que permita reducir al mnimo el tiempo 6alancear la dificultad de los tems para que el instrumento cubra los niveles de

las revisiones establecidas. e(istan errores gramaticales, de puntuacin, de ortografa o de abreviaturas. que el evaluado debe emplear para leer cada tem y la prueba en general. habilidad de la poblacin ob+etivo, es decir, la prueba debe incluir preguntas de dificultad alta, media y ba+a.

6& R 6la( (ob% la "on()%$""i7n d l "on) nido d lo( 8) 4( )

#vitar la elaboracin de tems que confundan al evaluado. 0lgunos estudios han

encontrado situaciones en las cuales los evaluados perciben que los tems son confusos, por algunas de las situaciones que se mencionan a continuacin*

) /ener un contenido trivial. ) -a presencia de informacin irrelevante. ) !nformacin ambigua en las opciones de respuesta. ) -a discriminacin muy fina entre las opciones de respuesta. ) -a presencia de informacin o principios presentados en formas distintas a como han sido
aprendidos por la poblacin evaluada, en el proceso educativo.

) 5erificar que cada tem corresponda a una tarea de evaluacin definida en la estructura
de prueba.

) #vitar la evaluacin del mismo aspecto especfico con varios tems. ) $lantear una sola problem tica en cada tem. ) #vitar tems que incluyan posiciones ideolgicas o pre+uicios. ) %tilizar un vocabulario adecuado para la poblacin ob+etivo. ) 5erificar que cada tem sea independiente y no provea informacin para responder otros
tems.

) 7o utilizar tems que aparezcan en !nternet, libros, revistas u otros documentos, como
base para sus tems, es decir construir tems originales.

) #vitar tems sobre conocimientos muy especficos. ) #vitar tems en los cuales se indague por la opinin del evaluado. ) #vitar tems cuya respuesta v lida se determine seg'n la opinin de quien lo construy. C& R 6la( (ob% la "on()%$""i7n d l n$n"iado d lo( 8) 4( ) #vitar la utilizacin de nombres y apellidos para referirse a personas. !gualmente la
denominacin de empresas, municipios, ciudades. $or e+emplo* "ara "artnez, $edro $rez, 1ospital San 8uan de 3ios, 0lmacn #l 6odegazo, el "unicipio de San Sebasti n, Concepcin, en su lugar una paciente, un 1ospital, un almacn, un municipio, una ciudad.
9

) 5erificar que las directrices planteadas en el enunciado son claras y que se pueda
reconocer claramente lo que se est preguntando (la tarea propuesta&.

) #vitar te(tos e(cesivos. ) 9edactar el enunciado en forma positiva, es decir, evitar al m (imo las negaciones. 3e
ser necesaria la negacin 2NO3 E:CEPTO3 etc.& debe registrarse en may'sculas y negrita.

3& R 6la( (ob% la "on()%$""i7n d la( o-"ion ( d % (-$ ()a )

#l n'mero de opciones de respuesta es de cuatro (:&. 3iversos estudios han

analizado la cantidad de opciones 'tiles para los propsitos de la evaluacin que debe contener una pregunta.

) ) ) )

5erificar que cada opcin tenga concordancia gramatical con la proposicin del #vitar opciones f cilmente descartables, por ser obvias o de otros ordenes ;rganizar las opciones de respuesta numricas, de menor a mayor o de mayor a 5erificar que las opciones sean independientes entre s. 7o deben solaparse o

enunciado. gramaticales o sem nticos. menor, de manera que sea consistente en todo el instrumento de evaluacin. intersecarse y no deben ser sinnimas.

) /ener en cuenta que todas las opciones se refieran al mismo contenido. )

5erificar que las opciones tengan una longitud similar, por lo menos por pares de opciones.

) 7unca utilizar como opcin de respuesta* o /odos(as& los(as& anteriores. o 7inguno(a& de los(as& anteriores. o 0 y 6 son correctas (o cualquier combinacin de opciones& ) 9edactar las opciones en forma positiva, es decir, evitar las negaciones. )
7o repetir en las opciones frases o palabras significativas contenidas en el enunciado.

) #n general evitar en las opciones el uso de adverbios como* o Siempre o 7unca

o /otalmente o 0bsolutamente o Completamente )

#quilibrar la posicin de las opciones v lidas o claves de los diferentes tems del

instrumento. #s recomendable que aparezcan las claves proporcionalmente en cada posicin posible.

#vitar que la opcin v lida pueda ser identificada f cilmente por contraste con las

dem s opciones, por alguna de las siguientes situaciones*

) /ener la mayor o menor longitud. ) Ser la proposicin de mayor precisin o imprecisin. ) #star redactada en un tipo lengua+e diferente (tcnico o com'n&. ) /ener el mayor nivel de generalizacin o de particularizacin. ) /ener las mismas palabras que el enunciado. )
8ustificar adecuada y suficientemente cada una de las opciones (5alida o Clave y 7o validas& para garantizar que slo hay una opcin v lida y que las dem s son plausibles para quienes no dominan completamente la tarea de evaluacin, pero que ellas no son la respuesta v lida. CARACTERI;ACIN DE LOS TEMS POR CONSTRUIR -a caracterizacin de cada tem est determinada por el "arco de <undamentacin

Conceptual y las especificaciones de prueba, lo cual permite determinar el ob+eto de evaluacin, su alcance tem tico en trminos de la dimensin disciplinar o conceptual (contenido organizado por componentes o bloques tem ticos&, la profundidad y la dificultad con la cual se har la evaluacin de ellos y lo que se espera del evaluado en trminos de la dimensin cognitiva que se eval'e (competencias, conocimientos, aptitudes, etc.&, informacin que gua tanto a los actores que participan en el proceso como a los evaluados que van a presentar la respectiva prueba. %na caracterizacin adecuada facilitar la elaboracin de una prueba balanceada que incluya tems con alta, media y ba+a dificultad, donde los niveles deben estar bien definidos, dado que la prueba est orientada a evaluar a todos los estudiantes y no solamente a los de me+or desempe.o.

<

LA DIFICULTAD EN LOS TEMS #l ob+etivo de un instrumento de evaluacin educativa no es el de identificar a los me+ores estudiantes (para lo cual una prueba con un alto nivel de dificultad sera lo apropiado&, sino el de evaluar a todos los estudiantes, poderlos caracterizar y por este medio evaluar indirectamente el programa acadmico. #s por esto que la prueba debe incluir tems con niveles de dificultad ba+a, media y alta. Ba=a> Se estima que este tipo de tems lo responderan acertadamente entre el =>? y el @>>? de los evaluados. M dia> Se estima que este tipo de tems lo responderan acertadamente entre el A>? y el =>? de los evaluados. Al)a> Se estima que este tipo de tems lo responderan acertadamente entre el @>? y el A>? de los evaluados. 0dem s se debe tener en cuenta el tiempo de duracin de la prueba, a fin de que los evaluados cuenten con el tiempo requerido, aspecto importante en la construccin de los tems. Situacin a tener en cuenta en especial en aquellos tems con un nivel de dificultad alta, por restricciones de tiempo no se puede demandar del estudiante desarrollos matem ticos o de cualquier otro tipo en el que el procedimiento sea muy demorado. REVISIN SISTEM?TICA EN LA CONSTRUCCIN DE LOS TEMS -a literatura especializada resalta "in"o a(- ")o( #$ d b n % .i(a%( d "ada -% 6$n)a previo ensambla+e y aplicacin de la prueba* A(- ")o( Fo%4al (> Como la redaccin, la precisin de las instrucciones, la claridad en la presentacin de la tarea, adecuacin del lengua+e al nivel de la poblacin y otros dependiendo del tipo de prueba. P %)in n"ia> #ntendida como la relacin del tem con lo que la prueba pretende medir, se considera que un tem es pertinente si est en armona con el plan general de la prueba.

#valuar la pertinencia de un tem es establecer si pertenece o no al dominio definido o si, de acuerdo con la teora, es o no una manifestacin del atributo que mide la prueba. I4-o%)an"ia o R l .an"ia> 1ace referencia al contenido especfico de la pregunta en relacin con la estructura de prueba, se asimila a significancia en contraste con detalles superficiales, observaciones incidentales o comentarios tangenciales de acuerdo con la definicin del dominio o atributo. -a estructura de prueba indica los aspectos generales que se consideran importantes dentro de la misma pero es el constructor de los tems quien tiene la responsabilidad de seleccionar aquellos aspectos especficos que considere importantes, de acuerdo con el dominio o atributo que se pretenda medir. Difi"$l)ad> #ntendida como una apreciacin sub+etiva y a priori del nivel de maestra o magnitud del atributo necesario para responder el tem, obviamente esta apreciacin de dificultad est en estrecha relacin con las caractersticas de la poblacin a la que va dirigida la prueba. 0unque e(isten procedimientos estadsticos para hacer estimaciones de la dificultad despus de aplicado el instrumento, esta apreciacin sub+etiva puede resultar 'til sobre todo si se tiene en cuenta que quienes construyen los tems son e(pertos en los contenidos de la prueba. P%obabl Pod % Di("%i4ina)i.o> -a discriminacin de un tem es el grado en que, como unidad, permite diferenciar algunos grupos de inters, por e+emplo, quienes tiene alta maestra en el dominio de quienes no, o quienes poseen mayor magnitud del atributo de quienes poseen menos, en general las preguntas que poseen poder discriminativo contribuyen a la efectividad de la prueba. #n el momento de la construccin del tem, se trata tambin de una apreciacin sub+etiva que se puede verificar una vez aplicada la prueba.

11

INSTRUCTIVOS PRE&UNTAS DE SELECCIN M*LTIPLE CON *NICA RESPUESTA -as preguntas que encontrar a continuacin son de seleccin m'ltiple con 'nica respuesta. #ste tipo de preguntas constan de un enunciado y cuatro opciones de respuesta (0, 6, C y 3&. Slo una de estas opciones responde correctamente a la pregunta. %sted debe seleccionar la respuesta correcta y marcarla en su ho+a de respuestas, rellenando el valo correspondiente a la letra que identifica la opcin elegida. PRE&UNTAS DE SELECCIN M*LTIPLE CON INFORMACIN SUFICIENTE -as preguntas que encontrar a continuacin son de seleccin m'ltiple con informacin

suficiente. #ste tipo de preguntas se basan en un problema y dos con+untos de informacin denominados ! y !!. 7o se requiere que se solucione el problema, sino que se decida que nformacin es suficiente y necesaria para resolverlo.

Si la informacin ! es suficiente para resolver el problema pero la informacin !! no lo es eli+a la opcin 0. Si la informacin !! es suficiente para resolver el problema pero la informacin ! no lo es eli+a la opcin 6. Si las informaciones ! y !! +untas son suficiente para resolver el problema pero cada una por separado no lo es eli+a la opcin C. Si cada una de las informaciones ! y !! por separado son suficientes para resolver el problema eli+a la opcin 3. Si las informaciones ! y !! +untas no son suficiente para resolver el problema eli+a la opcin #.