Construccién de ftems de opcidn miltiple para pruebas objetivas' Harvey Sanchez Restrepo José Daniel Espinosa Rodriguez Contenido Qué es un item? Componentes Caracteristicas Tipos de items por su respuesta Fuentes de Contenido Sobre el contexto del item ‘Validacién de items NAW R Eo (4. .Qué es un item? ] El item Unidad bisica de observacién Es la unidad basica de observaci6n de una prueba objetiva. Se utiliza para medir conocimientos formales, habilidades cognitivas adquiridas a través de la experiencia y aprendizajes complejos producto de las dos primeras. No requiere de juicios personales del evaiuador o de interpretaciones para calificar las respuestas correctas, Pose una respuesta tinica previamente establecida y acordada de manera colegiada. 2. Componentes El item se integra por: La base o cuerpo. Expresa una situacién 0 problemaen forma de proposicién Las opeiones de respuesta, Son alternativas de respuesta a Ja base, de las cuales sélo una es correcta; las demés son distractores piausibles que tienen Lomo funcicn que ¢! exem demuestre que es capaz de discriminar la respuesta correcta. Las argumentaciones. Son explicaciones que dan sustento a cada una de las opciones de respuesta. * Texto presentado en el taller sobre Elaboraclén de Reactivos, Universidad Politécnica Salesiana, Quito, 18 al 20 de julio de 2012}. Caracteristicas ae = Evaliia contenidos vigentes. — Esuna creacién original del elaborador. — Mide contenidos que no se responden por sentido comin. ~ Emplea situaciones comprensibles y un vocabulario adecuado para la poblacién objetivo. — Est libre de informacion que puede ser ofensiva para algiin grupo social. — No favorece a un grupo determinado. = No da pistas que conduzcan a la respuesta correcta. — Presenta estimulos claros que no se presten a més de una interpretacién, ~_Incluye tnicamente la informacion necesaria y relevante para el planteamiento del problema y su solucién. — _ Estd redactado de forma clara. ~ Es independiente de otros ftems, la informacién contenida en uno no debe sugerir la soluciéa ni debe ser requisito para contestar otro, ~ _ Utiliza opciones de respuesta distintas a las de otros items. [4. Tipos de Item por su respuesta Alternativa diferenciada. Con base en el cuerpo del ftem s6lo una opcidn es la correcta, les demas son distractores plausibles. Respuesta éptima. En la base se muestra el problema a ser resuelto en donde las opciones de respuesta son parcialmente correctas, pero una de ellas es mas adecuada que las demés Fuentes de contenido - Andamiaje del item Formato Presentacién del problema Los formatos que presentan el contenido del forma en que se cuestiona al examinado. item sirven para darle dinamismo y variabilidad a le Estos pueden evaluar conocimientos factuales conceptuales y procedimentales Los formatos aceptados para la construccién de items de opcién multiple son: - Simple - Ordenamiento — Relacién de columnas = Eleccién de elementos — Dependiente de contexto La base de estos items consiste en una afirmacién, frase o enunciado interrogativo que plantea una situacién a resolver o que requiere completarse en su parte final,Aspectos téenicos: — Evitar la repeticién innecesaria de palabras tanto en la base como en las opciones de respuesta. - Las opciones de respuesta deben ser menos extensas que la base, salvo que el contenido lo requiera. Ejemplo En un tomeo de tenis participan 64 jugadores, que jugardn entre ellos eliminando al perdedor de cada partido. ;Cudntos partidos se jugardn en total desde la primera ronda hasta el partido final? A) 63 B) 64 ©) 127 D) 128 Ejemplo {Cual es el significado de la palabra en negritas en la expresion siguiente? Ese expositor constantemente hace digresiones en su discurso. A) Diferencia de opinién B) Asunto ajeno al tema tratado C) Explicacién amplia D) Reflexién profunda sobre un tema Ordenamiento La base del item incluye una lista de elementos que deben ser ordenados siguiendo algiin criterio determinado (regia, principio, pauta, etcétera) el cual debe estar explicito en las instrucciones. Las opciones de respuesta son las posibles combinaciones de los elementos eniistados, Aspectos téenicos: = Se sugiere incluir de cuatro a seis elementos cuando se ordenan enunciados, y hasta ocho cuando son palabras. — Enel listado debe incluir elementos del mismo campo seméntico o tema. — Los elementos del listado de la base deben estar desordenados. = Incluir todos ios elementos del listado en cada opcién de respuesta. = Un elemento del listado no debe ocupar el mismo lugar eu: todas las opciones. — En los distractores e! orden de los elementos debe ser plausible.Ejemplo {Cudl es el orden correcto de las siguientes palabras en una frase? want! now? you? what* do° Ejemplo Ordene las siguientes frases para formar un texto coherente: 1. Acerca de este pais 2. Pera he recordado siempre 3. ¥ no he tenido instruccién 4, Lo que mi madre me ensefté 5. Yo no he ido nunca a la escuela La leyenda de Uppland Selma Lagerlof yous Relacién de Columnas Incluyen dos listados de elementos que han de asociarse entre si conforme a un criterio que debe especificarse en la base del ftem. En las opciones de respuesta se presentan distintas combinaciones relacién entre los elementos de la primera y segunda listas. Aspectos téenicos: Establecer de forma clara un criterio de relaci6n. = Construir listas en las que los elementos y relaciones sean del mismo tipo. — En la primera columna deben ir los conceptos, componentes y elementos; en la segunda, las descripciones, definiciones, caracteristicas, explicaciones, etcétera, Es decir, la columna con menos informacién se ubica del lado izquierdo. — Se sugiere incluir un elemento adicional en la columna del lado derecho, siempre y cuando sea plausible, De lo contrario. las columnas podrén contener el mismo nimero de elementos, — Asignar un titulo a cada columna para que ¢ identifiquen os elementos por relacionar. No repetir palabras o frases en las columnas, = Cuando un elemento de la columna izquierda se relaciona solamente con uno de la columna derecha, en esta titima se sugiere que tengan un maximo de cinco elementos. = Cuando un elemento de la columna izquierda se relaciona con dos o tres de la columna derecha, esta tiltima se sugiere tener un maximo de siete elementos.Ejemplo: Relacione las situaciones planteadas con el tipo de problema el que se refiere, Situacion Tipo de problema 1. Falta de capacidad de exportacién de productos 2) Académico 2, Falta de mecanismos para ejecutar y controlar los planes _b) Institucional nacionales de desarrollo c) Empresarial A) le, 2b B) fa, 2c ©) Ib, 26 D) le, 2a Ejemplo: Relacione los tipos de disefio con las caracteristicas correspondientes, Disefios Caracteristicas 1. Experimental a) Uso limitado del control experimental y la aleatorizacion 2.Cuasiexperimental _ b) Usa grupos control ) Usa ia asignacién al azar de los participantes a las condiciones 4) Baja validez interna e) Baja validez externa 4) Més usado en la investigaci6n basica A) le, d, 2a, be B) la, b, 2c, d, f ) 1b, d, ¢; 2a, 0, fF D) Ib, 6, f 2a, d,¢ Completamiento En la base del item, debe contener enunciados, secuencias alfanuméricas, gréficas o imagenes en Jos que se omite uno o varios elementos, debidamente identificados. En las opciones de respuesta se incluyen los elementos que deben completar los espacios vacfos. Aspectos téenicos: — Se sugiere incluir un méximo de tres espacios por completer cuando se trate de frases, palabras o imagenes, — Puede incluir un maximo de cinco espacios por completar cuando se trate de grafias o niimeros. — Cuando haya un solo elemento por completar, este no debe estar al inicio o al final de la base.Ejemplo Elija el par de palabras que completa correctamente la siguiente oracién, El ejercicio el agotamiento mental y tono muscular. ‘A) aumenta ~ mejora B) estabiliza — eleva C)remueva ~ incrementa D) mitiga - desarrolle Ejemplo: Elija la opeién que contiene el elemento que da continuidad a la serie. LHP UP Eleccién de elementos Se presenta un conjunto de elementos de los cuales se cligen algunos de acuerdo con un eriterio determinado. En las opciones de respuesta se presentan subconjuntos del listado. Aspectos técnicos: — Establecer en la base el criterio en funcién del cual han de seleccionarse ios elementos. = Incluir elementos del mismo campo seméntico o tema en el listado. — Se sugiere emplear listas de cuatro a siete elementos. = Las opciones de respuesta deben integrar y excluir al menos dos elementos del listado = Inchuir en todas las opciones de respuesta el mismo ntimero de elementos. — Unelemento no se debe repetir en todas las opciones de respuesta, = Todos los elementos del listadio deben incluirse al menos una vez en las opciones de respuesta, Ejemplo Elija algunas caracteristicas de las hipétesis cientificas. 1, Comprobable Incierta Verdadera Irreal Falsa wapEjemplo De los siguientes enunciados elija los dos que estén correctamente expresados. 1. La juez del supremo tribunal de justicia dicta sentencia mafiana 2. La presidenta del partido ha dicho que mafiana inauguraré el nuevo edificio 3. Nicolas no ha querido salir conmigo ayer 4. Patricia es un perito en el despacho de abogados hasta hace poco tiempo 5. La femilie Rivas compré una enorme mansién el afio pasado ALS B)L.4 2,5 D)2,4 Con asociacién a un contexto Estin compuestos por un contexto a partir del cual se elaboran los items asociados. El contexto puede presentarsé como un caso, un gréfico, una lectura, un diagrama, una imagen o una tabla, entre otras: Aspectos técnicos: Sobre el contexto Ineluir la informacién necesaria para su comprensién y para la resolucién de los items asociados, Sobre los items asociados = Requerir del comtexto para responderse. — Ser independientes entre si, ia informacién contenida en uno no puede sugerir la solucién de alguno més, ni ser requisito para contestar otro. = Sies necesario, incluir informacién adicional al contexte. Ejemplo Lea el siguiente texto y responda la pregunta correspondiente. Del Ingenioso Hidalgo Don Quijote de la Mancha Paréceme -respondié Sancho- que vuestra merced es como lo que dicen: Dijo la sartén @ la caldera: Quitate allé ojinegra. Estéme reprehendiendo que no diga yo reffanes, y ensértalos vuestra merced de dos en dos. - Mira, Sancho- respondié Don Quijote-- yo traigo los refranes a propésito y vienen cuando Jos digo como anillo en el dedo; pero tréeslos th tan por fos cabellos, que fos arrastras ¥ no los guias; y si no me acuerdo mal, otta vez te he dicho que los refranes son sentenciasbreves, sacadas de la experiencia y especulacién de nuestros antiguos sabios; y el refrén que no viene a propésito antes es disparate que sentencia, {Cudl es el tema central del fragmento leido? A) La utilidad de la sabiduria popular B) Los reproches de Sancho C) Lo importante de enunciar un refrén D) La definicién de don Quijote de ios refranes Ejemplo Lea el planteamiento y conteste las preguntas correspondientes. Se realiz6 un estudio en la colonia La Joya, de la [ Familia |Ingrese dario | Nonere de | Temet zona sur de la ciudad, en el cual se entrevisté a fen pesos | miembros, | 10 de las 100 familias que habitan en ella, estas fueron seleccionadas mediante una muestra simple aleatoria, y se obtuvo la siguiente informacion. {Cuél es la estimaciéa del prome diario por familia? jo de ingreso A) $40 { B) S110 ©) 8173, D) $300 foo fool |~ fof] jo {oz Jo Ejemplo La seleccién de la muestra del estudio se basé en: a A) sujetos seleccionados de tel manera que toda posible muestra de tamafo n tiene le misma posibilidad de ser elegida B) _sujetos de por lo menos dos partes diferentes de la poblacién que comparten categorias ©) 10s valores de una muestra que no estén relacionados con los valores de otra muestra y Ja poblacién D) _ fos valores de una muestra que estén No samamet 8! relacionados con ios valores de otra muestra y la poblacin a 8 Ingreso diario en.pesos s i {Qué elemento estadfstico se encuentra representado en la siguiente gréfica? A) media B) valor minimo ©) mediana D) desviacién estindarOperacién cognitiva (Lo que se espera que se ejecute) Para que la complejidad y la abstraccién de la informacién que se desea evaluar en un item no se reduzca a una simple memorizacién, es necesario tener claro qué proceso cognitivo se desea que el examinado ejecute a le hora de responder el item. Las operaciones cognitivas se pueden clasificar en tres grandes categorias: : Comprender y organizar Jo aprendido : Aplicar conceptos, principios y procedimientos : Resolver problemas Comprendery organizar lo aprendido Se refiere a la capacidad del examinado para identificar, clasificar, ordenar temporalmente, jerarquizar informacién conceptual presentada en el item. a) Identificacién. Reconocer informacién no literal sobre definiciones, caracteristicas, relaciones y ejemplos de hechos, conceptos, principios, reglas procedimientos, teorias y valores. Ejemplo La variable es le que pone de manifiesto la influencia de otra variable, A) extratia B) independiente ©) error D) dependiente Ejemplo {Cuél es el sindnimo de euferico? A) Neurdtico B) Loco ) Impetuoso D) Desquiciado 5) Clasificacién, Demanda constrair categorias que pongen de manifiesto Ia capacidad de trascender la informacién inicial a clases que no se encuentran presentes, gracias a la utilizacién de reglas de inclusion de clase (de tiempo, de funcién, de tematica, etc.) Ejemplo:Relacione los tipos de proyectos con el anilisis de costos e impacto que se debe realizar en cada uno de ellos. Tipo de proyecto Anilisis de costos e impacto 1, De gran escala con varias alternativas a) Multicriterio 2. Con pequefios proyectos y una alternative _b) De impacto de cada alternativa 3. Con pequelios proyectos y varias alternativas c) De impacto de la alternativa A) la, 2b, 3¢ B) 1b, 2c, 3a €) le, 2a, 3b D) le, 26, 3 ©) Ordenamiento, Solicita construir una organizacién que ordena temporalmente, de manera adecuada, la informacién evaluada por e! item. Ejemplo Ordene del més antiguo al mas nuevo los enfoques psicolégicos que se listan a continuacién. 1. Psicogenético Psicofisica 3, Conductismo 4, Psicologia cognitiva Aplicar conceptos, principios y procedimientos Es definida como la capacidad de utilizar, en tareas profesionales iniciales y rutinarias, conceptos, Principios, procedimientos, técnicas e instrumentacién, acordes al nivel cientifico en el que se ies reconoce. 2) Traduccién, Exige comprender los contenidos del item, ain cuando éstos sean presentados en palabras diferentes que signifiquen io mismo a las usadas originaimente, o bien se muestren mediante imagenes 0 simbolos que lo representen. Ejemplo 100 5 Seyiin la siguiente gréfica que Promeiia 8 2 cxigeno muestra una curva idealizada de enatiledes produccién promedio de oxigeno: carohigeine A) hay une produccién méxima de oxigeno y después decae si 123458 7 8 9 aumenta la intensidad Intansidad luminosa en unidades arbitraries: B) amayor intensidad se produce més oxigeno 10©) hay un limite maximo de produccién de oxigeno, aunque aumente ia intensidad juminosa D) después de una exposicién a una intensidad maxima se libera mas oxigeno b) Aplicacién de conceptos y principios. Demanda mostrar dominio 0 experiencia aplicando conceptos y principios basicos de teorias, métodos, técnicas y procedimientos a situaciones practicas, tomando en consideracién el contexto que se esta evaluando. Ejemplo Un investigador cree que si un grupo de jévenes se somete @ un entrenamiento intensivo de natacién, éstos serén mejores nadadores que aquéllos que no recibieron entrenamiento. Con base en este planteamiento, ;qué tipo de hipétesis es aquélla que sefiala que no hay diferencia entre el desempefio en natacién entre el grupo de jévenes que recibié el entrenamiento y el que no lo recibi6? A)Nula B) De trabajo C) Empirica D) Altemativa €) Inferencia (aplicacién de conceptos). Una inferencia es una conclusién de hechos observados supuestos. Se pregunta si los enunciados son inferencias verdaderas, falsas 0 validas, Ejemplo Se quiere probar si el orden de las preguntas afecta el ntimero de aciertos en dos secciones de un examen. Analice Ia siguiente table y seleccione Ia opcién que contiene una conclusion vélida. Eximenes ] [ ‘Version A’ Version B Preguntas | Media de aciertos | Preguntas | Media de aciertos | Seccidn 1 | 150 a [151 2300 76 | Beccién2_| 151 2300 | 7 [iaiso | 5 A) En la seccién 1, jas preguntas son més faciles que en la seccién 2 en ambas versiones B) Las medias de aciertos varian significativamente dependiendo del orden de las preguntas C) El orden de presentacién de las preguntas no afecta significativameme Ja media de aciertos, D) La diferencia de las thedias de las dos secciones no se debe al orden de las preguntas 4) Presuposiciones. Una presuposicién es algo asumido o tomado como un hecho cuando se hace una afirmacién, A partir de ia afimiacién se puede encontrar qué elementos est tos y se han asumido como hechos verdaderos. Ejemplo. Recomendacién de un psicélogo hacia el familiar de un paciente: “Es necesario que el nitio sea valorado por el neurélogo para determinar si existe dafio y si se necesita medicacién La idea que asume el psicélogo como un hecho es que el... aA) nifio tiene un dafio cerebral B) psiquiatra no debe ser consultado para este caso C) nifio requiere medicacién neurolégica D) neurélogo puede determinar si existe algin dato ©) Aplicacién de procedimientos. Demanda aplicar, de manera adecuada, los pasos requeridos en tun procedimiento, algoritmo, técnica o instrumentacién, Ejemplo Elija la combinacién de instrucciones que en una hoja de eélculo ordenan los datos de la tabla en forma ascendente tomando como base la columna de edad, Edad Estatura (metros) 1, Seleccionar los datos Elegir la opcién Ordener Seleccionar menti Datos Seleccionar Ordenar por edad Oprimir el botén Aceptar 2Resolver problemas Es la capacidad de evaluar e integrar conceptos, principios, métodos, técnicas, procedimientos, estructures de tareas o planes de accién en funcién de los principios de adecuacién 0 valores profesionales requeridos para resolver situaciones probleméticas, asi como para identificar y corregir errores importantes en soluciones prestablecidas. 2) Planificacién de acciones. La operacién cognitiva demanda que se analice, sintetice y evahie hechos, principios, fundamentos teéricos, procedimientos y valores profesionales para planear funciones especificas a la disciplina profesional acordes a demandas contextuales y de integracién de datos para la resolucién de problemas especificos, asegurando la calidad de las ténicas utilizadas, asi como la prediccién de efectos derivados. Ejemplo Lea el caso que se presenta 2 continuacién y responda las siguientes preguntas. Es referido a un psicdlogo un escolar de 8 afios de edad, por indicaciones de su maestra de 2° afio de primaria por presentar “trastornos de conducta” y “bajo rendimiento escolar en lectura y mateméticas”. El nifio tiene antecedentes de parto prematuro y es hijo tnico en une familia disfuncional. _Cual es la secuencia de procedimientos para este caso? Aplicacién de pruebas psicologicas Entrevista Sugerencias de tratamiento Diagnéstico Ejemplo: En la aplicacion de las pruebas se obtuvo el resultado de 5 indicadores de una posible lesion orgénica y un Cl de 95 que corresponde al limite normal y en dibujo se manifiesta agresién, ‘bajo control de impulsos y tendencias al acting owt. {Con qué especialista se require una interconsulta? A) Paidopsiquiatra B) Psiquiatra ©) Newrdlogo D) Médico general b) Correccién de errores. Se espera que al aplicar conceptos, principios, teorias, métodos, téenicas y procedimientos pueda el examinedo identificar y corregir errores importantes ante casos y problemas, asi como para la argumentacién tedrica del curso de accién remedial. 3Ejemplo Una agencia publicitaria ha establecido una investigacién en tres partes para promover la venta de galletas. La primera es un cuestionario acerca del consumo de las galletas; la segunda es la interpretacién del mensaje que transmite el comercial en los espectadores, y Ta tercera es una prueba para evaluar el gusto de la gelleta en el consumidor. Se cree que el consumo es preponderantemente realizado por estudiantes de preparatoria, razén por la cual Ja empresa ha focalizado sus estudios en las salidas de las preparatorias, Los resultados no fueron los esperados por lo que se ha determinado que se debe implementar una forma distinta de publicidad. {Qué tipo de error contienen los resultados de las encuestas de la agencia publicitaria? A) Hipétesis planteada con ambighedad B) Sesgo en la seleccién de 1a muestra C) Sesgo en la informacién obtenida D) Marco tedrico insuficiente Ejemplo De acuerdo con la informacién anterior. Qué accién debe llevar a cabo la empresa publicitaria para modificar su investigacién y que los resultados sean validos? A) Ampliar las referencias documentales sobre este tipo de estudios B) Analizar los datos obtenidos con un sofware mas potente C) Seleccionar una muestra aleatoria para tener representatividad D) Redactar de forma clara una nueva hipétesis de trabajo Campo de conocimiento {Qué explorar? Comprende la cualidad teérica, técnica o combinada, con la que se presenta la informacién que evalda el item. Téorico. Hace énfasis en el conocimiento declarativo, que puede ser de tipo factual (fechas, lugares, nombres propios, formulas) o conceptual (conceptos, principios y explicaciones). Técnico. En este campo, se enfatiza en conocimientos procedimentales como la ejecucién de procedimientos, estrategias, métodos y destrezas. Combinado. Por lo general es aplicado en items asociados a un contexto, Se presenta un caso 0 situacién problema, la solucién de los item se da en las opciones y se requiere combinar el conocimients factual, conceptual © procedimental, segiin lo evaluado para ser respondido. 46, Sobre el Contexto del item Tipo y ubicacién del contexto Se refiere al tipo y ubicacién de declaraciories (regias y ejemplos) y relaciones semadnticas (descripciones, causaciOn, contrastacién) a ser procesadas durante la tarea. Ejemplo ~ Regla (B-R). La base del item contiene uno o varios ejemplos, y la regle se presenta en las opciones de respuesta. Regla ~ Ejemplo (R-E). En 1a base del item se presenta la regia y en las opciones de respuesta el ejemplo. Caso Ejemplo ~ Regla (C E-R). La base del item offece uno 0 varios datos de un caso, problema o error, una de Jas opciones presenta las soluciones (regla, diagnéstico, prescripcién, correccién 0 accién remedial). Caso Regia ~ Ejemplo (C R-E). Le base del item presenta una solucién (regla, diagnéstico, prescripcién, correccién o accién remedial), las opciones de respuesta son las caracteristicas del problema(s), caso 0 error a corregir. 7. Validacién de items Es el proceso en el cual [os jtems son sometidos a una valoracién cualitativa en la que, a juicio de tun trabajo colegiado asignado 2 un grupo (dos 0 tres expertos), determinan a través de ciertas rribricas si son pertinentes y relevantes para los propdsitos del examen; vigilan que estén libres de errores conceptuales, gramaticales o de redaccién, Asimismo, determinan Ia complejidad de manera a priori del ftem y que estos no sean respondidos por sentido comitn. Al finalizar dictaminan si son aprobados, candidatos a ser aceptades condicionados a modificaciones 0 descartados. Harvey Sénchez Restrepo Harveysanch idad unam José Daniel Espinosa Rodriguez danielespinosa07@zmail.com 6