LOS REACTIVOS, ESTUDIO PILOTO Y

CRITERIO DE JUECES
1. Los reactivos

Una vez realizada nuestra tabla de especificaciones y matriz de consistencia,

podremos iniciar la elaboración de nuestros ítems, sin embargo hay que tener en
cuenta que ello no determinara que al final la prueba quede tal y como determino
en su tabla, usted se dará cuenta que en el proceso de construcción habrá
momentos en donde tenga que cambiar o mejorar algún aspecto de su tabla y
matriz, ya sea el marco teórico, el número de ítems que tendrá, etc. Lo
mencionado anteriormente es parte del proceso y dependerá mucho de la
habilidad del constructor.

Los reactivos podemos definirlos como estímulos que se le presentan al evaluado

con el fin de obtener una respuesta que permite identificar un factor de su
personalidad u algún rasgo que se pretende medir (Arévalo, 2012). Para lograr
elaborar buenos reactivos, Cohen nos sugiere que el constructor se responda tres
preguntas: ¿Qué rango de contenido deben cubrir los reactivos?, ¿Cuál de los
muchos tipos de formato de reactivos debe emplearse en mi prueba?; de esta
manera podremos tener un panorama más claro de lo que vamos hacer.

Recordemos que muchos de nuestros reactivos vienen de nuestro marco teórico

en relación con la definición operacional que hemos descrito, ello nos ayudara a
orientar el sentido de nuestros ítems para su mejor redacción. También pese a que
no somos expertos en lenguaje y gramática, debemos considerar que el material
elaborado sea revisado por un lingüista que tenga experiencia en ello para una
mejor orientación y pulido en la redacción de nuestro instrumento.

1.2. Criterios en la elaboración de los reactivos En este apartado

tendremos en consideración algunas pautas que serán de mucha utilidad a la hora
de realizar una prueba, sin embargo debemos tener en claro el formato que
utilizara nuestra prueba, por ello los temas anteriores nos ayudaron a esclarecer
ese aspecto, de manera que una vez establecido los objetivos y teniendo la idea
definida de lo que deseamos construir, podremos redactar buenos reactivos.

Por ejemplo, las preguntas o reactivos de los inventarios de personalidad los

sugieren por lo común las teorías de personalidad, los vocablos y las frases que
se utilizan para describir la personalidad, las declaraciones que se encuentran en
los historiales clínicos, las palabras que usan las personas para describirse a sí
misma e incluso las preguntas o los reactivos de otros inventarios de personalidad
(Arévalo, 2012), es decir, la fuente de contenido que podemos utilizar para
nuestros reactivos es muy amplia, pero también está sujeta a nuestra variable ya
que si es un tema muy estudiado, es muy probable que encontremos información
en grandes cantidades, de lo contrario la información será limitada; por ejemplo la
Autoestima, que es un tema investigado por años, y la Procrastinación, que es
menos estudiado en relación a la autoestima.
La redacción, la corrección, prueba y revisión forman parte del desarrollo de
buenos reactivos. Además se tiene en cuenta un procedimiento, por ejemplo,
tomemos en consideración las pruebas desarrolladas por los editores de las
pruebas comerciales. Existen grupos especialistas, que trabajan a partir de un
plan de prueba, para escribir reactivos que cubran las áreas de contenido
habilidades que se requieran. Al principio, se escriben muchos más reactivos de
los que se necesitarán, debido a que serán numerosos los que eliminen mediante
los análisis sucesivos, y ojo que ello es muy importante; a esto se le denomina
colchón de reactivos o reserva de reactivos. Posteriormente, se revisan y corrigen
las primeras redacciones de los Items, tanto por parte de los escritores
originales como por otras personas expertas en la variable que queremos
medir. La corrección implica la eliminación de la redacción ambigua, el
fortalecimiento de las alternativas débiles y la exclusión de reactivos duplicados y,
por ende, inútiles (Arévalo, 2012).

Una vez teniendo en claro lo antes dicho, debemos considerar y recalcar que
durante la preparación de los reactivos o ítems reales de un instrumento es
recomendable que se redacten alrededor del 20% más de los reactivos necesarios
(reserva de reactivos), de modo que se cuente con una cantidad adecuada para la
versión final del instrumento. Estos reactivos deben de ser elaborados por
personas expertas y que tengan conocimientos sobre el instrumento que se quiere
construir. También en consenso diversos autores como Abad, Arévalo y Cohen
mencionan ciertas normas que ayudaran al constructor a que sus reactivos sean
eficaces en los propósitos que se requieren de ellos:

 Intentar no tener frases que puedan ser interpretadas en más de un sentido.

 Seleccionar todos aquellos reactivos que se creen que van a cubrir toda la gama
de interés.

 Cada reactivo debe contener una sola idea.

 Los ítems o reactivos deben ser iguales para todos.

 Las frases deben ser sencillas.

 Las frases deben estar en presente más no en pasado.

 Usar frases que tengan relación con el objeto de estudio.

 Los reactivos deben ser cortos no más de 20 palabras.

 Las frases deben ser sencillas sin cláusulas dependientes (y/o).

 Evitar las frases que indiquen universalidad, tales como: todos, ninguno,
siempre.

 Debe utilizarse un lenguaje fácil.

  Evitar el empleo de frases negativas (no utilizar la palabra no).

 Los sujetos no deben darse cuenta de lo que van a medir.

1.3 Análisis de los reactivos y ensamblaje de la prueba
Un buen constructor sabe que necesita mucho más reactivos de los que su prueba
tendrá finalmente, ya que estos necesitan sobrevivir a una serie de etapas, en la
que se irán desechando algunos mediante diferentes herramientas. A este
procedimiento que se someterán se denomina análisis de los reactivos. Según,
Cohen, hace mención que existen procedimientos estadísticos que nos permiten
llevar a cabo dicho procedimiento de análisis, los cuales pueden llegar a ser
algunos muy complejos, sin embargo son necesarios para que nuestro
instrumento psicométrico cumpla con todos los requisitos de un excelente test
psicológico. Entre las herramientas que pueden utilizar los elaboradores de
pruebas para analizar y seleccionar sus reactivos se encuentran:

El índice de dificultad de un reactivo es el primer indicador que sirve para

cuantificar el grado de dificultad de cada ítem, por lo que sólo tiene sentido su
cálculo para ítems de un test de rendimiento óptimo (Abad, 2006). El índice de
dificultad de un ítem “j” se define como el cociente entre el nº de sujetos que lo
han acertado (Aj) y el nº total de sujetos que lo han intentado resolver (Nj)

Por otra parte tenemos el índice de confiabilidad del reactivo, el cual nos
proporciona un indicio de la consistencia interna de una prueba; ya que entre
mayor sea este índice, mayor será la consistencia interna. Este índice es igual al
producto de la desviación estándar de la puntuación del reactivo y la correlación
entre la puntuación del reactivo y la puntuación total de la prueba. Así también
tenemos el índice de validez del reactivo, el cual nos permite estadísticamente
ver el grado en que el ítem mide lo que se pretende medir; mientras mayor sea el
índice de validez del reactivo, mayor será la validez en relación al criterio de la
prueba (Cohen, 2006).

Finalmente el índice de diferenciación de reactivos es una medida de distinción

de preguntas simbolizada por una letra cursiva minúscula d (d). Esta estimación
de la diferenciación del reactivo, en esencia, compara el desempeño de un
reactivo particular con el desempeño de las regiones superior e inferior de una
distribución continua de puntuaciones de la prueba (Kelley, 19139 citado por
Cohen, 2006).

Una vez que se tiene los reactivos elaborados, podremos pasar al ensamblaje de
la prueba, la cual consiste en ordenar los reactivos de manera que se crea un
cuestionario preliminar, el cual se da después de conocer los resultados de los
análisis de reactivos. Si se construyen formas equivalentes de la prueba, el
constructor tendrá a su cargo la tarea adicional de equipar las formas en términos
de contenido, dificultad y poder de discriminación, así como también la función de
otras dimensiones pertinentes (Arévalo, 2012).
Luego de efectuar los cambios finales en los reactivos que se consideren
oportunos, se imprime la prueba. Ahora, por primera vez, la prueba existirá como
entidad clara. Hasta este momento tenemos una colección de buenos reactivos,
pero no necesariamente la prueba constituida ya para su uso. El hecho de sí la
prueba será buena dependerá finalmente de su estandarización y de los análisis
técnicos posteriores (Validez y Confiabilidad). Incluso después que se aplica y
califica una prueba el examinador no puede estar seguro de que ésta haya
cumplido su cometido. Esta es una de las razones por las que las pruebas que se
distribuyen en forma comercial se aplican primero (pruebas piloto) a una muestra
de 50 personas más o menos que son representativas del grupo al que se dirige.
Luego de ello el constructor debe preguntarse, según los resultados obtenidos en
el estudio piloto, si ¿Los límites de tiempo fueron adecuados?, ¿Los sujetos
entendieron las instrucciones?, ¿Las condiciones del entorno fueron apropiadas?,
¿Las emergencias se manejaron en forma apropiada?, de haber algunas
correcciones o algunos ítems sean eliminados, se debe pasar a un re-ensamblaje
que nos permitirá tener la prueba lista para otro etapa (Arévalo, 2012).

2. Estudio piloto
El estudio piloto o prueba piloto se refieren en general, a la investigación
preliminar en torno a la creación de un prototipo de la prueba. Los reactivos de
esta pueden ser estudiados en el piloto, para valorar si deben ser incluidos en la
forma final de la prueba, es decir si los reactivos son buenos y entendidos por la
población a la cual se destinara la futura aplicación del instrumento. En el estudio
piloto el constructor intenta determinar cómo medir mejor el constructo que tiene
como objetivo. El proceso puede implicar la creación, revisión y eliminación de
muchos reactivos de la prueba; al igual que reseñas literarias y experimentación,
entre otros. Una vez concluido el análisis del estudio piloto, se puede proceder a
re-ensamblar la prueba para poder pasar a los procesos estadísticos
correspondientes (Cohen, 2006).

3. Criterio de jueces
El Criterio de jueces o también conocido como validez de contenido el cual dentro
de nuestra experiencia en el curso consideramos que se ejecuta después de el
estudio piloto. Cohen describe el criterio de jueces como un juicio de cuan
adecuadamente una prueba es una muestra de la conducta representativa dentro
del universo de conductas que la prueba fue diseñada para ejemplificar. Por
ejemplo, el universo de comportamiento calificado como asertivo tiene un rango
muy amplio. Una prueba de asertividad, de contenido valido, será la que
represente adecuadamente este rango, podría ser que esta prueba tenga
reactivos que sean una muestra de situaciones hipotéticas en el hogar, en el
trabajo e incluso situaciones sociales.

Para ello se pide la opinión de 5 o más expertos (siempre en número impar) en el

tema que se están investigando, ellos deben tener trayectoria en el tema, y son
reconocidos por otros como expertos calificados; de esta manera emiten su juicio
en cuanto a los reactivos, la variable, las definiciones operacionales del
instrumento que se está construyendo. Estos “expertos” brindan una opinión
informada y que pueden dar información, evidencia, juicios y valoraciones que
para el constructor pueden ser de gran utilidad. Algunos consejos que te damos
para poder escoger un buen juez son producto de nuestra experiencia en el curso,
para ello señalamos lo siguiente:

 Experto reconocido y que tenga alguna experiencia en el campo que se está

investigando.

 Disponibilidad de tiempo.

 Imparcialidad ante la emisión de juicios, es decir evitar lazos amicales, familiares,

etc.

 No necesariamente será un psicólogo.

 Uno de ellos debe ser un lingüista o en todo caso que haya aparte uno.
Conclusiones de la tercera semana
 El proceso de construcción habrá momentos en donde tenga que cambiar o
mejorar algún aspecto de su tabla y matriz, ya sea el marco teórico, el número de
ítems que tendrá, etc.

 Los reactivos son estímulos que se le presentan al evaluado con el fin de obtener
una respuesta que permite identificar un factor de su personalidad u algún rasgo
que se pretende medir.

 Los diversos tipos de reactivos son utilizados de distinta manera y en relación al

objetivo de lo que se quiere llegar a medir.

 La redacción, la corrección, prueba y revisión forman parte del desarrollo de

buenos reactivos.

 Al principio, se escriben muchos más reactivos de los que se necesitarán, debido a

que serán numerosos los que eliminen mediante los análisis sucesivos.

 El estudio piloto o prueba piloto se refieren en general, a la investigación

preliminar en torno a la creación de un prototipo de la prueba.