TEMA 2: La construcción de un test

1. MARCO TEÓRICO

¿Por qué es importante construir un nuevo test? Justificación. Explicación detallada y

precisa de cuáles son las razones que motivan su desarrollo

Además…

- ¿A quien va dirigido? Delimitar la población (edad, población general, población clínica

- Contexto de aplicación (Diagnóstico, selección, consejo, etc.)
- Tener en cuanta cuales pueden ser los problemas o las dificultades que podemos tener
en la práctica: tiempo de aplicación, material, etc
2. DEFINICIÓN DE LA VARIABLE DE MEDIDA

Modelo teórico: solamente una cuidadosa representación teórica del constructo

evitará la omisión de importantes áreas de conducta o la inclusión de otras poco relevantes
→ Definición operacional.

Podemos hacer: revisión de investigaciones publicadas (cuidado época y cultura), juicio

de expertos, observaciones directas, entrevistas en profundidad, etc.

Caso especial: test de rendimiento educativo (contenido claramente identificado).

3. ESPECIFICACIONES

Tipo de aplicación (individual, colectiva)

Formato de administración (lápiz y papel, manipulativo, informática)

Cuándo y en qué lugar se va a administrar

Especificar los requerimientos cognitivos por ejemplo de vocabulario hay que tener
muy presente el rango de edades al que se pretende aplicar

Posibles adaptaciones (acomodaciones) para aquellos participantes que no puedan

desempeñar la tarea en igualdad de condiciones que el resto.

Especificar los requerimientos cognitivos por ejemplo de vocabulario hay que tener
muy presente el rango de edades al que se pretende aplicar

Posibles adaptaciones (acomodaciones) para aquellos participantes que no puedan

desempeñar la tarea en igualdad de condiciones que el resto.

- Braille (para personas con discapacidad visual o con baja visión)

- Versión en lectura fácil (para personas con discapacidad intelectual y/o para otros
colectivos con dificultades de comprensión lectora)
4. CONSTRUCCIÓN DE LOS ÍTEMS

Etapa muy importante.

¿Qué número de ítems?

No hay normas

A mayor número inicial de ítems más fácil hacer una buena selección final. Se suelen
crear el doble de los que se quedarán en la versión final, luego mediante el análisis de los
ítems se elegirán los que mejor funcionen.

La calidad de un test no va ligada al número de ítems:

- Constructos sencillos requieren pocos ítems, los constructos más complejos requerirán
más ítems
- La fiabilidad aumenta con el número de ítems
- Cuidado… Nivel de molestia (Respondent burden) que experimentan los que
responden

El orden con que se presentan los ítems influye en las respuestas

Hay que presentar los ítems siempre en el mismo orden

Otras cuestiones….

- Recomendaciones en la elaboración de los ítems en pruebas de rendimiento

óptimo/máximo
- Elaboración de distractores
- Recomendaciones en la elaboración de los ítems en pruebas de rendimiento típico

Otra decisión que hay que tomar…¿Que tipo de ítems vamos a utilizar?

Se han propuesto diferentes clasificaciones.

La más utilizada: los ítems tipo Likert

- Facilidad de aplicación
- Adaptación a cualquier ámbito de evaluación
- Muy utilizado en Psicología
- La suma de una serie de respuestas a ítems que supuestamente miden el mismo rasgo
sitúa al sujeto en la variable que estamos midiendo.
- En escalas de personalidad lo normal son 2-3 opciones. En las escalas de actitudes más
(5 generalmente)

Tipos de Formatos para medir el rendimiento máximo/óptimo

- Elección múltiple: elegir respuesta correcta de entre un conjunto limitado.

- Selección o identificación
- Ordenación del material estimular
- Sustitución o corrección
- Completar
- Construcción
 Tipos de Formatos para medir el rendimiento típico

- Opción binaria: Me gusta el arte contemporáneo. Si( ) No( )

- Categorías ordenadas:
o Valoración: acuerdo - descuerdo
o Frecuencia: nunca – siempre
o Me encanta Madrid
 Totalmente de acuerdo (Muy de acuerdo) b) de acuerdo (Bastante de
acuerdo) c) Indiferente d) En desacuerdo (Bastante en desacuerdo) e)
Totalmente en desacuerdo (Muy en desacuerdo)
o Falto a clase
 a) Casi nunca b) A veces c) Normalmente d) Casi siempre e) Siempre

4.1. RENDIMIENTO MÁXIMO/OPTIMO

- La idea principal del ítem debe estar en el enunciado.
- Simplicidad en el enunciado.
- Evitar los conocimientos excesivamente triviales o excesivamente “rebuscados”.
- Evitar dar información irrelevante en el enunciado.
- Evitar dar indicios sobre la solución.
- Evitar cuestiones sobre opiniones.
- No encadenar unos ítems con otros.
- Incluir preguntas de todo rango de dificultad (casi siempre conviene más preguntas de
dificultad media).
- La dificultad no debe estar en la comprensión del ítem.
- Minimizar el tiempo de lectura.
- Evitar el uso de negaciones (si se incluyen, subrayarlas)
- Cuidado con errores gramaticales y ortográficos
- El número de preguntas debe ser proporcional a la importancia dada a cada tema.
- Corregir los aciertos obtenidos por azar (penalización o por error o aplicamos formula
de corrección del azar).
- Cuantos más ítems, mejor
4.2. DISTRACTORES EN PRUEBAS DE RENDIMIENTO MÁXIMO/ÓPTIMO

En cuanto al número de opciones, con dos distractores es suficiente; pero si la prueba

es corta, es necesario un mayor número de distractores para evitar los efectos de los
aciertos aleatorios.

Todos los distractores deben ser de longitud y lenguaje parecidos

Evitar los solapamientos entre ellos.

Se deben evitar los llamados “ítems defectuosos” que son aquellos ítems con más de
una respuesta correcta

Se deben evitar las opciones del tipo “no lo sé”, “todas las anteriores son correctas” o
“ninguna de las anteriores es correcta”;
 Balancear la posición de la opción correcta en las diferentes preguntas para que no se
sitúe siempre en la misma opción.

4.3. REDACCIÓN DE LOS ITEMS EN PRUEBAS DE RENDIMIENTO TÍPICO

Utilizar el tiempo presente. Hay excepciones.

Deben ser “relevantes”, en el sentido de que su contenido debe relacionarse

claramente con el constructo.

Contenido claro, evitando excesiva generalidad, información concreta. Frases cortas,

simples e inteligibles.

Evitar incluir dos contenidos en un ítem.

Tener en cuenta que lo que se dice en la declaración pueda ser asumido por alguien, y
no por todos.

Evitar el uso de dobles negaciones (no-ninguno, nunca,...)

Evitar universales (todo, siempre, nada,...).

En lo posible, aunque no es fácil, se debe minimizar la posibilidad de deseabilidad

social (deseabilidad social: emitir respuestas socialmente aceptables para transmitir una
imagen positiva).

4.4. AQUIESCENCIA

Es la tendencia de algunos sujetos a responder afirmativamente (de acuerdo) con

independencia del contenido del ítem, incluso mostrando acuerdo con afirmaciones de
signo opuesto.

Este estilo de respuesta invalida la información presente en las respuestas.

Para controlar la aquiescencia conviene redactar ítems positivos (de modo directo) y
negativos (de modo inverso).

Así, se puede comprobar cómo una persona ha respondido a los ítems directos e
inversos.

Tendremos que recodificar los ítems inversos.

Puede comprobarse la correlación entre ambos tipos de ítems, una correlación positiva
y alta sería señal de que no hay aquiescencia

4.5. DESEABILIDAD SOCIAL

Emitir respuestas socialmente aceptables para transmitir una imagen positiva.

La deseabilidad social ha sido estudiada sobre todo en relación con los tests de
personalidad, cuyos ítems indican conductas o rasgos que el sujeto se atribuye o rechaza
de sí mismo.
 ¿Cómo controlarlo?:

- Escalas específicas (Escala L, MMPI)

- Asegurar confidencialidad (anonimato)…
- Informar de la presencia de escala de sinceridad.

5. EDICIÓN

Se compone y se imprime la primera versión del test

El aspecto físico del test forma parte de su validez aparente: motivación, y actitud de
las personas evaluadas.

Preparar la base de datos

6. ESTUDIO PILOTO

Aplicación a participantes con características semejantes a la población objeto de

interés

Fase de suma importancia, permite detectar y corregir errores

Dos tipos de estudios pilotos:

- Cualitativo: a partir de grupos de discusión o juicio de expertos para: detección de

errores semánticos o gramaticales, grado de comprensibilidad de los ítems, posibles
incongruencias semánticas, etc.
- Cuantitativo: analizar la calidad psicométrica de los ítems.

Los ítems que funcionan mal se eliminan o se reescriben, y si se considera conveniente

se pueden incorporar nuevos ítems

7. SELECCIÓN DE OTROS INSTRUMENTOS DE MEDIDA

Las asociaciones entre variables son la base para la obtención de evidencias de validez.
Recomendaciones prácticas en la selección de otros instrumentos:
- Que se encuentren validados para la población objeto de estudio
- Que sean sencillos y de rápida aplicación
- Que justifiquen la relación con nuestra variable
8. APLICACIÓN DEL TEST
Selección de la muestra:
- Recomendación mínima: La muestra debe ser cinco veces mayor que el número de
ítems (Nunnally, 1978)
- Para análisis factorial 10 veces mayor (10 sujetos por ítem)
- Necesario que la muestra sea semejante al tipo de sujetos con los que se va a utilizar el
instrumento. Grado de heterogeneidad normal
La propia aplicación del test: personas encargas de la administración, entrenados en su
aplicación, explicaciones sencillas, claras, etc.
Control de calidad de las bases de datos: comprobar que los datos introducidos se han
hecho correctamente. P.ej., extraer al azar unos cuantos y comprobar.
9. PROPIEDADES PSICOMÉTRICAS
Análisis de las propiedades psicométricas del test:
- Fiabilidad
- Validez
- Construcción de baremos
En esta fase debe primar por encima de todo el rigor metodológico
10. VERSIÓN FINAL DEL TEST
Se elabora el manual que permita su correcta utilización, incluyendo las normas de
aplicación, corrección y todas las especificaciones necesarias.
Posteriores estudios deberán seguir recogiendo evidencias de validez.
11. TRADUCCIÓN DE UN TEST
El objetivo es conseguir una versión del test original en otro idioma siendo
conceptualmente equivalentes en cada país/cultura. Es decir, el test debe ser igualmente
natural y aceptable. El foco debe estar en la adaptación transcultural y conceptual y no en
la equivalencia literal. Para ello se utiliza la retrotraducción. Este método consta de los
siguientes pasos:
- Traducción del idioma original al deseado
- Comité de expertos y retrotraducción
- Pre-test o estudio piloto
- Versión final

TRADUCCIÓN DEL IDIOMA ORIGINAL AL DESEADO

Un traductor, preferentemente un psicólogo, familiarizado con la terminología del área

del test tiene que traducir el test del idioma original al deseado. La lengua materna de este
traductor deberá ser el idioma de la cultura objetivo pero al mismo tiempo debe conocer la
cultura y el idioma originario del test.
El objetivo es la traducción con equivalencia conceptual.

COMITÉ DE EXPERTOS

Se reune un comité de expertos bilingües (idioma original y objetivo).

El objetivo es identificar y resolver expresiones o conceptos inadecuados de la
traducción.

RETROTRADUCCIÓN

El test se vuelve a traducir del idioma objetivo al idioma original. En este caso, la
traducción la hace un traductor independiente, preferentemente psicólogo, cuya lengua
materna es el idioma original y no conoce el test.
La versión retro-traducida será nuevamente valorada por el comité de expertos.

PRE-TEST O ESTUDIO PILOTO

El nuevo instrumento se aplicará a una muestra con las mismas características que la
población a la que irá dirigido el test.