Psicometría

TEMA 5: VALIDEZ
1. EL CONCEPTO DE VALIDEZ

La fiabilidad es la precisión, si esa formas paralelas que midan lo mismo, si es la estabilidad

temporal es qué cuando pasa el tiempo sean igual de precisas. pero si son de consistencia
interna es qué tengan la misma precisión.

Los tipos de validez en 1966, son hasta el momento los mejores. Pero para comprobarlo en
1995 se comprueba con diferentes tipos de evidencias para demostrar que existen. Así
demuestran qué no hay tipos de validez, solo hay uno. Primero creían qué había tipos de
validez pero con el tiempo descubrieron qué realmente todos los test miden lo mismo, por lo
qué empiezan a hablar de diferentes tipos de evidencias.

Los tres tipos son la misma cosa pero tienen distintas manifestaciones de una misma cosa
con la que podemos evaluar varias cosas.

Las evidencias de validez están basadas en una serie de normas qué agrupan en un libro
llamado “Estándar” para qué todos sigan las mismas pautas sin importar el país en el qué nos
encontremos:

- El contenido del test

- El proceso de respuesta
- Las consecuencias de aplicación del test
- La estructura interna del test
- La relación con otras variables

La validez está relacionada con las puntuaciones que se da a un test y los usos que se dan
de esa, si esas puntuaciones sirven para ese uso nos dice qué es. No podemos decir qué el
test tiene validez porque lo qué son válidas son las puntuaciones. (si el examen de
psicometría está basado para adquirir conocimientos no es lo mismo que el examen qué el
PIR porque en este último si no alcanzas la nota te echas por lo que la finalidad es para
seleccionar).

35
Psicometría

La validación es el proceso qué nos proporciona información acerca del grado en qué la
evidencia y la teoría apoyan las interpretaciones y usos de las puntuaciones en los test. Es
necesario conseguir evidencias de validez de ese test para saber que es correcto.

Si hacemos un test para medir la personalidad basándonos en el modelo de los cinco grandes
tendremos qué comparar con otros test ya creados y qué se ha demostrado qué son válidos.
De esta forma las puntuaciones de una misma persona en los dos test tenemos qué
correlacionarse y deberíamos tener unas puntuaciones mucho mayores para decir qué si se
parecen.

El proceso de validación (AERA/APA/NCME 1999) consiste en el proceso que nos

proporciona información acerca del grado en que la evidencia y la teoría apoyan las
interpretaciones y usos de las puntuaciones en los test. El proceso es:

- Para las puntuaciones en un test, se proponen interpretaciones y usos basados en

esas interpretaciones
- Se buscan evidencias empíricas de la validez de esas interpretaciones y usos
- Si los datos apoyan esas interpretaciones y sus usos, se obtienen evidencias de
validez.

2. FUENTES DE EVIDENCIAS
a. EVIDENCIAS BASADAS EN EL CONTENIDO

Se examina la pertinencia del contenido del test. Este debe ser el primer paso del proceso de
validación. Los contenidos son los temas, la redacción y el formato de ítems, instrucciones y
rúbricas o criterios de puntuación. Nos encontramos con dos aspectos a considerar (Sireci
2003):

- Definición del dominio (operativa-tabla de especificaciones): se deben describir las

áreas de contenido y las destrezas cognitivas que mide el test

Definición operativa - tabla de

especificaciones

36
Psicometría

- Representación del dominio

(representatividad y relevancia): los
ítems deben ser representativos y
relevantes

La imagen quiere decir qué tengo cuatro cosas para evaluar y mí test no mide todas. Además
incluso mide unas cosas exteriores que no son aquellas que queremos medir. (queremos
hacer un test de extraversión y ponemos ítems de aventura a la experiencia (cuando salgo
de fiesta, me voy andando solo))

El procedimiento de las evidencias consiste en el

emparejamiento de los ítems con los objetivos
recogidos en la tabla de especificaciones.

Para medirlo es necesario:

37
Psicometría

El segundo procedimiento es el de la tarea de emparejamiento ítems-objetivos:

Por otro lado, el porcentaje de congruencia se realiza 10/12 es 0,83 y lo pasamos a

porcentaje. Tenemos qué sumar todos los 1 y dividido en el número de ítems qué he puesto
ese 1.

Los ítems de relleno sirven para ver si la gente está atenta a la hora de valorar por lo qué si
las personas han fallado en los ítems de relleno, tenemos qué valorar los fallos porque si se
ha saltado todos lo mismo es necesario eliminar a la persona.

De esta forma el peor juez ha sido el dos ya que no ha visto ningún ítem de relleno pero el
mejor ha sido el tres ya qué ha visto todos.

38
Psicometría

b. EVIDENCIAS BASADAS EN EL PROCESO DE RESPUESTA

Se analizan los procesos de respuesta qué se siguen para resolver los ítems
métodos:

1. aplicar entrevistas cognitivas (preguntar a los evaluados) y think-aloud (explicar en

voz alta qué se hace para resolver una tarea).
2. medir tiempos de respuesta (como indicador de dificultad ya qué si aumenta el tiempo
de respuesta se da a entender qué tarda más en procesarlo debido a su dificultad).
3. analizar los movimientos oculares (eye-tracker), registrar los ojos para ver en qué
cosas se fija la persona (tobi eyes).
4. tests basados en modelos.

c. EVIDENCIAS BASADAS EN LAS CONSECUENCIAS DE

APLICACIÓN DEL TEST

Consiste en valorar las consecuencias (intencionadas o no, positivas o negativas ) de la

aplicación de un test.

39
Psicometría

EJEMPLO 1:
Consecuencias de aplicar tests en distintos contextos:
- consecuencias intencionadas positivas en selección depersonal (personas qué ya
saben del tema)
- reducción de los costes de formación
- aumento de la producción
- Consecuencias intencionadas positivas en contexto clínico
- selección de tratamiento más adecuados y eficaces
- mejor prevención

EJEMPLO 2:
Programa de evaluación educativa a gran escala:
- Consecuencias intencionadas positivas
- aumento de motivación de profesores y estudiantes para mejorar el
aprendizaje
- mejora de las estrategias instruccionales para los estudiantes rindan mejor
- ajuste del contenido del curriculum
- Consecuencias no intencionadas negativas
- se imparten los contenidos qué se van a evaluar en los test
(estrechamiento curricular)
- entrenamiento en estrategias para enfrentarse a las pruebas de evaluación
- falta de motivación para realizar bien la evaluación si no tiene
consecuencias académicas

¿Cómo se pueden aportar evidencias sobre las consecuencias de aplicar un test?

1. Justificar qué todos los contenidos del constructo a evaluar están bien representados
en el test. (evidencias de validez de contenido). así es más difícil obtener mejores
puntuaciones debido a un entrenamiento en los contenidos específicos del test
2. Analizar si se mantienen las propiedades psicométricas del test en los diferentes
contextos de aplicación ( ej. ¿cambia la estructura factorial?)
3. Informar de ausencia de sesgo (diferencias de rendimmiento entre grups qué no se
deben al nivel en el constructo medido(cuando se piensa qué a todas las chicas saben
menos de deportes)) e impacto adverso (diferencias en la selección a favor de un
grupo frente a otros/s)
4. Recoger información sobre las posibilidades consecuencias (ej: entrevistando a las
personas implicadas qué puedan verse afectadas por la palicaicón del test-profesores,
directores, estudiantes, familias-)

d. EVIDENCIAS BASADAS EN LA ESTRUCTURA INTERNA DEL

TEST
Esto se verá en el tema 6.
e. EVIDENCIAS BASADAS EN LA RELACIÓN CON OTRAS
VARIABLES

40
Psicometría

EVIDENCIAS CONVERGENTES Y DISCRIMINANTES

➔ Evidencias convergentes: analizar si las puntuaciones en el test y otro/s constructo/s

se relacionan, según se espera teóricamente
- relación entre un test nuevo de extraversión y la escala de extraversión del
NEO PI-R
- relación entre test de inteligencia emocional y un test de estabilidad emocional
- relación entre un test de razonamiento lógico de opción múltiple y otro test de
razonamiento lógico de resolución de problemas
➔ Evidencias discriminantes: analizar si las puntuaciones en el test y otro/s constructos
no se relacionan (o se relacionan menos), según se espera teóricamente
- relación entre un test de aptitud matemática y un test de ansiedad
- relación entre un test de razonamiento lógico y un test de comprensión lectora

ESTUDIOS BASADOS EN LA COMPARACIÓN DE GRUPOS

➔ Evidencias convergentes:
◆ Se comparan grupos con diferencias en el nivel de rasgo
● Test neuropsicológico (con lesión/sin lesión)
● Test de conocimientos (expertos/novatos)
◆ Se comparan grupos qué han recibido intervenciones diferentes
● Test de estrés (tratamiento/control)
● Test de logro académico (instrucción/control)
➔ Evidencias discriminantes: se comparan grupos “similares” pero entre los que el test
debería poder discriminar
◆ Relación entre un test de aptitud matemática y un test de ansiedad
◆ Relación entre un test de razonamiento lógico y un test de comprensión
lectora

41
Psicometría

EVIDENCIAS SOBRE LA RELACIÓN ENTRE EL TEST Y ALGÚN CRITERIO RELEVANTE

Se buscan evidencias de que el test sirve para predecir otra/s variables externas o criterio/s
(rendimiento académico, rendimiento laboral, satisfactorio, presencia de un trastorno,
recuperación en un proceso terapéutico…)

- Predictiva: reflejan la relación entre el constructo que mide el test y un criterio, cuando
el criterio se mide más tarde. EJ: selección de personal, la relación test aptitudes
cognitivas-medida de desempeño laboral en periodo de prueba.
- Concurrente: reflejan la relación entre el constructo que mide el test y un criterio,
cuando ambos se obtienen próximamente en el mismo momento. EJ: el contexto
educativo donde la relación del test tiene aptitudes matemáticas y examen de
matemáticas.
- Retrospectiva: reflejan la relación entre el constructo que mide el test y un criterio,
cuando las puntuaciones en el test se obtienen después del criterio. EJ: el contexto
educativo con la relación entre el rendimiento académico y el test de inteligencia.

42