TEMA 4

Fiabilidad vs. Validez

• Fiabilidad:

- Indica la precisión (ausencia de error).

- No ha cambiado con el tiempo
- Menos importante que la validez.

• Validez:

- Indica si lo que mide el test es coherente con una teoría.

- Ha cambiado con el tiempo.
- Propiedad más importante de un test.

Test (muestra de conductas de un sujeto)---Mediante ESCALAMIENTO---se obtienen las

Puntuaciones Obsevadas (X).

Medida en que la puntuación X refleja la Puntuación V---FIABILIDAD.

Medida en que la puntuación V refleja el Constructo---VALIDEZ.

Validez

• Grado en que la teoría y los datos apoyan la interpretación de las puntuaciones de un test
para un uso concreto (Standards for Educational and Psychological Testing, 1999).

• No se habla de validez de un test, sino de validez de la interpretación de sus puntuaciones,

ya que las puntuaciones dependen del contexto y la muestra

• La validez es un concepto unitario. Todos los tipos (evidencias) de validez se refieren a si la

prueba mide teóricamente lo que dice medir.

• Se debe consultar el manual para interpretar las puntuaciones en base a la teoría

subyacente.

• La validez es un proceso acumulativo de evidencias para las puntuaciones de un test.

Validez como un proceso

• Se comienza definiendo:

- Matriz de especificaciones que recoge los componentes del constructo.

- Red nomológica que indica las relaciones con otros constructos.

• Se generan hipótesis rivales para ver si el constructo se mide bien por medio del test:

- Infra representación del constructo: el test no recoge todos los aspectos del
constructo.
- Varianza irrelevante del constructo: el test se ve afectado por variables extrañas al
constructo.

• Continua revisión de la validez del constructo producida por la revisión de la medida

(test).

Concepto unitario

• La validez debe entenderse como un concepto unitario, sólo se puede hablar de una
validez de una prueba: hasta qué punto representa el constructo teórico que trata de medir.

Evidencias de validez

DE CONSTRUCTO

En qué modo una prueba permite hacer inferencias acerca de conductas que se
pueden agrupar bajo la etiqueta de un constructo psicológico:

• Implica recoger toda la información para tener garantías que las conductas
observadas son indicadores del constructo teórico.

• Este tipo de validez incluiría el resto.

DE CONTENIDO

Grado en que el contenido de una prueba constituye una muestra representativa de

los elementos del constructo que se trata de medir.

• Examinar el contenido de un test para determinar si puede usarse para el propósito

que fue construido.
• Se suele realizar mediante juicios de expertos sobre la relación entre el test y rasgo a
medir.
• Hay que especificar bien los límites del dominio del constructo y cómo se puede
evaluar.
Definición del dominio: Indicar qué % de ítems configuran los contenidos del dominio y
procesos psicológicos.
Cálculo:

• Índice de congruencia ítem-objetivo: varios jueces juzgan si el contenido de

cada ítem refleja cada objetivo:

- Cada ítem se valora en todos los objetivos.

- Procedimiento más complejo y largo.
- No hay ítems de relleno.

• Emparejamiento:

- varios jueces juzgan qué objetivo mide cada ítem.

- Cada ítem se asigna a sólo un objetivo.
- Procedimiento más sencillo y rápido.
- Puede haber ítems de relleno.

Amenazas:

• Infra representación del constructo: se puede tratar analizando el dominio

del constructo.

• Varianza irrelevante: inclusión de contenidos del test que no son relevantes

para el constructo.

• Tipos:

- Dificultad irrelevante: factores extraños hacen que el test sea difícil

para un grupo de personas.
- Facilidad irrelevante: hay pistas en los ítems que hacen que sea un test
fácil para un grupo.

Evidencias de validez relacionadas:

• Validez aparente: hasta qué punto el test aparenta medir lo que mide.
Importante para motivar a los sujetos durante la evaluación.

• Validez curricular: grado en que los ítems del test son relevantes para
estudiar el currículo académico.

• Validez instruccional: grado en que el test refleja lo que los alumnos han
aprendido de los contenidos de clase.

REFERIDA A UN CRITERIO (En las diapositivas está dentro de Validez Externa)

Hasta qué punto un test se relaciona con conductas reales (externas). (predicción)
INTERNA

Hasta qué punto una prueba mide una o varias dimensiones psicológicas. Se estudia la
estructura interna de la prueba.

• Determinar el número de dimensiones que tiene un test (DIMENSIONALIDAD).

• Ver si hay congruencia entre los ítems de la prueba.

Procedimientos:

 AFE (Análisis Factorial Exploratorio): cuando no sabemos a priori las

dimensiones que habrá.
 AFC (Análisis Factorial Confirmatorio): cuando hay una teoría que guía los
análisis e indica las dimensiones.
 Funcionamiento diferencial del ítem: cuando dos personas o grupos que a
priori deberían puntuar igual en un ítem, empíricamente obtienen diferentes
resultados.

EXTERNA

La relación que presenta un test con otras pruebas que teóricamente miden lo mismo
(evidencia de validez convergente) y con otras pruebas que miden aspectos diferentes
(evidencia de validez discriminante).

Objetivo:

• Ver si el test se relaciona con otras variables relevantes y no lo hace con las
que no son relevantes.

• La relevancia de las variables se decide a nivel teórico. Red nomológica.

Tipos:

• Convergente: constructos relacionados teóricamente con el test. Los test

deben correlacionar alto.

• Discriminante: constructos no relacionados teóricamente con el test. Los test

deben correlacionar bajo.

• De criterio: medidas que pueda predecir el test (rendimiento académico,

laboral o grado de recuperación de una terapia).

Matriz Multirrasgo-Multimétodo

• Propuesta por Campbell y Fiske (1959).

• Analiza la validez convergente y discriminante.

• Un test es la unión de un Rasgo que se pretende medir y un Método

empleado para medirlo.

• La covariación entre dos pruebas puede deberse a que comparten el mismo

rasgo o el mismo método.
 • Hay que separar el efecto del método del efecto del rasgo:

- Considerando dos o más rasgos diferentes.

- Evaluando cada rasgo con dos o más métodos.

- Diagonal de FIABILIDAD: mismo método y mismo rasgo. Relación entre cada

constructo con el mismo método.

Evidencia de fiabilidad: las correlaciones deben ser altas.

- Diagonal de la VALIDEZ CONVERGENTE: diferente método y mismo rasgo.

Correlación entre cada constructo evaluado con diferente método.

Evidencia de validez convergente: correlaciones de la diagonal de

validez convergente más altas que las de los triángulos hetero-rasgo/hetero-
método.

- Correlaciones HETERO-RASGO Y MONO-MÉTODO, esto es la VALIDEZ

DISCRIMINANTE, donde se miden dos constructos con un mismo método.

Evidencia de validez discriminante: correlaciones de la diagonal de

validez convergente más altas que las de los triángulos hetero-rasgo/mono-
método.

- Correlaciones HETERO-RASGO Y HETERO-MÉTODO, dos constructos con dos

métodos (no tiene nombre propio).

Evidencia de estabilidad de las relaciones entre los constructos independientemente

del método: Patrones de correlaciones en los triángulos iguales.
 Evidencia de validez de criterio:

• Evalúa la relación del test con un criterio externo (conducta relevante).

• La relación esperada entre el criterio y el constructo se basa en la red

nomológica.

• Temporalidad (momento en que se mide el criterio):

- Validez predictiva o prospectiva: se aplica el test y pasado un tiempo se

mide el criterio.

- Validez concurrente: el test y el criterio se miden a la vez.

- Validez retrospectiva: se mide el criterio y pasado un tiempo se aplica el

test.

• Problemas:

- Sesgos: muestreo inadecuado, poco control de la medida (test),

criterio mal definido.
- Criterios múltiples vs únicos: no hay un acuerdo en si hay que usar un
solo criterio o varios.
- Criterios cambiantes: los criterios pueden cambiar con el paso del
tiempo fruto del aprendizaje o la experiencia de las personas.
- Ausencia de validación del constructo de los criterios .

CONSECUENCIAL

Qué consecuencias potenciales puede tener una prueba en los evaluados.

• Evaluar las consecuencias buscadas y no buscadas del test.

- Buscadas: lograr un beneficio, seleccionar a los candidatos adecuados,

diagnosticar adecuadamente, mejorar el rendimiento,…
- No buscadas: deben ser minimizadas.
 Procedimientos:
- Representar en el test el constructo: desarrollar test con contenidos
generales para que predigan bien el criterio.
- Alteración de la estructura interna : comprobar si se altera la estructura
interna aplicada bajo diferentes condiciones.
- Analizar el sesgo o impacto no deseado.
- Aplicar cuestionarios para ver cómo afecta el test a los sujetos .
- Investigaciones longitudinales que analicen los cambios a lo largo del
tiempo en los sujetos después de aplicar el test.

GENERALIZACIÓN

Grado en que los resultados de una prueba son generalizables a otra población,
situaciones o tareas. Grado de replicabilidad de un test.