VALIDEZ DE LOS TEST

INTRO
- Sin validez las inferencias de las puntuaciones de un instrumento no sirven
- Validez es el grado en que la evidencia y la teoría soportan la interpretación
- LAS INTERPRETACIÓN SON LAS QUE DEBEN SER VALIDADAS

VALIDEZ: concepto unitario y un proceso

POPHAM (2000)
1. Refiere al uso de las interpretaciones que derivan del test
2. Es una cuestión de grado por ello debe evitarse hablar de resultados válidos o
inválidos
3. Especifica un uso particular o interpretación de las evaluaciones
4. Concepto unitario basado en diferentes tipos de evidencias
5. Implica un juicio evaluativa global en términos del apoyo que garantiza a las
interpretaciones

CONSIDERACIONES McDonald
1. Cuestiones de métodos utilizados en el proceso de validación
2. Cuestiones sustantivas sobre las relaciones entre el constructo que evalúa el test y
otros constructos
3. Cuestiones de la filosofía de la ciencia social que no se pueden evitar y cambian con
el tiempo
4. Martinez agrega: Cuestiones políticas y sociales que han introducido cambios en el
uso de los test

2. EVOLUCIÓN DEL CONCEPTO DE VALIDEZ

a. VALIDEZ PREDICTIVA: bajo la influencia del conductismo y positivismo lógico, se ve
a la validez como una capacidad de una prueba para predecir conductas de criterio
observables
→ correlación entre las evaluaciones del test y alguna medida objetiva de lo que la
prueba intenta medir

b. VALIDEZ CONCURRENTE: evaluación con conductas de criterio observables

→ Mismos procesos correlacionales que la VP
→ Recolección de datos: para las de VC los datos se recogen en el mismo momento
y para la VP las de medidas del criterio se recogen en momento después de la
aplicación del test
→ Se criticó su definición porque era muy restrictiva y se amplió a VCON

c. VALIDEZ DE CONTENIDO: grado en que el contenido del test representa una

muestra satisfactoria del dominio que se quiere evaluar

- Esfuerzos por elaborar recomendaciones sobre el uso y construcción de

pruebas
→Los psico elaboran RECOMENDACIONES TÉCNICAS PARA PP Y TÉCNICAS
DE DIAGNÓSTICO
 - añadieron una cuarta categoría: VALIDEZ DE CONSTRUCTO
→ grado en que el individuo posee algún rasgo hipotético o cualidad que se
refleja en la conducta del test
→ Se entendía el constructo como ATRIBUTO HIPOTÉTICO NO
OBSERVABLE y recomendaban: análisis factorial, análisis de ítems, estudios
experimentales, diferencias entre grupos, etc

- 1955 CRONBACH Y MEEHL: establecen que el CONSTRUCTO TEÓRICO

determinará los datos requeridos para la validación y la interpretación de los
resultados
→ validez como procesos
→ validez no puede expresarse en un sólo coeficiente, sino múltiples

- 1959 CAMPBELL Y FISKE (validez convergente y discriminante):

→ validez convergente: las evidencias de valor de la medida se encuentran en
correlaciones altas entre medidas del mismo constructo obtenidas por diferentes
métodos
→ validez discriminante: deben ser bajas las correlaciones entre diferentes
constructos medidos con el mismo métodos

- 1966 1974 se combinó la validez concurrente y predictiva → VALIDEZ RELATIVA AL

CRITERIO
→ se instaura la visión TRIPARTITA DE LA VALIDEZ (contenido, criterio y
construcción), y se consideró a la validez como la adecuación de las inferencias
extraídas de la evaluación de los tests

- 1980 GUION: VISIÓN UNIFICADA DE LA VALIDEZ

→ validez es un juicio evaluativo basado en una variedad de consideraciones,
incluyendo la estructura de las operaciones de medida, el patrón de correlaciones
con otras variables y resultados de investigaciones que confirman o refutan

→ no estaban de acuerdo con la visión tripartita porque se interpretaba como que se

podía validar cualquiera de las 3, además se proliferaron muchas definiciones de
validez validez factoria, práctica, aparente, intrínseca, aparente, de contenido,
factorial y empírica

- ESFUERZOS UNIFICADORES: consideran que solo hay una validez, la de

constructo que integra todas las 3 porque la validez es un proceso de juicio
evaluativo global del grado en que la evidencia empírica y las bases teóricas
soportan la interpretaciones sobre las evaluaciones de las pruebas

→amplía la noción de constructo como que la validación de inferencias se

aplica a cualquier observación se haga o no referencia al constructo teórico

- 1985 VALIDEZ: adecuación, significatividad y utilidad de las inferencias específicas

hechas a partir de las evaluaciones de los tests
 → se mantienen los 3 criterios, pero son tipos de evidencia NO DE VALIDEZ
→ entonces se refieren a EVIDENCIAS relacionadas al contenido, con el criterio y
con el constructo

- ESTÁNDARES 199:
MESSICK DOS FACETAS INTERCONECTADAS:
a. Justificación del test : EVIDENCIAL O CONSECUENCIAL
b. función del test: INTERPRETACIÓN O USO

a. BASES EVIDENCIALES: aportaron evidencias en apoyo del significado de las

evaluaciones
b. BASES CONSECUENCIALES: refieren a las consecuencias que contribuyen a la
valoración de las inferencias realizadas con las evaluaciones del test
c. INTERPRETACIÓN: refiere a un sentido de buscar a las inferencias
d. USO: refiere a la aplicación de las evaluaciones para una inferencias

ej. BE se recoge evidencia de la depresión en ancianos, BC se ven las implicaciones de los

síntomas de la depresión, se necesita evidencia relacionada con la relevancia de las
evaluaciones para el diagnóstico (SENSIBILIDAD, ESPECIFICIDAD Y VALOR
PREDICTIVO) y finalmente ver las consecuencias de uso (ej. Conse. de la detección de
muchos ancianos depresivos)

- CRONBACH 1988 propone: revisar si un procedimiento de prueba tiene o no las

consecuencias apropiadas para individuos e instituciones y, especialmente evitar las
consecuencias adversas
→ NUEVO ASPECTO: EVIDENCIAS DERIVADAS DE LAS CONSECUENCIAS

3. VISIÓN GENERAL DEL PROCESO DE VALIDACIÓN DE PRUEBAS

- La validez es la propiedad de los usos e interpretaciones del test, entonces puede
ser válido en algunos casos y en otros no
- Proceso de validación debe comenzar con una propuesta específica de las
interpretaciones que se darán a las evaluaciones del test
 a. MATRIZ DE ESPECIFICACIONES: amplitud y grado y se delinean los
aspectos del constructo, se definen sus componentes y cómo se distingue o
relaciona con otros

- Validación como un proceso de desarrollo de un argumento válido para apoya la

interpretación, siempre se revisa la prueba, el marco conceptual, las definiciones, etc

- La identificación de proposiciones necesarias para la interpretación de una prueba

puede facilitarse considerando hipótesis rivales (allternativas de la interpretación
propuesta)
→ refiere a la INFRARREPRESENTACIÓN DEL CONSTRUCTO: test no capta
aspectos importantes del constructo
—> VARIACIÓN IRRELEVANTE:
- las evaluaciones pueden estar influenciadas por componentes que no son
parte del constructo
ej. evaluar solo el aspecto fisiológico y no cognitivo de la ansiedad
- por conocimiento o rapidez lectora
- posibles distorsiones en el significado por la inadecuada representación del
constructi
- formato del test, condiciones de administración, nivel de lenguaje del ítem, ..

- Validez CONCEPTO UNIFICADO, pero puede ser diferenciada en 6 aspectos

1. ASPECTO DE CONTENIDO: contempla la correspondencia entre la muestra
de tareas del instrumento y lo que pretende medir
2. ASPECTO SUSTANTIVO: refiere a las bases teóricas de las consistencias
observadas en las respuestas de los test
3. ASPECTO ESTRUCTURAL: evalúa la fidelidad a la estructura del constructo
y tiene que ver con su dimensionalidad
4. ASPECTO DE GENERALIZABILIDAD: examina el grado en que las propias
pruebas de las evaluaciones y la interpretación se GENERALIZAN A
GRUPOS Y SITUACIONES DISTINTAS
5. ASPECTO EXTERNO: evidencia convergente y discriminante de las
comparaciones de multimétodo-multirasgo así como evidencia de la
relevancia del criterio y utilidad aplicada
6. ASPECTO DE CONSECUENCIAS: evalúan el valor del a interpretación de
las puntuaciones como base para la acción , así como las consecuencias
pottenciales y actuales del USO DE LA PRUEBA

4. ARGUMENTOS DE VALIDEZ Y SUS FUENTES DE EVIDENCIA

- Debe existir la argumentación lógica que especifique los usos válidos de la
interpretación de sus evaluaciones deben ir acompañadas de: EVIDENCIAS DE
VALIDEZ (evidencias rerecogidas para apoyar la argumentación)
- 4 tipos: EVIDENCIAS CON EL CONTENIDO, DE VALIDEZ CONVERGENTE Y
DISCRIMINANTE Y EVIDENCIAS DE LAS CONSECUENCIAS

5. EVIDENCIAS DE VALIDEZ BASADAS EN EL CONTENIDO DEL TEST

 - Los estándares para pruebas educativas psicológicas señalan cuando se obtendrán
evidencias de validez de la relación entre el contenido del test y el constructo que se
quiere medir
- Autores parten de una descripción específica de contenidos
- Pruebas:
a. Juicio de expertos: evalúa la importancia relativa, la crítica la frecuencia de
determinadas tareas
b. Adecuación al dominio

- Las evidencias basadas en el contenido deben tratar cuestiones sobre las

diferencias en el significado o interpretación de los tests para grupos diferentes
examinados
→ aspecto clave: ESPECIFICACIÓN de los límites del dominio del constructo a
evaluar y determinar los atributos que se deben mostrar en la evaluación

- Principales amenazas a la evidencia basada en el contenido

a. Infrarrepresentación del constructo: se deben especificar todos los
mecanismos y procesos que subyacen a la ejecución de una tarea
descomponiendola en procesos componentes, estrategias y conocimientos
b. Varianza irrelevante para el constructo: sucede cuando los ítems están
influenciados por aspectos ajenos al constructo
1. dificultad irrelevante para el constructo: cuando aspectos de la tarea
son extraños
2. facilidad irrelevante: ocurre cuando pistas extrañas permiten
responder bien en formas irrelevantes / ej. cuando el test es muy
familiar

5.1 PROCEDIMIENTOS PARA EL ANÁLISIS DE LAS EVIDENCIAS DE VALIDEZ DE

CONTENIDO
1. PROCEDIMIENTOS BASADOS EN JUICIO DE EXPERTOS
a. definición del dominio del contenido
- especificaciones de la prueba: objetivos instruccionales, procesos que se
evaluarán e importancia relativa de los diferentes temas y procesos

1. se ponderarán o no los objetivos

2. para los jueces una lista de objetivos y preguntas cada uno a cada
uno y se calcula la media de acuerdo al ítem y este en resumen
indicará el grado de emparejamiento ítem-objetivo
3. aspectos de los ítems serán examinados
4. resumen de los resultados en alguna medida cuantitativa
 b. identificación de expertos
c. obtener el juicio de los expertos sobre el grado en que el dominio y el
contenido del instrumento lo representan bien
d. cálculo de algún índice cuantitativo para resumir los datos

→ el método de escala multidimensional y de análisis de conglomerados permiten

diferencias entre los contenidos del test
→ definiciones antiguas ya no usadas: validez aparente, validez ocurrente (grado en
que los ítems son relevantes para el objetivo) y validez instructiva expresa si los profes han
proporcionado instrucción en los contenidos

6. EVIDENCIAS BASADAS EN ANÁLISIS DE LOS PROCESOS DE RESPUESTA

Tendencia a incluir formatos de respuestas complejos porque los resultados deben
proporcionar bases para hacer inferencias sobre los procesos empleados por sujetos en la
resolución de problemas
→ consecuencia de la ciencia cognitiva porque se incorporan múltiples procesos cognitivos
que deben ser evaluados
→ CONSECUENCIAS en la validación del constructo debe identificarse los procesos del
dominio

7. EVIDENCIAS BASADAS EN LA ESTRUCTURA INTERNA (ANÁLISIS PSICOMÉTRICO

DEL TEST)
- Permite poner en relieve el grado en que las relaciones entre los ítems se
corresponden con el constructo pretendido
→ una teoría que plantea UNIDIMENSIONALIDAD demandará tal comportamiento
en los ítems del test
→ FUNCIONAMIENTO DIFERENCIAL DEL ÍTEM: ocurre cuando grupos diferentes
de examinados difieren en el promedio sistemáticamente en un ítem particular, lo
que no siempre es un fallo, sino que puede ser índice de MULTIDIMENSIONALIDAD

8. EVIDENCIAS BASADAS EN LAS RELACIONES CON OTRAS VARIABLES

Grado en que las relaciones de las evaluaciones de las pruebas con otras conductas
reflejan las relaciones esperadas en la teoría del constructo, se debe:

1. identificar todas las conductas que DEFINEN EL CONSTRUCTO

2. identificar otros constructos que podrían estar relacionado, pero que se diferencian
3. Identificar otros que NO deben estar relacionados
→ se crea la red nomológica

8.1 EVIDENCIAS CONVERGENTES Y DISCRIMINANTES: pueden establecerse desde

a.Evidencia de validez convergente: si una prueba es una buena medida del constructo,
mostrará correlaciones elevadas con otras medidas del mismo constructo

b.Evidencia de validez discriminante: se ve si prueba es capaz de distinguir entre el

constructo que está diseñada para medir y otros constructos relacionados o diferentes.
 - la correlaciones serán bajas con los constructos con lo que debería no estar
relacionada

1959 Campbell y Fiske cualquier prueba es una UNIDAD RANGO MÉTODO: unión de un
rasgo que se quiere medir con un procedimiento de medida que no es específico al rasgo,
porque podría ser utilizado para otros rasgos

→ Para separar efectos del método recomendaron un diseño:

a. Considerar simultáneamente dos o más rasgos
b. Cada uno de los rasgos es evaluado por dos o más métodos

→ la ideas que los rasgos diferentes, se diferenciaran aunque sean evaluados por el mismo
método
- si se encuentra que los rasgos de los cuales no se esperaban correlaciones las
muestren pueden SOSPECHARSE que se debe al uso del mismo método y no al
rasgo en sí mismo

→ resultados del diseño se plasman en MATRICES MULTIRRASGO - MULTIMÉTODO

FUNCIÓN DE LA MTMM:
1. Mostrar correlaciones de evaluación de varios rasgos pod distintos métodos, por lo
cual se debe evaluar una muestra de sujetos en varios rasgos utilizando diferentes
métodos
2. Se propone el examen de varios bloques de correlaciones que deberán mostrar
distintos patrones
3. Se pueden evaluar las evidencias de validez convergente y discriminante

DOS BLOQUES DE LA MATRIZ

1. BLOQUE MONOMÉTODO: medidas por el mismo m
a. diagonal de fiabilidad: puntos negros correlaciones de cada variable consigo
misma y representan confiabilidad
b. el tríangulo hetero-rasgo / mono-método (triangulos continuos)

2. BLOQUE HETEROMÉTODO
a. diagonal de validez convergente: puntos blancos son correlaciones de cada
constructo evaluadas por dos métodos
b. triángulo hetero-rasgo / hetero-método (línea discontinua)

→ Para que las medidas sean válidas debe haber un patrón determinado en las
correlaciones de la matriz, usaron un método heurístico basándose en la inspección visual
de la matriz (deben ser que las confiabilidades muestren valores aceptables antes de
continuar con la matriz)

→ PROPIEDADES DE LA MATRIZ MTMM QUE SE DEBEN EVALUAR

1. No hay criterios para las correlaciones de la diagonal de validez, por ello son
significativamente altas
2. Las correlaciones de la diagonal de validez serán significativamente superiores a las
restantes correlaciones del tríangulo hetero-método/ hétero-rasgo
 3. VALIDEZ DISCRIMINANTE: elementos de la diagonal de validez serán mayores que
los del triángulo del mono-método, muestra la diferencias entre rasgos y la no
contaminación por el MÉTODO
4. Las correlaciones altas lo serán en todos los triángulo, apoya la estabilidad entre
constructos independiente del método de evaluación

→ VALIDEZ CONVERGENTE: las correlaciones son inferiores a las encontradas para el

mismo rasgo evaluado por dos métodos

→ VALIDEZ DISCRIMINANTE: cuando correlaciones son más altas cuando son distintos
rasgos

8.2 EVIDENCIAS REFERIDAS A CRITERIOS

CRITERIOS: conductas que suelen ser relevantes y de interés en situaciones aplicadas
→ evidencias de validez deberán mostrar que en efecto se dan las relaciones de la rede
nomológica

8.2.1 PRECISIONES SOBRE LOS CRITERIOS

1) Identificar un criterio relevante 2)identificar una muestra de sujetos representativos
de la población 3) administrar el test y obtener puntuaciones 4) obtener medidas de
criterio 5) calcular índice que exprese relación entre prueba y criterio

CONSIDERACIONES
1)TEMPORALIDAD DEL CRITERIO: elegir una evidencia u otra depende del objetivo
1. EVIDENCIAS DE VALIDEZ PREDICTIVA: se tomó inicialmente las medidas
en el test y después de un tiempo las medidas el criterio
- es más costosa porque se puede perder sujetos en la muestra

2. EVIDENCIAS DE VALIDEZ CONCURRENTE: cuando las medidas del test y

las del criterio se toman durante el mismo periodo de tiempo

3. EVIDENCIAS DE VALIDEZ RETROSPECTIVA: cuando las medidas del test

se toman después de que ha ocurrido el criterio

2) PROBLEMA DEL CRITERIO

1. SESGOS: combinación de factores, variación irrelevante para el constructo,
combinación inadecuada de componentes, atribución inadecuada de pesos que
contaminan los criterios
2. CRITERIOS MÚLTIPLES FRENTE A CRITERIOS ÚNICOS: algunos defienden una
medida global y otros una multidimensional.
- SOLUCIÓN INTERMEDIA: VALIDEZ SINTÉTICA criterio analiza en múltiples
dimensiones cuyas relaciones con el test se evalúan separadamente

3. CRITERIOS ESTÁTICOS VS CAMBIANTES:

a.Los criterios estáticos en la construcción de pruebas psicológicas se refieren a las
características fijas o constantes de una prueba, como su estructura.
 b.Por otro lado, los criterios cambiantes se relacionan con aspectos que pueden
variar o evolucionar con el tiempo COMO LAS CORRELACIONES
4. AUSENCIA DE VALIDACIÓN DE CONSTRUCTO DE CRITERIOS

VALIDEZ INCREMENTAL
- Mide la capacidad de una nueva prueba para mejorar la precisión de la evaluación
psicológica al agregar información única y valiosa que no se obtiene de otras
pruebas previamente establecidas.

9. EVIDENCIAS BASADAS EN LAS CONSECUENCIAS DEL TEST

- consecuencias buscadas y no buscadas
- las pruebas se administran esperando algún beneficio y su validación debe ser si
han cumplido o no con estos objetivos
- Dependiendo de la prueba hay consecuencias positivas ej. pruebas clínicas se
selecciona el tratamiento más eficaz, y deben evitarse las consecuencias negativas
- DIFERENCIAS SOBRE CÓMO INCORPORAR LAS CONSE. DE LAS DECISIONES
EN LOS ESTUDIOS DE VALIDEZ

A. MESSICK: se vinculan a aspectos relativos a la representación y variabilidad

irrelevante
B. CRONBACH: se vinculan las consecuencias negativas individuales y sociales