Documentos de Académico
Documentos de Profesional
Documentos de Cultura
1. Concepto de Validez
2. Fuentes de evidencia de Validez
1. Validez basada en el contenido en el test
1. Construcción y análisis de ítems
• Redacción de Ítems: Rendimiento óptimo
• Redacción de ítems: Rendimiento típico
2. Validez basada en el proceso de respuesta
CONTENIDO
Actualmente:
Definición de Validez
Grado en que la teoría y los datos disponibles apoyan la interpretación de las
puntuaciones de un test [o de cualquier registro] para un uso concreto en un
contexto concreto.
Dicho de otro modo: grado en que podemos usar las puntuaciones de un test
para aquello que queremos usarlas con la muestra y el objetivo que tenemos
en mente.
VALIDEZ
Proceso continuo:
Evidencia Empírica
Diseño Inicial del Refinamiento del
relativa a las
test test y sus ítems
puntuaciones del test
VALIDEZ
• El/la profesional que aplica un test debe consultar el manual del mismo
para averiguar si la utilización e interpretación pretendida coinciden con
la proporcionada por la documentación. En caso negativo, es necesario
desarrollar un estudio de validación para recoger información que apoye (o
no) ese uso concreto.
VALIDEZ
VALIDEZ
Y si quisiera utilizarlo
en adultos…
¿Podríamos?
EVIDENCIAS DE VALIDEZ
• Se busca evidencia del grado en que los ítems son representativos de los
atributos psicológicos que representan.
Prueba t
Test A
Constructo ANOVA
Conocimiento de
Estadística inferencial MAYORES
Tablas de contingencia EVIDENCIAS
Correlación DE VALIDEZ
Test B DE
Prueba t
ANOVA CONTENIDO
EVIDENCIAS DE VALIDEZ: CONTENIDO
• Los objetivos de medición del constructo muchas veces no son únicos, sino que
están compuestos por diferentes componentes.
• Estos componentes pueden tener diferente peso en el objetivo final de medición.
• Para asegurarnos que medimos todos estos componentes, vamos a desarrollar
una tabla de especificaciones. La tabla de especificaciones nos indica el
número de ítems a incluir en un test por contenido y objetivo de medición.
La Tabla de Especificaciones
P.e. Queremos diseñar un test/examen que mida los conocimientos de las personas en
Psicometría. Realizamos una tabla dónde se indican los diferentes temas y el peso que le damos
dentro del examen. Queremos que el examen esté compuesto de 20 ítems.
Conceptos teóricos
(100%)
Objetivos de aprendizaje
La Tabla de Especificaciones
• El peso de cada categoría de ítems se asigna teniendo en cuenta criterios del constructo a
medir. En este caso, número de horas de clase invertidas.
• Teniendo el cuenta el peso, calculamos número de ítems necesarios en cada categoría.
Conceptos teóricos
(100%)
Análisis de ítems (60%) 12
Fiabilidad (10%) 2
Rendimiento óptimo
Validez (10%) 2 Y
Baremos (10%) 2 Rendimiento típico
Métodos modernos medición
2
(10%)
20
EVIDENCIAS DE VALIDEZ: CONTENIDO
La Tabla de Especificaciones
Si añadimos más constructos a medir (“Objetivos de Aprendizaje”), tendremos que
dividir el número de ítems que corresponde a cada contenido según el peso que
demos a los constructos
La Tabla de Especificaciones
Si añadimos más constructos a medir (“Objetivos de Aprendizaje”), tendremos que
dividir el número de ítems que corresponde a cada contenido según el peso que
demos a los constructos
La Tabla de Especificaciones
No siempre los porcentajes especificados pueden adecuarse al número total de
ítems del test. En ese caso, se tienen que ajustar los ítems asignados al total indicado
en los marginales.
16 4 20
EVIDENCIAS DE VALIDEZ: CONTENIDO
La Tabla de Especificaciones
No siempre los porcentajes especificados pueden adecuarse al número total de
ítems del test. En ese caso, se tienen que ajustar los ítems asignados al total indicado
en los marginales.
16 4 20
EVIDENCIAS DE VALIDEZ: CONTENIDO
La Tabla de Especificaciones
En los tests ya diseñados se puede consultar en su manual.
Rendimiento óptimo
Y
Rendimiento típico
EVIDENCIAS DE VALIDEZ: CONTENIDO
La Tabla de Especificaciones
• En los test de rendimiento óptimo hasta ahora hemos asumido que todos los ítems
tienen la misma dificultad. Sin embargo, esto no es realista. Es normal tener ítems fáciles,
con dificultad media y difíciles.
• Se recomienda que la mitad de los ítems tengan una dificultad media, dividiendo el resto
entre fáciles y difíciles por partes iguales.
• De este modo, el número de ítems de dificultad media es el doble que de ítems fáciles + Solo
difíciles. Rendimiento óptimo
EVIDENCIAS DE VALIDEZ: CONTENIDO
La Tabla de Especificaciones
Conceptos Teóricos
(100%)
Fácil Media Difícil
(25%) (50%) (25%)
Análisis de ítems (60%)
Fiabilidad (10%)
Validez (10%)
Solo
Baremos (10%) Rendimiento óptimo
Métodos modernos medición
(10%)
20
EVIDENCIAS DE VALIDEZ: CONTENIDO
La Tabla de Especificaciones
Conceptos Teóricos
(100%)
Fácil Media Difícil
(25%) (50%) (25%)
Análisis de ítems (60%) 15% (3) 30% (6) 15% (3) 12
Fiabilidad (10%) 2,5% (1) 5% (1) 2,5% (0) 2
Validez (10%) 2,5% (1) 5% (1) 2,5% (0) 2
Solo
Baremos (10%) 2,5% (0) 5% (1) 2,5% (1) 2 Rendimiento óptimo
Métodos modernos medición
(10%) 2,5% (0) 5% (1) 2,5% (1) 2
5 10 5 20
Recomendación: Se recomienda que los ítems se ordenen en dificultad (primero los fáciles,
después los difíciles) → Aumento de la motivación y evito efectos del tiempo de aplicación
EVIDENCIAS DE VALIDEZ: CONTENIDO
• Longitud del Test: Relacionado con la fiabilidad y validez del test, así
cómo la aparición de efectos de fatiga.
Redacción de ítems
• Crucial para el correcto funcionamiento de la prueba. No es una tarea
sencilla redactar buenos ítems, y se tiene que atender a una serie de
recomendaciones.
• Se busca evidencia del grado en que los ítems son representativos de los
atributos psicológicos que representan.
• Muy relacionada con el desarrollo inicial del test y con la definición de ítems.
• Un panel de jueces expertos revisan y evalúan todos los ítems para decidir
si los ítems representan de forma completa y suficiente el dominio. Se
evalúa si los ítems son representativos y relevantes.
• Cada ítem es evaluado por cada juez para ver si mide el constructo
correctamente: aspecto concreto de la tabla de evaluación.
• Calcular el índice de
congruencia (grado de acuerdo
de los jueces):
• Se trata de analizar los procesos de respuesta que las personas tienen que
realizar para obtener una puntuación concreta en un test → Recoger
evidencia de los procesos cognitivos por los que una persona otorga una
respuesta a un ítem.
• Tipo de reglas.
• Número de reglas.
• …
http://www.celt.iastate.edu/teaching/effective-teaching-practices/revised-blooms-taxonomy/
DISEÑO DE TEST
Métodos utilizados: