Está en la página 1de 66

Psicometría

Tema 2: Validez de contenido y validez del


proceso de respuesta

María Quirós Godoy


¿?@ucjc.edu
CONTENIDO

1. Concepto de Validez
2. Fuentes de evidencia de Validez
1. Validez basada en el contenido en el test
1. Construcción y análisis de ítems
• Redacción de Ítems: Rendimiento óptimo
• Redacción de ítems: Rendimiento típico
2. Validez basada en el proceso de respuesta
CONTENIDO

2. Conceptos y evidencias de validez (Capítulo 5)


¿QUÉ ES VALIDEZ?
VALIDEZ

• La validez de las puntuaciones de un test nos asegura que las


puntuaciones del test van a reflejar de manera fiable y
consistente la posición de un sujeto en un determinado
constructo psicológico.

• El concepto de qué es la validez ha sido muy discutida durante la


historia de la Psicometría. Definición clásica de validez:
• Definición: “La validez se refiere al grado en que el test mide lo que dice
medir”

• Tipos de validez: validez de contenido, referida al criterio y de


constructo.
VALIDEZ

Actualmente:

• El grado en que la teoría y los datos disponibles apoyan la


interpretación de las puntuaciones de un test para un uso
concreto.

• La propiedad más importante y fundamental al desarrollar y


evaluar un test.

• Es el marco global en el que encajamos otros conceptos


importantes como la fiabilidad, el error de medida, etc.
VALIDEZ

Fases la construcción de un test

• La construcción de un test se divide en varias fases:


a) Fase provisional & refinamiento.
b) Estudio Piloto cuantitativo.
c) Ensamblaje y revisión.

Estos estudios se denominan tradicionalmente como estudios de validación →


permiten recoger información que apoye (o no) su utilización. En la
actualidad, existen miles de estos estudios, y son llevados a cabo por
investigadores y por casas editoriales privadas.

El objetivo, entonces, de estos estudios es recoger evidencias de validez de los


tests
VALIDEZ

Definición de Validez
Grado en que la teoría y los datos disponibles apoyan la interpretación de las
puntuaciones de un test [o de cualquier registro] para un uso concreto en un
contexto concreto.

Dicho de otro modo: grado en que podemos usar las puntuaciones de un test
para aquello que queremos usarlas con la muestra y el objetivo que tenemos
en mente.
VALIDEZ

• La validez se asegura mediante el proceso de validación.

• La validación es el proceso que nos proporciona información acerca del


grado en que la evidencia y la teoría apoyan las interpretaciones y usos
de las puntuaciones en los test.

Proceso continuo:

Evidencia Empírica
Diseño Inicial del Refinamiento del
relativa a las
test test y sus ítems
puntuaciones del test
VALIDEZ

• Clave: Hablamos de validez de las puntuaciones del test, no del test, ya


que depende de la muestra y la situación.

• El/la profesional que aplica un test debe consultar el manual del mismo
para averiguar si la utilización e interpretación pretendida coinciden con
la proporcionada por la documentación. En caso negativo, es necesario
desarrollar un estudio de validación para recoger información que apoye (o
no) ese uso concreto.
VALIDEZ
VALIDEZ

Y si quisiera utilizarlo
en adultos…
¿Podríamos?
EVIDENCIAS DE VALIDEZ

• Evidencia basada en el contenido en el test.


(fase de construcción del test)
• Evidencia basada en el proceso de respuesta.
(fase de respuesta al test)
• Evidencia basada en estructura interna.
(fase de análisis de puntuaciones de los ítems)
• Evidencia basada en relación con otras variables.
(fase de análisis de puntuaciones del test)
• Evidencia basada en las consecuencias de aplicación del test
(fase de aplicación del test)
EVIDENCIAS DE LA VALIDEZ: CONTENIDO
EVIDENCIAS DE VALIDEZ: CONTENIDO

• Se busca evidencia del grado en que los ítems son representativos de los
atributos psicológicos que representan.

• La validez de contenido se refiere a la medida en que los ítems de una prueba


son representativos de todo el dominio que la prueba busca medir.

Prueba t
Test A
Constructo ANOVA
Conocimiento de
Estadística inferencial MAYORES
Tablas de contingencia EVIDENCIAS
Correlación DE VALIDEZ
Test B DE
Prueba t
ANOVA CONTENIDO
EVIDENCIAS DE VALIDEZ: CONTENIDO

• Muy relacionada con el desarrollo inicial del test y con la


definición de ítems.

• Sireci (2003) definió este proceso en dos fases:


• 1º Definir el dominio/constructo.
• 2º Evaluar la representatividad de los ítems en el
dominio.
EVIDENCIAS DE VALIDEZ: CONTENIDO

Tres ladrillos fundamentales para construir un test

¿Qué queremos medir?

¿A quién va dirigido el test?

¿Para qué medimos?


¿Qué queremos medir?

EVIDENCIAS DE VALIDEZ: CONTENIDO


¿A quién va dirigido el
test?

¿Qué queremos medir?


¿Para qué medimos?

Tenemos que establecer una “definición operativa” de nuestro constructo a medir.


• Concretar qué aspectos vamos a medir de tal modo que podamos derivar
hipótesis contrastables sobre lo que mide nuestro test.
• Necesario para asegurar la replicabilidad de nuestros resultados.
• Definición por negación: ¿Qué diferencia a nuestro constructo de otros parecidos
pero distintos?
• ¿Voy a medir una única dimensión o varias? Si son varias, ¿cómo se relacionan
entre ellas?
¿Qué queremos medir?
DISEÑO DE EVIDENCIAS DE VALIDEZ:
CONTENIDO ¿A quién va dirigido el
test?

¿A quién va dirigido el test?


¿Para qué medimos?

Ajustar el test a la población objetivo.

• Tener en cuenta aspectos cómo la edad, el nivel cognitivo, aspectos


culturales, dificultad…
• ¿Cómo va a reaccionar la población objetivo al formato de mi test?
• ¿Va a medir igual mi test a todo el rango del constructo? (p.e. test de
inteligencia destinados a personas superdotadas)
¿Qué queremos medir?

EVIDENCIAS DE VALIDEZ: CONTENIDO


¿A quién va dirigido el
test?

¿Para qué medimos?


¿Para qué medimos?

El desarrollo de una prueba depende de su uso posterior:

• Necesario establecer a priori para qué objetivo se van a utilizar las


puntuaciones a posteriori.
• ¿Estoy tratando con un objetivo sensible? (e.j., evaluación clínica)
• ¿Se adapta mi test a ese objetivo adecuadamente?
• Necesario definir qué aporta mi test a otras medidas que pueden existir
ya en el campo de aplicación
EVIDENCIAS DE VALIDEZ: CONTENIDO

Tres ladrillos fundamentales para construir un test

La información necesaria para obtener esta información puede obtenerse de fuentes


diversas:

• Hemeroteca y revistas científicas


• Bases de datos
• Consulta a expertos
• Experiencia de otros profesionales del campo
EVIDENCIAS DE VALIDEZ: CONTENIDO

Evidencia basada en el contenido: Definir el dominio o constructo

1. Tenemos que tener clara la definición operativa del constructo que


queremos medir.

2. Necesitamos una herramienta dónde podamos definir los diferentes


contenidos que queremos evaluar en el test, pudiendo dividir el número
total de ítems para cada una de esas partes….

….¡la tabla de especificaciones!


EVIDENCIAS DE VALIDEZ: CONTENIDO

El constructo a medir: tabla de especificaciones

• Los objetivos de medición del constructo muchas veces no son únicos, sino que
están compuestos por diferentes componentes.
• Estos componentes pueden tener diferente peso en el objetivo final de medición.
• Para asegurarnos que medimos todos estos componentes, vamos a desarrollar
una tabla de especificaciones. La tabla de especificaciones nos indica el
número de ítems a incluir en un test por contenido y objetivo de medición.

Vamos a realizar la tabla de especificaciones de un examen de la asignatura de


Psicometría.
EVIDENCIAS DE VALIDEZ: CONTENIDO

La Tabla de Especificaciones
P.e. Queremos diseñar un test/examen que mida los conocimientos de las personas en
Psicometría. Realizamos una tabla dónde se indican los diferentes temas y el peso que le damos
dentro del examen. Queremos que el examen esté compuesto de 20 ítems.

Conceptos teóricos
(100%)
Objetivos de aprendizaje

Análisis de ítems (60%)


Fiabilidad (10%)
Rendimiento óptimo
Validez (10%) Y
Baremos (10%) Rendimiento típico
Métodos modernos medición
(10%)
20
EVIDENCIAS DE VALIDEZ: CONTENIDO

La Tabla de Especificaciones
• El peso de cada categoría de ítems se asigna teniendo en cuenta criterios del constructo a
medir. En este caso, número de horas de clase invertidas.
• Teniendo el cuenta el peso, calculamos número de ítems necesarios en cada categoría.

Conceptos teóricos
(100%)
Análisis de ítems (60%) 12
Fiabilidad (10%) 2
Rendimiento óptimo
Validez (10%) 2 Y
Baremos (10%) 2 Rendimiento típico
Métodos modernos medición
2
(10%)
20
EVIDENCIAS DE VALIDEZ: CONTENIDO

La Tabla de Especificaciones
Si añadimos más constructos a medir (“Objetivos de Aprendizaje”), tendremos que
dividir el número de ítems que corresponde a cada contenido según el peso que
demos a los constructos

Conceptos teóricos Ejercicios


(50%) (50%)
Análisis de ítems (60%) 12
Fiabilidad (10%) 2
Validez (10%) 2
Rendimiento óptimo
Baremos (10%) 2 Y
Métodos modernos Rendimiento típico
medición (10%)
2
10 10 20
EVIDENCIAS DE VALIDEZ: CONTENIDO

La Tabla de Especificaciones
Si añadimos más constructos a medir (“Objetivos de Aprendizaje”), tendremos que
dividir el número de ítems que corresponde a cada contenido según el peso que
demos a los constructos

Conceptos teóricos Ejercicios


(50%) (50%)
Análisis de ítems (60%) 6 6 12
Fiabilidad (10%) 1 1 2
Validez (10%) 1 1 2
Rendimiento óptimo
Baremos (10%) 1 1 2 Y
Métodos modernos Rendimiento típico
medición (10%)
1 1 2
10 10 20
EVIDENCIAS DE VALIDEZ: CONTENIDO

La Tabla de Especificaciones
No siempre los porcentajes especificados pueden adecuarse al número total de
ítems del test. En ese caso, se tienen que ajustar los ítems asignados al total indicado
en los marginales.

Conceptos teóricos Ejercicios


(80%) (20%)
Análisis de ítems (60%) 12
Fiabilidad (10%) 2
Validez (10%) 2 Rendimiento óptimo
Y
Baremos (10%) 2 Rendimiento típico
Métodos modernos
medición (10%) 2

16 4 20
EVIDENCIAS DE VALIDEZ: CONTENIDO

La Tabla de Especificaciones
No siempre los porcentajes especificados pueden adecuarse al número total de
ítems del test. En ese caso, se tienen que ajustar los ítems asignados al total indicado
en los marginales.

Conceptos teóricos Ejercicios


(80%) (20%)
Análisis de ítems (60%) 48% (10) 12% (2) 12
Fiabilidad (10%) 8% (2) 2% (0) 2
Validez (10%) 8% (2) 2% (0) 2 Rendimiento óptimo
Y
Baremos (10%) 8% (1) 2% (1) 2 Rendimiento típico
Métodos modernos
medición (10%)
8% (1) 2% (1) 2

16 4 20
EVIDENCIAS DE VALIDEZ: CONTENIDO

La Tabla de Especificaciones
En los tests ya diseñados se puede consultar en su manual.

Rendimiento óptimo
Y
Rendimiento típico
EVIDENCIAS DE VALIDEZ: CONTENIDO

La Tabla de Especificaciones

• En los test de rendimiento óptimo hasta ahora hemos asumido que todos los ítems
tienen la misma dificultad. Sin embargo, esto no es realista. Es normal tener ítems fáciles,
con dificultad media y difíciles.

• Se recomienda que la mitad de los ítems tengan una dificultad media, dividiendo el resto
entre fáciles y difíciles por partes iguales.

• De este modo, el número de ítems de dificultad media es el doble que de ítems fáciles + Solo
difíciles. Rendimiento óptimo
EVIDENCIAS DE VALIDEZ: CONTENIDO

La Tabla de Especificaciones

Conceptos Teóricos
(100%)
Fácil Media Difícil
(25%) (50%) (25%)
Análisis de ítems (60%)

Fiabilidad (10%)

Validez (10%)
Solo
Baremos (10%) Rendimiento óptimo
Métodos modernos medición
(10%)
20
EVIDENCIAS DE VALIDEZ: CONTENIDO

La Tabla de Especificaciones

Conceptos Teóricos
(100%)
Fácil Media Difícil
(25%) (50%) (25%)
Análisis de ítems (60%) 15% (3) 30% (6) 15% (3) 12
Fiabilidad (10%) 2,5% (1) 5% (1) 2,5% (0) 2
Validez (10%) 2,5% (1) 5% (1) 2,5% (0) 2
Solo
Baremos (10%) 2,5% (0) 5% (1) 2,5% (1) 2 Rendimiento óptimo
Métodos modernos medición
(10%) 2,5% (0) 5% (1) 2,5% (1) 2

5 10 5 20
Recomendación: Se recomienda que los ítems se ordenen en dificultad (primero los fáciles,
después los difíciles) → Aumento de la motivación y evito efectos del tiempo de aplicación
EVIDENCIAS DE VALIDEZ: CONTENIDO

Otras Especificaciones que deben aparecer…

• Longitud del Test: Relacionado con la fiabilidad y validez del test, así
cómo la aparición de efectos de fatiga.

• Tiempo de Aplicación: Depender de si queremos un test de rendimiento


óptimo de potencia o de velocidad o un test de rendimiento típico.

• Acomodaciones: Adaptaciones a poblaciones especiales, tales cómo el


tipo de aplicación (colectiva o individual), tamaño de letra, tiempo de
aplicación, etc…
REDACCIÓN DE ÍTEMS
EVIDENCIAS DE VALIDEZ: CONTENIDO

Fases la construcción de un test


La construcción de un test se divide en varias fases:
a) Fase provisional & refinamiento.
• Revisión bibliográfica
• Revisión Instrumentos previos
• Construcción del primer conjunto de ítems
• Fase cualitativa de revisión
• Redacción de las instrucciones
b) Estudio piloto cuantitativo
c) Ensamblaje
EVIDENCIAS DE VALIDEZ: CONTENIDO

Fases la construcción de un test


La construcción de un test se divide en varias fases:
a) Fase provisional & refinamiento.
• Revisión bibliográfica
• Revisión Instrumentos previos

• Construcción del primer conjunto de ítems


• Doble de ítems del número final de ítems esperado
• Fase cualitativa de revisión
• Redacción de las instrucciones
b) Estudio Piloto cuantitativo
c) Ensamblaje
EVIDENCIAS DE VALIDEZ: CONTENIDO

Tendremos que definir el tipo de ítems que necesitamos:

• Rendimiento óptimo → aptitudes, conocimiento...:


• Suele importar el tiempo de aplicación (velocidad/potencia)
• Tratamiento de las omisiones: se tienen en cuenta las respuestas en blanco. ¿Son ítems
no vistos o respuestas evitadas?
• Potencia: respuestas evitadas
• Velocidad: ítems no vistos
• Posibles aciertos por azar

• Rendimiento típico → actitudes, personalidad...:


• No importa el tiempo
• No debe haber omisiones (ítems que no se entienden, respuestas descuidadas...)
• No importa el azar
• Posibles sesgos de respuesta (aquiescencia, deseabilidad social, respuesta extrema...)
• Para más de dos categorías ordenadas: ítems tipo Likert.
EVIDENCIAS DE VALIDEZ: CONTENIDO

Redacción de ítems
• Crucial para el correcto funcionamiento de la prueba. No es una tarea
sencilla redactar buenos ítems, y se tiene que atender a una serie de
recomendaciones.

• Normalmente se redactan el doble de ítems del número final de ítems


esperados.

• Vamos a ver en detalle cómo redactar de ítems correspondientes a test de


rendimiento óptimo e ítems para test de rendimiento típico en el próximo
tema.
EVALUANDO LA CALIDAD DE LOS ÍTEMS
EVIDENCIAS DE VALIDEZ: CONTENIDO

Fases la construcción de un test


La construcción de un test se divide en varias fases:
a) Fase provisional & refinamiento.
• Revisión bibliográfica
• Revisión Instrumentos previos
• Construcción del primer conjunto de ítems
• Fase cualitativa de revisión
• Revisión de errores de redacción
• Consulta de expertos: Calidad de la redacción
• Evaluación de la pertinencia del contenido (Representatividad).

• Redacción de las instrucciones


b) Estudio Piloto cuantitativo
c) Ensamblaje
EVIDENCIAS DE VALIDEZ: CONTENIDO

• Se busca evidencia del grado en que los ítems son representativos de los
atributos psicológicos que representan.

• Muy relacionada con el desarrollo inicial del test y con la definición de ítems.

• Sireci (2003) definió este proceso en dos fases:


• Definir el dominio.
• Evaluar la representatividad de los ítems en el dominio.
EVIDENCIAS DE VALIDEZ: CONTENIDO

Evidencia basada en el contenido: Representatividad

• Un panel de jueces expertos revisan y evalúan todos los ítems para decidir
si los ítems representan de forma completa y suficiente el dominio. Se
evalúa si los ítems son representativos y relevantes.

• Ítem representativo y relevante: Recoge aspectos del atributo psicológico y contribuye


a medir un contenido del mismo.
• Ítem representativo pero no relevante: Ítem mal diseñado para medir un aspecto
concreto del atributo psicológico (correlación item-test cercana a 0, muy difícil, etc.).
• Ítem no representativo y relevante: Ítem mide correctamente, pero un aspecto que no
corresponde al atributo psicológico.
EVIDENCIAS DE VALIDEZ: CONTENIDO

Evidencia basada en el contenido: Representatividad

• Cada ítem es evaluado por cada juez para ver si mide el constructo
correctamente: aspecto concreto de la tabla de evaluación.

• Normalmente necesitamos un número de jueces adecuado (10 jueces) y se


incluyen en la prueba ítems inadecuados para evaluar la calidad de los
jueces.

• Tarea de emparejamiento ítem-objetivo: Cada juez evalúa si un ítem es


adecuado o no para medir el objetivo (constructo) que se quiere evaluar.
EVIDENCIAS DE VALIDEZ: CONTENIDO

Tarea de emparejamiento ítems-objetivos: evaluación dicotómica (si/no)

• Evaluación de los ítems.

• Ítems de relleno para identificar


jueces inadecuados.

• Cada juez indica si un ítem es


adecuado (1) o no (0) para ese
objetivo.

• Calcular el índice de
congruencia (grado de acuerdo
de los jueces):

𝑁º 𝑣𝑒𝑐𝑒𝑠 í𝑡𝑒𝑚 𝑎𝑑𝑒𝑐𝑢𝑎𝑑𝑜


𝐶=
𝑁º 𝐸𝑣𝑎𝑙𝑢𝑎𝑐𝑖𝑜𝑛𝑒𝑠 í𝑡𝑒𝑚
EVIDENCIAS DE VALIDEZ: CONTENIDO

Tarea de emparejamiento ítems-objetivos: evaluación dicotómica (si/no)

• Evaluación de los ítems.

• Ítems de relleno para identificar


¿Qué ítems presentan las jueces inadecuados.
mejores evaluaciones para
medir el Obj. 2?
• % de ítems que el juez empareja a
los objetivos

• % de objetivos que no son


evaluados por ningún ítem. (en
este ejemplo todos los ítems son
emparejados con el objetivo por
al menos un juez)
EVIDENCIAS DE VALIDEZ: CONTENIDO

Un grupo de investigadores quiere realizar una evaluación ítems-objetivos para comprobar


como funcionan ciertos ítems para medir dos rasgos de personalidad: a) Extraversión; b)
Apertura a la experiencia.Según su modelo teórico, cada rasgo se define de la siguiente
manera:

• Extraversión: La Extraversión se caracteriza por la alta sociabilidad, tendencia a la


compañía de otros, atrevimiento en situaciones sociales, tendencia a evitar la soledad.
Existe una tendencia alta a experimentar emociones positivas tales como alegría,
satisfacción, excitación, etc.

• Apertura a la experiencia (intelecto) es un aprecio general por el arte, las emociones, la


aventura, ideas inusuales, imaginación, curiosidad, y variedad de experiencia. Las
personas que son abiertas a la experiencia son curiosas intelectualmente. Tienden a ser,
comparados con las personas cerradas, más creativas y más conscientes de sus
sentimientos.
EVIDENCIAS DE VALIDEZ: CONTENIDO

1. Llevo la voz cantante en el grupo


2. Me gustan los desafíos intelectuales
3. No hablo mucho.
4. No me gustan los problemas de lógica.
¿Cuáles son de
5. Suelo estar calmado.
Extraversión y
6. Me relaciono con mucha gente cuales de Apertura
a la Experiencia?
7. Me gusta probar cosas nuevas.
8. Prefiero lo conocido a lo nuevo.
9. Me gusta relacionarme con otros.
10.Soy afectuoso con los demás
EVIDENCIAS DE VALIDEZ: CONTENIDO

1. Soy el alma de la fiesta


2. Disfruto ordenando mis cosas
3. No hablo mucho.
4. Tengo una buena imaginación.
¿Cuáles son de
5. No me gustan los desafíos intelectuales.
Extraversión y
6. Me gusta hablar con gente nueva cuales de Apertura
a la Experiencia?
7. No me interesan las ideas abstractas.
8. A menudo cambio de humor bruscamente.
9. Evito destacar en las reuniones sociales.
10. Soy capaz de imaginar vívidamente.
Donnellan et al., (2006). The Mini-IPIP Scales: Tiny-Yet-Effective Measures of the Big Five Factors of Personality. Psychological
Assessment, 18(2), 192-203. : 10.1037/1040-3590.18.2.192
EVIDENCIAS DE VALIDEZ: CONTENIDO

Tarea de emparejamiento ítems-objetivos: evaluación continua (Likert)


Jueces
Objetivos Ítems 1 2 3 4 5 6 7 8 9 10 media Mdn Rango En este ejemplo se usa una
1 1 7 5 4 5 3 4 4 7 7 5 5,1 5 4
escala 1-7, siendo 1 = poco
2 7 6 7 7 3 7 6 7 7 7 6,4 7 4
3 4 4 1 3 3 2 3 2 5 6 3,3 3 5 adecuado y 7 = muy
4 1 6 7 1 6 7 3 2 4 7 4,4 5 6
adecuado.
5 6 6 6 5 4 6 6 6 7 7 5,9 6 3
6 4 6 7 5 4 7 5 6 7 7 5,8 6 3
7 7 5 5 6 3 6 4 6 5 6 5,3 5,5 4 A mayor media, más
2 8 3 4 1 1 4 4 3 5 6 6 3,7 4 5
adecuado es el ítem
9 6 6 2 6 1 4 3 6 7 5 4,6 5,5 6
10 3 6 3 4 1 4 4 5 7 6 4,3 4 6
11 7 6 4 6 1 2 6 7 6 5 5,0 6 6 Podemos calcular la
12 7 3 5 7 1 6 4 7 5 6 5,1 5,5 6
discrepancia juez –
13 7 5 2 6 1 4 2 7 7 7 4,8 5,5 6
14 7 6 3 7 4 5 4 7 7 6 5,6 6 4 mediana del ítem.
Discrepancia de cada
18 9 23 13 37 14 17 14 17 15
juez respecto a la Mdn
EVIDENCIAS DE VALIDEZ: CONTENIDO

Fases la construcción de un test


La construcción de un test se divide en varias fases:
a) Fase provisional & refinamiento.
• Revisión bibliográfica
• Revisión Instrumentos previos
• Construcción del primer conjunto de ítems
• Fase cualitativa de revisión
• Revisión de errores de redacción
• Consulta de expertos: Calidad de la redacción
• Evaluación de la pertinencia del contenido (Representatividad).

• Redacción de las instrucciones


b) Estudio Piloto cuantitativo
c) Ensamblaje
EVIDENCIAS DE LA VALIDEZ: PROCESO DE RESPUESTA
EVIDENCIAS DE VALIDEZ

1. Evidencia basada en el contenido en el test

2. Evidencia basada en el proceso de respuesta

3. Evidencia basada en estructura interna

4. Evidencia basada en relación con otras variables

5. Evidencia basada en las consecuencias de aplicación del test


EVIDENCIAS DE VALIDEZ: PROCESO DE RESPUESTA

Evidencia basada en el Proceso de Respuesta

• Se trata de analizar los procesos de respuesta que las personas tienen que
realizar para obtener una puntuación concreta en un test → Recoger
evidencia de los procesos cognitivos por los que una persona otorga una
respuesta a un ítem.

• Muy relacionados con la resolución de ítems de rendimiento óptimo,


aunque últimamente comienzan a evaluarse estos procesos para ítems de
rendimiento típico.
EVIDENCIAS DE VALIDEZ: PROCESO DE RESPUESTA

Evidencia basada en el Proceso de Respuesta

Ejemplo: Test de Matrices.

• Tipo de reglas.
• Número de reglas.
• …
http://www.celt.iastate.edu/teaching/effective-teaching-practices/revised-blooms-taxonomy/

DISEÑO DE TEST

• Necesario considerar qué tipo de pregunta estamos utilizando para evaluar


qué tipo de proceso cognitivo.

• Particularmente relevante en test de rendimiento óptimo.

• Diseño de Ítems adecuados


Existen taxonomías que nos ayudan a diseñar mejores preguntas, recogidas
por Bloom (1956).

• Tipos de Preguntas: Hechos, Conceptos y Principios y Procedimientos


• Procesos Cognitivos Asociados: Recordar, Comprender, Aplicar (Principios y
Procedimientos), Evaluar
DISEÑO DE TEST

Procesos Cognitivos Asociados


• Recordar: Recuerda ideas y principios en forma similar de la que fueron
aprendidos.
• Recordar: Definir, reconocer, enumerar y describir…
• Comprender: Alto procesamiento de información. Requiere trasladar
conocimiento a otros contextos, comparar e inferir consecuencias. Obtención de
aprendizaje significativo. Interpretar, ejemplificar, resumir, explicar…

Diga y explique cuál de cada uno de estos 3 valores (0.20,


0.16, 0.42) corresponde al índice de dificultad, al índice de
homogeneidad y a la varianza de un ítem dicotómico.
DISEÑO DE TEST

Procesos Cognitivos Asociados


• Recordar: Recuerda ideas y principios en forma similar de la que fueron
aprendidos.
• Recordar: Definir, reconocer, enumerar y describir…
• Comprender: Alto procesamiento de información. Requiere trasladar
conocimiento a otros contextos, comparar e inferir consecuencias. Obtención de
aprendizaje significativo. Interpretar, ejemplificar, resumir, explicar…
• Aplicar: Uso de la información en orden adecuado. Desarrollo de conceptos y
soluciones creativas.

En el siguiente fichero de datos de Jamovi se recogen los resultados de


un test de 30 ítems aplicado a una muestra de universitarios.
Obtenga e interprete 2 indicadores de su fiabilidad.
DISEÑO DE TEST

Procesos Cognitivos Asociados


• Recordar: Recuerda ideas y principios en forma similar de la que fueron
aprendidos.
• Recordar: Definir, reconocer, enumerar y describir…
• Comprender: Alto procesamiento de información. Requiere trasladar
conocimiento a otros contextos, comparar e inferir consecuencias. Obtención de
aprendizaje significativo. Interpretar, ejemplificar, resumir, explicar…
• Aplicar: Uso de la información en orden adecuado. Desarrollo de conceptos y
soluciones creativas.
• Evaluar: Comparar y discriminar entre ideas. Comparar, valorar o evaluar en
base a criterios y evidencia científica. Criticar, comprobar, defender, justificar…
DISEÑO DE TEST

Procesos Cognitivos Asociados


• Recordar: Recuerda ideas y principios en forma similar de la que fueron
Evaluar.
aprendidos.
• EnRecordar:
las siguientes páginas
Definir, se recogen
reconocer, los estudios
enumerar psicométricos realizados con el test
y describir…
• X.Comprender:
Le pedimos, en no procesamiento
Alto más de 2 folios,de
que haga 3 cosas:
información. a) una valoración
Requiere trasladar personal
sobre la adecuación
conocimiento de contextos,
a otros las técnicascomparar
empleadas, b) un comentario
e inferir sobre
consecuencias. las
Obtención de
principales deficiencias
aprendizaje del Interpretar,
significativo. método seguido, proponiendo
ejemplificar, métodos
resumir, alternativos, y c)
explicar…
• que especifique
Aplicar: Uso deprocedimientos
la informaciónalternativos para el estudio
en orden adecuado. de sude
Desarrollo validez,
conceptos y
incluyendo
solucioneslas técnicas estadísticas que aplicaría.
creativas.
• Evaluar: Comparar y discriminar entre ideas. Comparar, valorar o evaluar en
base a criterios y evidencia científica. Criticar, comprobar, defender, justificar…
EVIDENCIAS DE VALIDEZ: PROCESO DE RESPUESTA

Evidencia basada en el Proceso de Respuesta

¿Cómo obtendríais evidencia de cómo una persona responde a un ítem de


inteligencia?
EVIDENCIAS DE VALIDEZ: PROCESO DE RESPUESTA

Evidencia basada en el Proceso de Respuesta

Métodos utilizados:

1. Preguntar a las personas (entrevistas cognitivas).

2. Medir sus tiempos de respuesta (como indicador de dificultad).

3. Registro respuestas físicas (movimientos oculares).

4. Tests basados en modelos de respuesta (Bejar, 2002, Embretson, 2002):

• Se define el modelo de procesamiento necesario para responder al test

• Se generan ítems consistentes con dicho procesamiento


EVIDENCIAS DE VALIDEZ: PROCESO DE RESPUESTA

Evidencia basada en el Proceso de Respuesta

¿Cómo obtendríais evidencia de cómo una persona responde a un ítem de


personalidad?
EVIDENCIAS DE VALIDEZ: PROCESO DE RESPUESTA

Evidencia basada en el Proceso de Respuesta

¿Cómo obtendríais evidencia de cómo una persona responde a un


ítem de personalidad?

En este ámbito, obtener evidencias de las respuestas es mucho más


complicado. Normalmente interviene una evaluación cualitativa o a
través de entrevista a la persona.

Este tipo de respuestas son muy dependientes del contexto de evaluación.


CAMPUS MADRID - VILLAFRANCA ESCUELA DE POSGRADO UCJC WWW.UCJC.EDU
Castillo de Alarcón, 49 Calle de Almagro, 5 EMAIL: info@ucjc.edu
Urb. Villafranca del Castillo 28010 Madrid TEL: +34 91 815 31 31
28692 Madrid

También podría gustarte