01/07/2019

Psicometría

LATERALIDAD Y RENDIMIENTO
ESCOLAR

TEMA 12
Introducción a la TRI

Índice

12.1. ¿Cómo estudiar este tema?

12.2. Limitaciones de la TCT
12.3. Modelos de la TRI para ítems dicotómicos.
12.4. Supuestos de la TRI.
12.5. Estimación de parámetros.
12.6. Bondad de ajuste.
12.7. Precisión en la TRI.
12.8. Curva Característica del Test.
12.9. Aplicaciones TRI.
12.10. Balance TRI.
2

1
 01/07/2019

12.1. ¿Cómo estudiar este tema?

Apuntes de clase: Obligatorio
Tema 12. Introducción a la TRI.

Incluye el artículo:
Navas, M. J. (1994). Teoría clásica de los test versus teoría de
respuesta al ítem. Psicológica: revista de metodología y
psicología experimental, 15(2), 175-208.

----------------------------------------------------------------

Manual de la asignatura: Opcional

Tema 4. Introducción a la Teoría de Respuesta al Ítem.
En F. J. Abad et al. (2011), Medición (pp. 123-160). Madrid: Síntesis.
3

12.1. ¿Cómo estudiar este tema?

Manual de la asignatura: Opcional
Tema 5. Teoría de la Respuesta al Ítem (TRI) I: conceptos
básicos y modelos para ítems dicotómicos.
Tema 6. Teoría de la Respuesta al Ítem (TRI) II: estimación de
los parámetros, información y otros conceptos.
En R. Martínez Arias et al. (2006), Psicometría (pp. 123-192). Madrid:
Alianza Editorial.

2
 01/07/2019

12.2. Limitaciones de la TCT

Varianza de los parámetros:
-TCT hay varianza de los parámetros.
-La puntuación V depende de los ítems aplicados.
-Distintos tests pueden dar lugar a una misma puntuación V.
-Las propiedades psicométricas dependen de la distribución del rasgo en la muestra.
-TRI hay invarianza de los parámetros.
-Los parámetros del verdadero nivel de rasgo son invariantes, no dependen de los
ítems aplicados ni de la muestra.
La precisión del test:
-TCT la precisión del test es la misma para cualquier nivel de rasgo.
-La precisión es la misma para todos los sujetos.
-La precisión depende de la dificultad y discriminación del test.
-TRI la precisión del test no es la misma para cualquier nivel de rasgo.
-La precisión se puede obtener para una persona según su nivel de rasgo y los ítems
aplicados.
Bondad de ajuste:
-TCT no hay indicadores de bondad de ajuste del modelo a los datos.
-TRI hay indicadores de bondad de ajuste del modelo a los datos.
5

12.3. Modelos de la TRI para ítems dicotómicos

Curva Característica del Ítem: Probabilidad de acertar un
ítem de las personas que lo responden según el nivel de rasgo.
-La escala del rasgo (θ) en típicas toma valores principalmente -3 y 3.
-A mayor puntuación en el test, mayor es la proporción de aciertos al ítem.
-Dificultad media: rasgo de 0, la probabilidad de acertar el ítem es 0,5.
-Dificultad baja: rasgo de 2, probabilidad de acertar 0,85.
-Dificultad alta: rasgo de -2, probabilidad de acertar 0,11.
P(θ)

3
 01/07/2019

12.3. Modelos de la TRI para ítems dicotómicos

Curva Característica del Ítem: Probabilidad de acertar un
ítem de las personas que lo responden según el nivel de rasgo.
-Se pueden ajustar varios tipos de modelos a la CCI:
-Lineal: P = 0,492 + 0,177*θ

-Logístico: 1
P 1,1θ  0,05
1 e

P(θ)

θ θ

12.3. Modelos de la TRI para ítems dicotómicos

Modelo logístico de un parámetro: asume que los ítems
varían sólo en un parámetro de dificultad (b).
Modelo de Rasch

Pj θ  
1
Da(θ b j )
1 e
Pj(θ): Probabilidad de acertar el ítem j si el nivel de rasgo es θ.
θ: Nivel de rasgo de la persona.
En puntuaciones típicas toma valores generalmente entre -3 y 3.
bj: parámetro de dificultad del ítem j. A mayor b, menor será Pj(θ).
En puntuaciones típicas toma valores generalmente entre -3 y 3.
a: parámetro de discriminación. Es igual para todos los ítems.
Indica la inclinación (pendiente) de la CCI cuando θ = bj.
En típicas toma valores entre 0,3 y 2,5.
e: 2,718.
D: para el modelo con métrica normal vale 1,702 8
para el modelo con métrica logística vale 1

4
 01/07/2019

12.3. Modelos de la TRI para ítems dicotómicos

Modelo logístico de un parámetro:
Interpretación de b:
-Dificultad del ítem.
-A mayor b, menor será la probabilidad de acertar el ítem [Pj(θ)].
-Es el valor del nivel de rasgo (θ) cuando Pj(θ) = 0,5.

b1 = -0,95, ya que Pj(-0,95) = 0,5

P(θ)
b2 = 0,6, ya que Pj(0,6) = 0,5

Pj θ  
1
Da(θ b j )
1 e

12.3. Modelos de la TRI para ítems dicotómicos

Modelo logístico de un parámetro:
Objetividad específica:
-El ordenamiento de los ítems según su dificultad será siempre el
mismo, independientemente de la muestra evaluada.
-El ordenamiento de los evaluados según su nivel de rasgo será
siempre el mismo, independientemente de los ítems aplicados.

P(θ)

Pj θ  
1
Da(θ b j )
1 e

10

5
 01/07/2019

12.3. Modelos de la TRI para ítems dicotómicos

Modelo logístico de dos parámetros: asume que los ítems
varían en dificultad (b) y discriminación (a).

Pj θ  
1
Da j (θ b j )
1 e
Pj(θ): Probabilidad de acertar el ítem j si el nivel de rasgo es θ.
θ: Nivel de rasgo de la persona.
En puntuaciones típicas toma valores generalmente entre -3 y 3.
bj: parámetro de dificultad del ítem j. A mayor b, menor será Pj(θ).
En puntuaciones típicas toma valores generalmente entre -3 y 3.
a: parámetro de discriminación. No es igual para todos los ítems.
Indica la inclinación (pendiente) de la CCI cuando θ = bj.
La pendiente para θ = bj es 0,25Daj.
En típicas toma valores entre 0,3 y 2,5.
Discriminación alta: valores mayores de 1.
e: 2,718.
11
D: para el modelo con métrica normal vale 1,702
para el modelo con métrica logística vale 1

12.3. Modelos de la TRI para ítems dicotómicos

Modelo logístico de dos parámetros: asume que los ítems
varían en dificultad (b) y discriminación (a).
Interpretación de a:
-Discriminación del ítem. A mayor valor, mayor discriminación.
-Pendiente del ítem. A mayor pendiente, más discriminación.

a1 = 0,4. Menor
Pj θ  
pendiente
1
Da j (θ b j )
P(θ) 1 e
a2 = 2,4. Mayor pendiente.

12

6
 01/07/2019

12.3. Modelos de la TRI para ítems dicotómicos

Modelo logístico de dos parámetros: asume que los ítems
varían en dificultad (b) y discriminación (a).
Interpretación de a:
-Discriminación del ítem. A mayor valor, mayor discriminación.
-Pendiente del ítem. A mayor pendiente, más discriminación.

Pj θ  
1
Da j (θ b j )
P(θ) 1 e
a2 = 2,4. Mayor pendiente.
-Discrimina muy bien entre los que tienen un
nivel de rasgo > 0,75 y < 0,75.
-Los sujetos con un θ > 0,75 aciertan con
alta probabilidad el ítem.
-Los sujetos con un θ < 0,75 fallan con alta
probabilidad el ítem. 13

12.3. Modelos de la TRI para ítems dicotómicos

Modelo logístico de tres parámetros: asume que los ítems
varían en dificultad (b), discriminación (a) y azar (c).

Pj θ   c j  (1 c j )
1
Da j (θ b j )
1 e
Pj(θ): Probabilidad de acertar el ítem j si el nivel de rasgo es θ.
θ: Nivel de rasgo de la persona.
bj: parámetro de dificultad del ítem j. A mayor b, menor será Pj(θ).
Indica el nivel de θ para el que la Pj(θ) = 0,5(1 + c).
En puntuaciones típicas toma valores generalmente entre -3 y 3.
a: parámetro de discriminación.
Indica la inclinación (pendiente) de la CCI cuando θ = bj.
En típicas toma valores entre 0,3 y 2,5.
c: parámetro de pseudoazar.
Indica la probabilidad de acertar para personas con niveles θ bajo.
Ítem sin omisiones, toma un valor inverso al nº de opciones.
14
Ítem con omisiones, a más omisiones menor será c.
Toma valores entre 0 y 1.

7
 01/07/2019

12.3. Modelos de la TRI para ítems dicotómicos

Modelo logístico de tres parámetros: asume que los ítems
varían en dificultad (b), discriminación (a) y azar (c).
Interpretación de c:
-Probabilidad de acertar al azar para niveles θ muy bajos.
-A menor valor, más difícil es acertar al azar.

c2 = 0,2. Más probable acertar al azar.

P(θ)
c1 = 0,1. Menos probable acertar al azar.

Pj θ   c j  (1 c j )
1
Da j (θ b j )
1 e

15

12.3. Modelos de la TRI para ítems dicotómicos

Comparación de los tres modelos:
-El modelo de 3 parámetros es el más completo.
-Los modelos de 1 y 2 parámetros ajustan peor a ítems de
opción múltiple.
-El modelo de 1 parámetro ajusta muy mal a los datos.
-El modelo de 3 parámetros requiere procedimientos más
complejos de estimación y muestras más grandes.

16

8
 01/07/2019

12.4. Supuestos de la TRI

Unidimensionalidad: el rendimiento a los ítems que forman
un test depende del nivel de la persona en un solo rasgo.
-Implica que no hay covarianza entre ítems para diferentes muestras
con el mismo nivel de rasgo.
-Si seleccionamos una muestra con el mismo nivel de rasgo, la
correlación entre dos ítems sería cero.
-Se comprueba mediante Análisis Factorial. Debe obtenerse un factor
que explique un 25% la varianza total.

Se denomina independencia local débil.

17

12.4. Supuestos de la TRI

Independencia local fuerte: las respuestas de una persona
a un ítem no depende de las respuestas a otro ítem.
-Las respuestas a un ítem dependen sólo del nivel de rasgo.
-Las respuestas a un ítem no dependen del orden de presentación de
los ítems.
-La probabilidad de acertar un ítem es independiente de la de acertar
otro.
-Si se da independencia local, se cumple que no hay correlación entre
ítems para un mismo nivel de rasgo (unidimensionalidad).
-Si hay dependencia local positiva, la correlación entre ítems de un
mismo nivel de rasgo es positiva.
-Implica que los ítems miden una misma dimensión pero distinta del rasgo
de interés.
-Si hay dependencia local negativa, la correlación entre ítems de un
mismo nivel de rasgo es negativa.
-Implica que los ítems miden dimensiones diferentes y distintas del rasgo
de interés. 18

9
 01/07/2019

12.5. Estimación de parámetros

Procedimiento:
-Seleccionar un modelo de TRI.
-Aplicar el test a una muestra amplia.
-Con las respuestas al test estimar los parámetros de cada ítem y el nivel de
rasgo de cada evaluado.

Estimación
Estadísticos Parámetros

Muestra Población

Estimación Máxima Verosimilitud (ML): permite encontrar

los valores de los parámetros que hacen más probable la
matriz empírica de respuestas.

Fases:
-Estimación del nivel de rasgo (θ). 19
-Calibración de los ítems.

12.5. Estimación de parámetros

Estimación del nivel de θ con ML:
-Dados dos ítems con parámetros de dificultad de b1 = -0,7 y b2 = 1.
-Supongamos que una persona acierta el primero y falla el segundo.
-La CCI para cada nivel de θ sería el siguiente:
Acertar ítem 1 Fallar ítem 2

-El rasgo estimado para esta persona sería aquel que hace más probable
acertar el ítem 1 y fallar el 2. 20

10
 01/07/2019

12.5. Estimación de parámetros

Estimación del nivel de θ con ML:
-Función de verosimilitud: probabilidad de un patrón de respuestas de un
evaluado dado un nivel de rasgo (θ), conocidos los parámetros a, b y c de los
ítems. J
Li  θ    Pj  θ  Q j  θ 
xij 1 xij

j1

-En el ejemplo anterior: acertar el ítem 1 y fallar el ítem 2 sería la siguiente:

Li θ   P1 θ Q 2 θ 

21

12.5. Estimación de parámetros

Estimación del nivel de θ con ML:
-Método de máxima verosimilitud: permite estimar el nivel de rasgo que
hace máxima la función de verosimilitud [Li(θ)]

-En el ejemplo anterior: acertar el ítem 1 y fallar el ítem 2, los diferentes

valores de la función de ML serían:

-El nivel de rasgo que hace máxima la función sería 0,15

Li θ   0,15

22

11
 01/07/2019

12.5. Estimación de parámetros

Calibración de ítems:
-Dado que los parámetros de los evaluados y los de los ítems son
desconocidos es necesario estimarlos.
-Se estiman los parámetros a, b y c de los ítems que maximizan la
probabilidad de las respuestas observadas en cada nivel de rasgo.
-Se emplean programas informáticos.

23

12.6. Bondad de ajuste

Concepto:
-La TRI sólo se puede aplicar si los datos se ajustan a un modelo.

-Procedimiento general:
-Estudiar el ajuste para cada ítem entre la probabilidad teórica y empírica de
escoger cada opción de respuesta según un nivel de rasgo.
-Comparar la CCI teórica con la CCI empírica.
-Procedimientos:
-Estadístico G2
-Estadístico Chi2
-Inspección visual de la CCI

24

12
 01/07/2019

12.6. Bondad de ajuste

-Estadístico G2:
-Se agrupan a las personas en Q intervalos según el nivel de rasgo estimado.
-Se compara la probabilidad observada en cada intervalo con la esperada
teóricamente del modelo de TRI según la CCI.
-Hipótesis:
-H0: El modelo de TRI ajusta a los datos.
-H1: El modelo de TRI no ajusta a los datos.

-Estadístico de contraste:

Q Oq 1  Oq 
G 2
 2 NOqLn  (1 Oq )Ln 

Total

q1  E q 1 E 
q 

-Si se rechaza la hipótesis nula: el modelo no ajustaría a los datos empíricos.

-Problema: con muestras grandes es fácil rechazar la hipótesis nula.

25

12.6. Bondad de ajuste

-Estadístico Chi2: (Orlando y Thissen, 2000)
-No hace falta agrupar a los evaluados en intervalos.
-Se compara la probabilidad de acertar observada con la probabilidad de
acertar teórica según el modelo de la TRI.
-Hipótesis:
-H0: El modelo de TRI ajusta a los datos.
-H1: El modelo de TRI no ajusta a los datos.

-Estadístico de contraste:

J-1
 (OX  E X )2 [(1 OX )  (1 E X )]2 
χ 2
 I   
1 EX
Orlando
X 1  E X 
-Si se rechaza la hipótesis nula: el modelo no ajustaría a los datos empíricos.
-Problema: con muestras grandes es fácil rechazar la hipótesis nula.

26

13
 01/07/2019

12.6. Bondad de ajuste

-Inspección visual la CCI:
-Se inspecciona si la CCI observada se ajusta a la CCI esperada.
-Es un procedimiento complementario a los de contraste de hipótesis.
-Puede que se rechace la hipótesis estadística por un N alto, pero
visualmente las dos CCI sean iguales.

-Ver Ejemplo 4.6. 27

12.7. Precisión en la TRI

Función de información del test:
-Equivale a la fiabilidad de la TCT:
-El coeficiente de fiabilidad es un escalar (número).
-La función de información es una función que varía según el nivel de rasgo.
-El coeficiente de fiabilidad toma valores entre 0 y 1.
-La función de información toma cualquier valor mayor o igual a 0.
-Se calcula sumando las funciones de información de los ítems:
J
Iθ    I j θ 
j 1
-Depende:
- Nº de ítems: a mayor longitud mayor información.
- Parámetros a y c: a mayor discriminación (a) y menor adivinación (c) mayor
información.
- Proximidad entre θ y dificultad (b): a menor distancia mayor información.
- Proximidad entre Pi(θ) y c: a menor distancia menor información.

28

14
 01/07/2019

12.7. Precisión en la TRI

Funciones de información para ítems:
-Modelo 1 y 2 parámetros: Iθ   D2 a 2Pj θ Q j θ 

Pj* θ 
-Modelo 3 parámetros:

Iθ   D a P θ Q θ (1 c j )
2 2 * *

Pj θ 
j j

Error típico de estimación del rasgo:

-Equivale al ET de medida de la TCT:

Se θ  
1
I j θ 
29

12.7. Precisión en la TRI

Información máxima:
Al ser la función de información la suma de la información de los ítems
podemos determinar el ítem que más informa.
-Nivel de rasgo para el que un ítem es más informativo:
-Se da cuando el nivel de rasgo es igual al parámetro de dificultad: θ = bj.

Ln(0,5  0,5 1  8c j )
θ máx  b j 
Da j
-Información máxima Modelo 3 parámetros:

1 20c j  8c 2j  (1 8c j )3/2

θmáx  0,25D a 2 2
j
2(1- c j )2
máx  0,25D a j
-Información máxima Modelo 2 parámetros: θ 2 2
30

15
 01/07/2019

12.7. Precisión en la TRI

Coeficiente de fiabilidad marginal:
Se puede calcular a partir de la función de información del test:

σ 2θ
r θθ 
TRI

   
Q
σ   Se θq g θq
2 2
θ
q

31

12.8. Curva Característica del Test

Definición: Representación de la relación entre el nivel de
rasgo y el rendimiento esperado en el test.

Valor esperado en el test: suma de las probabilidades de

acertar los ítems para un nivel de rasgo.

32

16
 01/07/2019

12.9. Aplicaciones TRI

•Estimación del error que comete cada persona en un ítem.

•Seleccionar los ítems más precisos para cada nivel de rasgo.
•Indicadores psicométricos complementarios a la TCT.
•Estudiar los parámetros de los ítems en diferentes grupos.
•Muy útil en evaluación a gran escala (muchos participantes).
•Validaciones transculturales de tests.

33

12.10. Balance TRI

Ventajas:
-Invarianza de los parámetros de los evaluados:
-Permite calcular más operativamente el nivel de rasgo de la persona.
-No se necesita conocer la puntuación V.
-El nivel de rasgo de un evaluado puede estimarse a partir de los parámetros de los
ítems.
-Invarianza de parámetros de los ítems:
-Los parámetros de los ítems no dependen de la muestra.
-Se pueden estudiar las propiedades psicométricas de un ítem en diferentes grupos.
-No se asume homocedasticidad del error:
-La precisión del test depende sólo del nivel de rasgo y de los ítems aplicados.
-Hay indicadores de bondad de ajuste de los datos al modelo teórico:
-Se pueden comparar varios modelos alternativos.

34

17
 01/07/2019

12.10. Balance TRI

Desventajas:
-Requiere un gran número de evaluados para estimar los parámetros.
-Los supuestos son muy restrictivos:
-El supuesto de unidimensionalidad e independencia local no se cumplen en muchos
casos.
-El modelo de un parámetro se ajusta poco a los datos.
-Los procedimientos de bondad de ajuste no son del todo satisfactorios:
-Se desconoce la distribución de los índices de ajuste.
-Los índices dependen de la longitud del test o la calidad de las estimaciones.
-Se desconoce qué fuentes de error afectan a las puntuaciones de los tests:
-Se ignoran las fuentes de error no relacionadas con el contenido de los ítems.
-No se reconocen diferentes fuentes de errror.
-Poca atención a la validez de los tests.

35

18