PRÁCTICA TEMA 4

ANÁLISIS DE VALIDEZ DE CONTENIDO DE LOS ÍTEMS DE UN TEST

NOMBRE: FECHA:

Se ha desarrollado un cuestionario para evaluar la opinión de los estudiantes sobre

el uso de podcasts educativos en asignaturas metodológicas. La primera versión del
cuestionario consta de 12 ítems, medidos en una escala tipo Likert de 5 puntos (1 =
totalmente en desacuerdo a 5 = totalmente de acuerdo), que evalúan 2
dimensiones: utilidad de uso (ítems del 1 al 6) y efectividad para el proceso de
Enseñanza-Aprendizaje. El análisis de la validez de contenido se ha realizado
mediante el método juicio de expertos. Han participado 10 expertos que han
evaluado los siguientes indicadores:

- Claridad del ítem. Los 10 jueces han puntuado si los ítems están redactados
con claridad y ajustados al nivel de los destinatarios, en una escala de 5 puntos
(a mayor puntuación mayor claridad).

- Índice de congruencia (Ijk). Han participado sólo 5 jueces elegidos al azar los
cuales valoran el grado de idoneidad de cada ítem sólo con su dimensión teórica
(emparejamiento ítem-dimensión no ciego), en una escala de tres puntos: -1
(grado bajo de idoneidad), 0 (grado medio de idoneidad) y 1 (grado alto de
idoneidad).

- Índice V de Aiken (V). Han participado otros 5 jueces los cuales evalúan de 1 a
5 el grado de idoneidad de los ítems en cada una de las 2 dimensiones teóricas,
mediante un emparejamiento ciego.

En la presente práctica los alumnos deberán realizar las siguientes actividades:

1. Análisis de la claridad de los ítems e interpretación de los resultados. Para

realizar este análisis se utilizará el paquete estadístico JAMOVI (BASE DE
DATOS CLARIDAD), calculando el/los estadístico/s más adecuado/s.

2. Cálculo del Índice de congruencia (Ijk) e interpretación de los resultados. Para

realizar este análisis se utilizará la fórmula de cálculo de este índice con los datos
de la BASE DE DATOS OSTERLING.

3. Cálculo del Índice V de Aiken (V), límite inferior y superior del intervalo de
confianza al 95%, e interpretación de los resultados. Para realizar este análisis se
utilizará el programa de Merino y Livia (2009) que se encuentra en el CV,
utilizando los datos de la BASE DE DATOS AIKEN.
1. Análisis de la claridad de los ítems e interpretación de los resultados.

Descriptivas

CLI1 CLI2 CLI3 CLI4 CLI5 CLI6 CLI7 CLI8 CLI9 CLI10 CLI11 CLI12

Median 5.0 5.0 5.0 5.0 2.0 5.0 5.0 5.0 5.0 5.00 1.50 5.00
a 0 0 0 0 0 0 0 0 0

INTERPRETACIÓN:

La mayoría de los ítems tienen una mediana de 5, por lo que son muy claros y deben
continuar en el test, mientras que el ítem 5 tiene una mediana de 2 y el ítem 11 de 1.5, lo
que indica que su claridad es insuficiente y deben ser eliminados.

2. Cálculo del Índice de congruencia (Ijk) e interpretación de los resultados.

Ítems Ijk

1 1

2 0,8

3 1

4 1

5 - 0.4

6 1

7 0.8

8 0.8
 9 0.8

10 0.8

11 -0.4

12 1

INTERPRETACIÓN:

Los ítems que tienen una congruencia superior a 0.6 (en este caso son todos excepto el 5 y
el 11, y tienen valores entre 0.8 y 1), tienen una congruencia buena, sin embargo, el 5 y 11
tienen una congruencia inferior a 0.6 (de -0.4), por lo que, como vamos a confirmar en la
siguiente prueba, no deberían permanecer a ninguna dimensión.

3. Cálculo del Índice V de Aiken (V), límite inferior y superior del intervalo de
confianza al 95%, e interpretación de los resultados.

Ítems DIMENSIÓN 1 DIMENSIÓN 2

(Utilidad de uso) (Efectividad para el

proceso de
Enseñanza-Aprendizaje)

V (Linferior-Lsuperior) V (Linferior-Lsuperior)

1 .90 (.70-.97) .05 (.00-.23)

2 .95 (.76-.99) .05 (.00-.23)

3 .95 (.76-.99) .00 (.00-.30)

4 .95 (.76-.99) .05 (.00-.23)

5 .35 (.18-.56) .65 (.43-.81)

 6 .95 (.76-.99) .05 (.00-.23)

7 .05 (.00-.23) 1.00 (.83-1.00)

8 .00 (.00-.16) .95 (.76-.99)

9 .05 (.00-.23) .90 (.70-.97)

10 .25 (.11-.47) .95 (.76-.99)

11 .55 (.34-.74) .20 (.00-.41)

12 .05 (.00-.23) .95 (.76-.99)

INTERPRETACIÓN:

Efectivamente, los ítems 5 y 11 no deben incluirse en ningún test ya que sus “V de Aiken” ni
son significativas, entonces como dijimos anteriormente, no pertenecen a ninguna
dimensión.

Por otro lado, la “V de Aiken”los ítems del 1 al 6 (excepto el ítem 5) indican que pertenecen
a la D1.

La “V de Aiken” de los ítems del 7 al 12 (excepto el 11), indican que pertenece a la D2.