PEC 5

Reto 5. PROYECTO FINAL: Evaluación

de la calidad de un test e interpretación
de sus puntuaciones
80.213_Psicometría
 Índice
• Competencias y resultados de aprendizaje
• Enunciado
• Criterios de evaluación
• Temporización
• Entregable y criterios de presentación

Reto 5. PROYECTO FINAL: 1er Semestre pág 2

Evaluación de la calidad de un test e
interpretación de sus puntuaciones
 Código de Nombre de asignatura Semestre Curso
asignatura académico

80.213 Psicometría 1r. semestre 2022-2023

Profesor/a responsable de la asignatura Profesorado colaborador

Ariadna Angulo Brunet

PEC 5
Reto 5.
PROYECTO FINAL: Evaluación de
calidad de un test e interpretación de
sus puntuaciones

Competencias y resultados de aprendizaje

Competencias Resultados de aprendizaje de la actividad

CB2 - Que el estudiantado sepa aplicar sus RAP1: Llevar a cabo el proceso de selección de un test
conocimientos a su trabajo o vocación de una haciendo una valoración de sus propiedades
forma profesional y posean las competencias que psicométricas y saber interpretar los resultados que se
suelen demostrarse por medio de la elaboración obtienen.

Reto 5. PROYECTO FINAL: 1er Semestre pág 3

Evaluación de la calidad de un test e
interpretación de sus puntuaciones
y la defensa de argumentos y la resolución de
problemas dentro de su área de estudio.

CB5 - Que el estudiantado sepa haya RAP1: Integrar los diferentes resultados de los
desarrollado las habilidades de aprendizaje estudios realizados y los datos disponibles sobre un
necesarias para emprender estudios posteriores test para realizar una valoración crítica de su calidad
con un alto grado de autonomía. psicométrica en función de los objetivos y usos.

CE11 - Aplicar técnicas para recabar información RAP1: Comprender la importancia de las propiedades
sobre el funcionamiento biológico, psicológico y psicométricas de los test para obtener medidas fiables
social de personas, colectivos y organizaciones. y válidas.

CE12 - Analizar e interpretar los resultados de la RAP1: Interpretar adecuadamente las puntuaciones
evaluación psicológica. transformadas.

CE15 - Redactar informes técnicos y científicos RAP1: Explicar con rigor científico las conclusiones
sobre los resultados de la evaluación, derivadas de los estudios de validez, fiabilidad y
investigación o servicios solicitados, teniendo en análisis de los ítems de un test.
cuenta el código ético y deontológico de la RAP2: Argumentar de forma científica pero
profesión. comprensible las conclusiones extraídas de las
puntuaciones transformadas, para proporcionar a los
individuos evaluados un informe de sus características
psicológicas en referencia a su grupo normativo, o al
criterio establecido.
RAP3: Llevar a cabo una actitud ética, honesta y cívica
en el trabajo académico, evitando cualquier uso
indebido del trabajo de terceros.

Reto 5. PROYECTO FINAL: 1er Semestre pág 4

Evaluación de la calidad de un test e
interpretación de sus puntuaciones
 Enunciado

Tanto cuando se trata de desarrollar, revisar o utilizar un test para el ámbito aplicado o la investigación es
necesario informar de las propiedades psicométricas de las puntuaciones del test o los tests que se quieren
utilizar. Un test que no presenta las suficientes garantías de validez y/o fiabilidad por los usos y objetivos
previstos supone que la interpretación de sus puntuaciones deba realizarse mencionando o advirtiendo de
estas limitaciones. En este último reto, se propone que lleves a cabo de forma autónoma un análisis de las
propiedades psicométricas de un (o varios) test nuevo a partir de una base de datos. Por tanto, este último
reto se presenta como una actividad que integra todos los conocimientos adquiridos durante los recursos
que ya has estudiado para realizar los demás retos, y te ayudará a adquirir una visión integradora de la
evaluación de la calidad de un test.

En esta práctica te proporcionamos unos enunciados con amplias preguntas que debes resolver a partir de
los conocimientos adquiridos en los retos anteriores (1, 2, 3 y 4). Así pues, encontrarás preguntas sobre las
características del test o test que vas a utilizar, la descripción de la muestra, las evidencias de validez y
fiabilidad de las puntuaciones de éste o estos test y sobre la transformación de las puntuaciones y el análisis
de los ítems.
A fin de evaluar la práctica, además de que la resolución numérica sea correcta se valorará la capacidad de
síntesis y la reflexión sobre las implicaciones que tienen las evidencias psicométricas proporcionadas. La
actividad puede resolverse a partir de los materiales que te hemos proporcionado en el aula, y no se
recomienda utilizar otras técnicas que se pueden encontrar disponibles en internet. Si es necesario, puedes
consultar los contenidos de los recursos de la asignatura.

Por último, antes de la entrega de tu PAC lee con atención los apartados "Criterios de evaluación" y
"Entregable y criterios de presentación".

Reto 5. PROYECTO FINAL: 1er Semestre pág 5

Evaluación de la calidad de un test e
interpretación de sus puntuaciones
 Actividad 1: Características del test STAI y de la muestra de estudio

A lo largo de todo este último reto vas a trabajar con el Cuestionario de Ansiedad Estado-Rasgo (STAI). Es
necesario que previamente hayas accedido a UniversiTEA y te hayas familiarizado con el manual. A
continuación te presentamos una serie de preguntas sobre las características del test que tendrás que
responder. Algunas preguntas tienen un formato de respuesta abierta. Las respuestas que des deben ser
breves. En caso de que el manual no proporcione alguna información para responder alguna pregunta, deberás
contestar NO CONSTA. Si alguna pregunta no es aplicable al manual que trabajas tendrás que contestar NO
APLICA. En el caso de las preguntas con opción de respuesta cerrada sólo tienes que indicar la letra/número
correspondiente a la opción correcta Es posible marcar más de una opción de respuesta si se considera
necesario (según el manual de los test con el que trabajes) :

1.1. Nombre del test en la versión original y autores o autoras:

1.2. Si este test es una adaptación indica nombre del test, año y autoras o autores de la adaptación:

1.3. ¿El test es autoinformado? SÍ/NO:

1.4. ¿A qué población va dirigida? (máximo 20 palabras):

1.5. Objetivo del test (máximo 50 palabras):

1.6. ¿Es un test de ejecución máxima o de ejecución típica?:

a) En caso de que sea de ejecución máxima, ¿se trata de un test de velocidad o de potencia?

1.7. Según el contenido del test, éste evalúa:

a) Capacidades
b) Personalidad
c) Intereses
d) Otros (indica cuál/s):

1.8. La finalidad/propósito del test es de

a) Diagnóstico

Reto 5. PROYECTO FINAL: 1er Semestre pág 6

Evaluación de la calidad de un test e
interpretación de sus puntuaciones
 b) Predicción
c) Clasificación
d) Orientación

1.9. Según el formato, se trata de un test

a) Lápices y papel
b) Informatizado
c) De manipulación
d) De medidas fisiológicas

1.10. ¿La aplicación del test es individual, colectiva o ambas?

1.11. Indica la duración aproximada de la aplicación del test:

1.12. Indica el número de escaleras y subescalas (en caso de que haya) que forma el test y el nombre de cada
una (máximo 50 palabras):

1.13. Indica el número de ítems que tiene cada escala (máximo 20 palabras):

1.14. Indica el formato de respuesta de los ítems:

1.15. ¿Cómo se obtienen las puntuaciones de cada escalera y subescala? (máximo 50 palabras)

CARACTERÍSTICAS DE LA MUESTRA DE ESTUDIO

Para evaluar las propiedades psicométricas de nuestro test, hemos administrado el test la misma muestra de
personas que en los retos anteriores. Los datos y respuestas dadas los tiene disponibles en la matriz de datos.
Los ítems inversos ya han sido recodificados, por tanto, no es necesario realizar ninguna recodificación a la
matriz de datos facilitada. Las variables w1_stai_st y w1_stai_tr han sido creadas para calcular las
puntuaciones totales, por tanto, no es necesario crear ninguna variable. Consulte el glosario.

1.16. Realiza una breve descripción de la distribución de las respuestas de los ítems del test. Justifica tu
respuesta con los valores que lo apoyan (máximo 150 palabras).

Reto 5. PROYECTO FINAL: 1er Semestre pág 7

Evaluación de la calidad de un test e
interpretación de sus puntuaciones
 Actividad 2: Fiabilidad de las puntuaciones del test

Lee con atención el apartado 3.2 “Adaptación española: fiabilidad y validez” (sólo apartado A:
Elementos y escalas: fiabilidad y valor discriminativo). Este apartado explica los métodos y técnicas empleadas
para el estudio de la fiabilidad del test. Una vez leído el apartado responde a las siguientes preguntas. Algunas
preguntas tienen un formato de respuesta abierta. Las respuestas que des deben ser breves (la longitud está
especificada cuando es necesario). En caso de que el manual no proporcione alguna información para
responder alguna pregunta, deberás contestar NO CONSTA. Si alguna pregunta no es aplicable al manual que
trabajas tendrás que contestar NO APLICA. En el caso de las preguntas con opción de respuesta cerrada sólo
tienes que indicar la letra/número correspondiente a la opción correcta. Es posible marcar más de una opción
de respuesta si se considera necesario (según el manual de los test con el que trabajes):

2.1. ¿Qué método/s mencionan los autores que han utilizado?

a) Método de las formas paralelas
b) Método test-retest
c) Metodo consistencia interna
1. Método de las dos mitades
2. Alfa de Cronbach
3. KR20
4. Omega

2.2. Según los resultados obtenidos por los autores, ¿podemos considerar que la fiabilidad del test es
adecuada para hacer un uso diagnóstico de las puntuaciones? Interpreta la fiabilidad según los criterios de
Nunnally (máximo 100 palabras).

2.3. A continuación evaluarás la fiabilidad de las distintas puntuaciones de test STAI con nuestra muestra de
estudio. Calcula los coeficientes alfa de Cronbach y omega por cada escala del test (w1_stai_st y w1_stai_tr).
Valora la fiabilidad (valor puntual e intervalo de confianza) obtenida del test según los criterios de Nunnaly.
Justifica tu respuesta con los valores que lo apoyan (máximo 100 palabras).

2.4. Un mes después de responder el test STAI (w1_stai_st) se les volvió a administrar el test (w2_stai_st) a
209 personas. Analiza la fiabilidad del test STAI con el método test-retest para valorar la estabilidad temporal
de sus puntuaciones en nuestra muestra de estudio. Justifica tu respuesta con los valores que lo apoyan
(máximo 150 palabras).

Reto 5. PROYECTO FINAL: 1er Semestre pág 8

Evaluación de la calidad de un test e
interpretación de sus puntuaciones
2.5. En el manual los autores mencionan que en los estudios originales se estudió la fiabilidad también
utilizando el método test retest. ¿Tus resultados son similares a los encontrados por los autores? Razona tu
respuesta con los valores numéricos que lo apoyen (máximo 50 palabras).

Actividad 3: Evidencias de validez de las puntuaciones del test

Lee con atención el apartado 1 “Descripción general” (del 1.1 al 1.6) y el apartado 2 “Normas de aplicación y
corrección” (2.1 y 2.2) del manual del STAI. Responde a las siguientes preguntas en relación con las evidencias
cualitativas (de contenido y proceso de respuesta) presentes en el manual del test STAI.

3.1. Concluye sobre las evidencias de validez cualitativas que has encontrado en el manual (máximo 250
palabras).

3.2. A continuación, estudiarás la estructura interna del test STAI aplicando las técnicas de análisis factorial
a partir de la matriz de datos proporcionada. Responde las siguientes preguntas:

3.2.1. ¿Los datos son factorizables? Justifica tu respuesta con las pruebas correspondientes y sus resultados,
es decir, con los valores que lo apoyan (máximo 100 palabras).

3.2.2. Una vez que hayas analizado las diferentes soluciones dimensionales. ¿Cuál es la solución más
interpretable? Razona y justifica tu respuesta con el apoyo de los resultados obtenidos (máximo 150 palabras).

3.2.3. Concluye sobre el ajuste del modelo en los datos. Justifica tu respuesta con los valores que lo apoyan
(máximo 100 palabras).

3.3. Lee con atención el apartado 3.2 "Adaptación española: fiabilidad y validez" (sólo apartado C: Análisis
Factoriales). ¿Tus resultados obtenidos sobre el análisis de la estructura son similares a los encontrados por
los autores? (máximo 50 palabras).

3.4. Los trastornos de ansiedad suelen presentar alta relación con otros trastornos clínicos y otros factores de
la personalidad. Lee con atención el apartado 3.2 “Adaptación española: fiabilidad y validez” (sólo apartado B:
Validez e intercorrelaciones del STAI). Este apartado expone de forma detallada los estudios de validez en
relación con otras variables de tipo convergente y/o discriminante realizados. Lee con atención estos apartados

Reto 5. PROYECTO FINAL: 1er Semestre pág 9

Evaluación de la calidad de un test e
interpretación de sus puntuaciones
y completa la siguiente tabla en función del tipo de evidencia de validez de relación con otras variables
(convergente y/o discriminante) estudiado en la adaptación española.

Evidencias de Evidencias de
Nombre de la
validez validez
prueba/instrumento
convergente discriminante
16-PF
8SQ
Correlaciones entre
escalas

3.5. En esta última actividad tendrás que obtener evidencias de validez que justifiquen el uso del test para
realizar clasificaciones. Un psicólogo especializado en este tipo de trastorno clínico evaluó a las 209 personas
que respondieron al test las dos veces para determinar si en ese momento presentaban ansiedad (1) o no la
presentaban (0) según su valoración clínica (w2_stai_diag). Para la segunda administración del test, se generó
un punto de corte para las puntuaciones de la escala estado y se consideró que la persona evaluada tenía
ansiedad (1) o no tenía (0) según la puntuación total obtenida en la escala del test (w2_stai_st_diag). Calcula
la sensibilidad y especificidad del test STAI e interpreta el resultado (máximo 100 palabras).

W2_stai_diag Total
0 1
0 178 20 192
W2_stai_st_diag 1 4 7 17
Total 182 27 209

Reto 5. PROYECTO FINAL: 1er Semestre pág 10

Evaluación de la calidad de un test e
interpretación de sus puntuaciones
 Actividad 4: Transformación de las puntuaciones y análisis de los
ítems

Lee con atención el apartado 4 (“Normas interpretativas”) y responde a las siguientes preguntas. En caso de
que en el manual no conste la información deberás responder con un NO CONSTA y en caso de que en el
tuyo no sea aplicable deberás responder NO APLICA. Por las preguntas con respuesta abierta se indica el
máximo de palabras. En el caso de las preguntas con respuesta cerrada sólo es necesario indicar la letra de
la opción correcta (NO copie la respuesta correcta, sólo indique la letra).

4.1. ¿Cuántas puntuaciones se pueden obtener con la administración de este test? (máximo 25 palabras)

4.2. Según la interpretación de sus puntuaciones:

a) se compara con un criterio previamente establecido (tests referidos a criterio)
b) se compara con el grupo de referencia (test normativos)

4.3. ¿En qué puntuaciones o puntuaciones se pueden transformar? (es posible marcar más de una opción)
a) No se transforman (puntuación directa)
b) Percentiles
c) Puntuaciones estandarizadas
d) Puntuaciones estandarizadas derivadas
e) Puntuaciones estandarizadas normalizadas
f) Puntuaciones estandarizadas normalizadas derivadas
g) Normas cronológicas

4.4. ¿Cuántos baremos se utilizan para la transformación de las puntuaciones? (máximo 50 palabras)

4.5. ¿Se establece algún punto de corte?

a) NO
b) SÍ (especifica cuál):

4.6. Redacta una conclusión sobre la discriminación de los ítems de las dos escalas del test. Justifica tu
respuesta con los valores que lo apoyan (máximo 50 palabras).

Reto 5. PROYECTO FINAL: 1er Semestre pág 11

Evaluación de la calidad de un test e
interpretación de sus puntuaciones
4.7. Transforma (en todas las posibles puntuaciones posibles) e interpreta la puntuación de las siguientes
personas según la puntuación directa obtenida en el test STAI (máximo 50 palabras por cada caso).

a) CASO 1: Mujer de 14 años. Puntuación directa Escala Estado: 20. Puntuación directa Escala Rasgo:
20.
b) CASO 2: Mujer de 34 años. Puntuación directa Escala Estado: 20. Puntuación directa Escala Rasgo:
23.
c) CASO 3: Hombre de 54 años. Puntuación directa Escala Estado: 29. Puntuación directa Escala Rasgo:
33.

Actividad 5: Conclusión final sobre la calidad psicométrica del STAI

5.1. Realiza una valoración general de las evidencias encontradas. Para ello redacta una conclusión general
de cada apartado que te proponemos (entre 500-700 palabras).

A. Valoración global de las características del test:

B. Valoración global de la fiabilidad de las puntuaciones:
C. Valoración global de las evidencias de validez:
- Evidencias de contenido
- Evidencias de proceso de respuesta
- Evidencias de las consecuencias de la aplicación del test
- Evidencias de la estructura interna del test
- Evidencias de la relación con otras variables
D. Valoración global de la transformación e interpretación de las puntuaciones. ¿Las puntuaciones son
válidas para los usos y objetivos previstos?

Reto 5. PROYECTO FINAL: 1er Semestre pág 12

Evaluación de la calidad de un test e
interpretación de sus puntuaciones
Tareas
• Lectura de los recursos disponibles en el aula: “Análisis de los ítems”, “Transformación e
interpretación de las puntuaciones” y “Análisis psicométrico con JASP”.
• Consulta plataforma UniversiTEA y lectura manual del test.
• Utilización del software de análisis estadístico (JASP).
• Resolución de las preguntas y ejercicios.

Criterios de evaluación

Evaluación
● PEC evaluable.

● Esta PEC 5 tiene un valor del 30 % del total de la nota final.

Criterios de evaluación
Tal y como indica el Plan Docente y la normativa académica de la UOC, cualquier atisbo de falta
de originalidad en la prueba resultará en la evaluación de la PEC con una calificación de D(0).

La valoración de la prueba se realizará teniendo en cuenta:

- La correcta resolución y justificación de los ejercicios planteados.
- La coherencia y el contenido del documento.
- La correcta integración de los distintos aspectos analizados.
- No basta sólo con dar el resultado numérico, se debe explicar o razonar tu respuesta. Las tareas
que no cumplan este último requisito (es decir, que únicamente hagan constar el resultado final
obtenido sin desarrollar paso a paso las operaciones) recibirán la calificación de C-Suspens, con
independencia de que los resultados presentados sean correctos.

El incumplimiento de cualquier requisito de presentación podrá comportar

penalizaciones en la evaluación de la PEC.

Reto 5. PROYECTO FINAL: 1er Semestre pág 13

Evaluación de la calidad de un test e
interpretación de sus puntuaciones
 Temporización

Fecha de inicio: 01/01/23

Fecha máxima de entrega: 16/01/23

Fecha de corrección: 27/01/23

Entregable y criterios de presentación

Entrega y formato
El fichero debe entregarse a Registro de Evaluación Continuada con el formato
nombre_apellido_Reto5.pdf.

Se entregará exclusivamente la plantilla de entrega en formato pdf. No se admiten archivos

complementarios con outputs del programa de análisis estadístico. Tampoco se permiten archivos
comprimidos (tipo .zip). Cualquier documento librado que tenga otras características será
evaluado con una C- o una D.

El trabajo es individual. Es obligatorio dar respuestas argumentadas proporcionando respuestas

únicas y originales a todas las respuestas de la PEC. No se permite una reproducción de las tablas
proporcionadas por el programa, es necesario redactar y justificar las respuestas. Tampoco se
permite reproducir parcial o totalmente texto de los materiales proporcionados en la misma o en
otras asignaturas.

Criterios de presentación
• No existe una longitud máxima de la PEC. Sin embargo, en los diversos enunciados se puede
presentar un límite de palabras, caracteres o líneas. Si se excede este límite se podrá penalizar
ya sea no calificando la pregunta o calificando la PEC con una nota máxima de C-.

Reto 5. PROYECTO FINAL: 1er Semestre pág 14

Evaluación de la calidad de un test e
interpretación de sus puntuaciones
• Se debe presentar en la plantilla de entrega, con el formato que ya tiene por defecto el
documento (Arial 11, interlineado 1,5). Los documentos que sean entregados en otros formatos
(que contengan el enunciado, documentos en blanco, etc.) serán calificados con una nota de D
o C-.
• Para los cálculos numéricos, si no se indica lo contrario, utilizar sólo dos decimales en el
resultado final.
• No se aceptará ningún PEC que contenga capturas de pantalla, fotografías o similares con la
resolución de los ejercicios. Si es necesario demostrar cálculos puede utilizarse, por ejemplo,
la función de ecuaciones proporcionada por muchos editores de texto (e.g.,
https://support.microsoft.com/es-es/office/escribir-una-ecuación-o-una-fórmula-1d01cabc-
ceb1-458d-bc70-7f9737722702).
• La PEC está diseñada para sólo utilizar material proporcionado en el aula. Por eso, no está
previsto añadir referencias. Sin embargo, si es necesario, puede referenciarse al final del
documento el material complementario utilizado siguiendo el modelo de citación de la séptima
edición de la normativa APA. Alternativamente, también se puede utilizar la adaptación que ha
hecho UOC de este formato para un uso no sexista de la lengua. No deben referenciarse los
materiales de la asignatura.

Reto 5. PROYECTO FINAL: 1er Semestre pág 15

Evaluación de la calidad de un test e
interpretación de sus puntuaciones