SEGUNDA PRUEBA DE EVALUACIÓN CONTINUA (PEC-2)

CONTEXTO TEÓRICO DE LA PEC-2

En cualquier situación de análisis es conveniente comprender el contexto en el que se plantea
la situación. Es por ello que, antes de presentar la situación y sus preguntas, se realiza una
pequeña introducción que permite contextualizar el análisis.

Introducción
Henry y McAuley (2013) presentaron un trabajo donde cuestionaban el procedimiento de
corrección de la Batería de Montreal para la Evaluación de la Amusia (BMEA) que se había
utilizado hasta entonces. Esta batería consiste en 6 sub-tests (el test de Escala, Contorno,
Intervalo, Ritmo, Métrica y Memoria musical). Los cuatro primeros sub-tests se componen de
30 melodías (más un ensayo trampa que no consideraremos y cuyo único objetivo es evaluar si
el participante está prestando atención). Para cada melodía (cada ensayo), al participante se le
presentan dos fragmentos musicales sucesivamente y debe juzgar si estos fragmentos son
iguales (15 ensayos) o diferentes (15 ensayos) presentados al azar. Los ensayos diferentes
difieren ligeramente en Escala, Contorno, Intervalo o Ritmo (véase la Figura 1).

Figura 1: Ejemplo de un estímulo y sus variantes utilizadas en la batería de Montreal. El

asterisco indica la nota que ha cambiado. En un ensayo se presentaría primero la melodía
objetivo y luego, tras 1-2 segundos, se le volvería a presentar o bien la melodía objetivo
(ensayo “igual”) una de las variaciones (ensayo “diferente”). La tarea del sujeto es indicar si las
dos melodías presentadas son iguales o diferentes.

En el sub-test de Métrica solo se les presenta un fragmento musical y el participante debe

determinar si el fragmento musical es una marcha o un vals. El test de Memoria siempre se
presenta el último y en él se les presenta 30 fragmentos individuales, 15 de ellos ya
escuchados en los sub-tests previos y 15 fragmentos nuevos. La tarea de los sujetos es
determinar si el fragmento se ha presentado anteriormente (antiguo) o es nuevo.

El problema identificado por Henry y McAuley (2013) es que la forma usual de corregir
la actuación de los participantes en el BMEA no es la más apropiada. En concreto, usualmente
se calcula la Proporción de respuestas Correctas (PC) en cada sub-test, así como la PC en el test

1
completo (eliminando el test de memoria ya que este no evalúa habilidades específicamente
musicales). Aunque es una medida sencilla de calcular para un psicólogo clínico (lo cual
explicaría su popularidad) no distingue si una mala ejecución en el test se debe a una mala
percepción musical del participante o a un sesgo de respuesta. Según los autores, la forma más
adecuada de corregir el BMEA es utilizando la Teoría de Detección de Señales (TDS) ya que
ésta proporciona dos medidas de actuación: un estadístico d’ que evalúa la sensibilidad y un
estadístico c que evalúa el sesgo que el participante pueda tener a la hora de responder
“Igual/Diferente”. Como recordatorio, las fórmulas de estos índices se presentan en la Tabla 1
para la situación de respuesta “Igual/Diferente” (otros formatos de respuesta exigen
ecuaciones diferentes):

𝑑′ = 𝑧(𝐻𝑅) − 𝑧(𝐹𝐴) Cálculo del índice de sensibilidad

−1 Cálculo del índice de sesgo

𝑐= [𝑧(𝐻𝑅) + 𝑧(𝐹𝐴)]
2
Nota: HR = Proporción de Éxitos (Hit Rate); FA = Proporción de Falsas Alarmas (False Alarm
Rate). La función z es el estadístico z correspondiente a la proporción entre paréntesis (sea HR
o FAR) que sirve como argumento de la función. Una d’ de 0 significa que el participante no
percibe la discriminación que se le está pidiendo ya que la tasa de aciertos es la misma que
la tasa de falsas alarmas.
Ejemplo de cálculo: si un participante ha tenido un porcentaje de aciertos en la
discriminación del 0,90 y una tasa de falsas alarmas de 0,23, su d’ sería
𝑧(𝐻𝑅) = 𝑧(0,90) = 1,29
𝑧(𝐹𝐴) = 𝑧(0,23) = −0,74
𝑑’ = 1,29 – (−0,74) = 2,03

Para resolver el problema indicado, aplicaron el BMEA a una muestra de participantes

normales (n = 155) y de ellos encontraron 4 amúsicos según el criterio tradicional de Peretz y
cols. (2003), que consiste en considerar amúsico aquel sujeto que puntúe dos desviaciones
típicas por debajo de la puntuación media de una muestra normativa. Los autores compararon
la clasificación de amusia obtenida aplicando el índice PC y los índices de la TDS obteniendo
resultados no coincidentes.

PREGUNTAS

APLICACIÓN DEL CONTEXTO TEÓRICO ANTERIOR A UNA SITUACIÓN DE ANÁLISIS (PEC2)

En este contexto, imagine que dispone usted de 15 participantes normales que pasan,
cada uno de ellos, por los cuatro primeros sub-tests del MBEA (Escala, Contorno, Intervalo y
Ritmo). Ha calculado el índice d’ de cada participante en cada sub-test y los resultados son los
siguientes:

2
 Participante Puntuación
Escala Contorno Intervalo Ritmo
1 3,07 1,65 4,02 3,59
2 2,60 1,79 0,36 0,56
3 2,45 4,11 0,92 2,75
4 1,21 0,92 3,61 3,03
5 2,88 1,34 2,71 1,09
6 2,25 1,94 3,07 2,45
7 2,53 2,33 1,02 2,14
8 3,36 3,81 3,04 1,75
9 1,74 2,00 4,11 2,13
10 2,92 2,93 1,73 2,62
11 3,24 3,12 1,69 1,62
12 2,51 3,90 2,40 2,21
13 2,89 0,65 3,02 2,22
14 2,70 3,46 3,05 2,00
15 1,75 3,64 1,83 2,96
Nota: estas puntuaciones se han simulado a partir de los estadísticos media y desviación
típica informados por Henry y McAuley (2013) asumiendo distribuciones normales.

Realice el Anova correspondiente a estos datos y responda a las siguientes cuestiones:

1. La variable dependiente de sus datos pertenece a una escala:

A) nominal
B) ordinal
C) de razón
2. Analizando la fórmula de su variable dependiente puede afirmar que el rango de
valores teórico que puede adoptar d’ se encuentra en el intervalo:
A) (-∞, +∞)
B) [-4, 4]
C) [0, 1]
3. Se trata de un diseño:
A) Bifactorial de medidas independientes
B) Unifactorial de medidas dependientes
C) Unifactorial de medidas independientes
4. La hipótesis que se pone a prueba es:
𝜇𝐸𝑠𝑐𝑎𝑙𝑎 +𝜇𝐶𝑜𝑛𝑡𝑜𝑟𝑛𝑜 𝜇𝐼𝑛𝑡𝑒𝑟𝑣𝑎𝑙𝑜 +𝜇𝑅𝑖𝑡𝑚𝑜
A) 2
= 2
B) 𝝁𝑬𝒔𝒄𝒂𝒍𝒂 = 𝝁𝑪𝒐𝒏𝒕𝒐𝒓𝒏𝒐 = 𝝁𝑰𝒏𝒕𝒆𝒓𝒗𝒂𝒍𝒐 = 𝝁𝑹𝒊𝒕𝒎𝒐
C) 𝜎𝐸𝑠𝑐𝑎𝑙𝑎 = 𝜎𝐶𝑜𝑛𝑡𝑜𝑟𝑛𝑜 = 𝜎𝐼𝑛𝑡𝑒𝑟𝑣𝑎𝑙𝑜 = 𝜎𝑅𝑖𝑡𝑚𝑜

5. El estadístico de contraste vale aproximadamente:

A) 1,38
B) 0,36
C) 3,98
6. El valor crítico al 95% de confianza vale aproximadamente:
A) 2,76
B) 2,92

3
 C) 2,83
7. El análisis de contrastes a posteriori:
A) Se debe aplicar, como mínimo, para cada par de niveles (tendríamos 6 contrastes a
realizar).
B) No puede aplicarse porque no nos han informado del contraste específico que
desea realizarse.
C) No es necesario aplicarlo porque no se rechaza H0.
8. Obsérvese que los valores de d’ son bastante elevados (cuando las proporciones de HR
o de FA son 0 o de 1 hay que utilizar correcciones para poder aplicar la fórmula de d’
ya que la 𝑧(1) o la 𝑧(0) son valores problemáticos para la TDS). Esto significa que,
además del problema detectado por Henry y McAuley (2013), en el MBEA y con
población normal, también podríamos tener problemas de:
A) efecto de contrabalanceo.
B) efecto techo.
C) efecto suelo.
9. Un índice del tamaño del efecto utilizado en los Anovas es 𝜂𝑝2 (eta al cuadrado parcial).
Sabiendo que su valor puede obtenerse a partir de la tabla del Anova y que, en este
𝑆𝑆𝐸𝑓𝑒𝑐𝑡𝑜
caso, su fórmula es 𝑆𝑆 , podemos afirmar que el valor que adopta 𝜂𝑝2 en
𝐸𝑓𝑒𝑐𝑡𝑜 +𝑆𝑆𝐸𝑟𝑟𝑜𝑟

nuestros datos vale:

A) 1,209
B) 0,950
C) 0,025
10. En esta situación, el supuesto de simetría compuesta se evaluaría mediante una matriz
de:
A) 4x4.
B) 3x3.
C) 4x3.

CONTEXTO TEÓRICO
La segunda parte de esta PEC también exige una pequeña introducción teórica que
presentamos a continuación.

Introducción
Siguiendo con la situación anterior, los autores pusieron a prueba un supuesto esencial para
aplicar las fórmulas de d’ y c anteriormente expuestas. El supuesto es el de igualdad de
varianzas de las distribuciones de las dos clases estimulares (igual/diferente). Una forma de
evaluar este supuesto (igualdad de varianzas) es generar una curva ROC (Receiver Operator
Characteristic curve) empírica que implica manipular la localización del criterio (c)
manteniendo constante los factores que afectan a la sensibilidad y pidiendo a los participantes
que emitan juicios de confianza sobre la respuesta proporcionada. Para lograrlo, los autores
modificaron la forma de responder al test MBEA. En lugar de pedir a los participantes que
respondiesen “Igual” o “Diferente”, les plantearon un sistema de respuesta en forma de
Grados de Confianza (confidence ratings):

- 1 si estaban completamente seguros de que era la misma melodía

4
 - 2 si estaban muy seguros de que era la misma melodía
- 3 si tenían una confianza moderada en que era la misma melodía
- 4 si tenían una confianza moderada en que no era la misma melodía
- 5 si estaban muy seguros de que no era la misma melodía
- 6 si estaban complemente seguros de que no era la misma melodía

Obsérvese que si el sujeto responde 1, 2 o 3 está respondiendo “Igual” mientras que si

responde 4, 5 o 6 está respondiendo “Diferente”, pero ahora de manera graduada en función
de su confianza. De esta forma razonaron que podrían afinar en el análisis porque podrían
aplicar las curvas ROCs así como el resto de estadísticos que estas permiten (paramétricos y no
paramétricos). Pero más importante es que con esta modificación en la forma de responder se
puede evaluar si se cumple el supuesto de igualdad de varianzas. Este supuesto es crítico en la
TDS ya que d’ y c sólo son independientes si se cumple este supuesto. Cuando se cumple el
supuesto de igual varianza, la pendiente de la línea ROC en coordenadas Z es 1. Esto significa
que si cada puntuación promedio (Proporción de Aciertos y Proporción de Falsas Alarmas) se
pasa a puntuaciones 𝑧 y se grafican los resultados se obtendrían líneas rectas con pendientes
iguales a la unidad (en estos gráficos el eje X es 𝑧(𝐹𝐴) y el eje Y es 𝑧(𝐻𝑅)).

En el trabajo de Henry y McAuley (2013) se presentaron las siguientes gráficas de

resultados (véase la Figura 2). Obsérvese que los ejes son 𝑧(𝐹𝐴) y 𝑧(𝐻𝑅) y que cada punto de
la curva ROC en coordenadas Z corresponde a un nivel de los juicios de confianza (realmente
se dispone de 𝑛 − 1 = 6 − 1 = 5 puntos para una escala de 6 grados de confianza y por eso,
en lugar de los 6 valores que se corresponden con la graduación de los niveles de confianza
solo aparecen 5 en cada gráfica).

Figura 2: Datos obtenidos por Henry y McAuley (2013) en los seis sub-tests del MBEA
(círculos) y sus líneas de regresión (línea recta que se observa entre los puntos). La línea
oblicua central sólo se grafica como referencia.

5
 PREGUNTAS

APLICACIÓN DEL CONTEXTO TEÓRICO ANTERIOR A UNA SITUACIÓN DE ANÁLISIS (PEC2)

Ahora suponga que partiendo de la Figura 2 quiere usted evaluar si, efectivamente, los
datos del sub-test Contorno cumplen con el supuesto de igualdad de varianzas mediante
regresión lineal por mínimos cuadrados evaluando si se cumple la predicción (indicada en el
contexto teórico en negrita y subrayada) realizada por la teoría. Como no le han dado los datos
en una tabla sino en un gráfico, realiza aproximaciones de los cinco valores numéricos que se
muestran en la gráfica (nosotros hemos utilizado un digitalizador de gráficos llamado GetData)
obteniendo los siguientes valores:

Datos Z(FA) Z(HR)

1º dato -1,47 0,27
2º dato -1,17 0,79
3º dato -0,91 1,02
4º dato -0,64 1,56
5º dato -0,11 2,03

Realice la regresión lineal de estos cinco datos y responda a las siguientes cuestiones
(𝛼 = 0.05):

11. Las variables dependientes utilizadas en este análisis son:

A) Índices d’ y c.
B) puntuaciones Z de FA y HR.
C) Porcentajes de Aciertos y Falsas Alarmas.
2
12. El valor 𝑅𝑍(𝐹𝐴),𝑍(𝐻𝑅) para esta regresión vale aproximadamente:
A) 1,32
B) 0,98
C) 0,69
13. El valor del punto de corte con la ordenada vale aproximadamente:
A) 2,251
B) -3,098
C) 0,0
14. La hipótesis planteada por Henry y McAuley (2013) en la realización del análisis ROC
es:
A) Que la pendiente de la recta de regresión vale 1.
B) Que 𝑧(𝐹𝐴) no tiene valor predictivo sobre 𝑧(𝐻𝑅).
C) Que el punto de corte con la ordenada es 0, es decir, que cuando 𝑧(𝐹𝐴) = 0
también 𝑧(𝐻𝑅) = 0.
15. El estadístico de contraste T para poner a prueba la hipótesis nula planteada por Henry
y MacAuley (2013) vale (tenga en cuenta que para la hipótesis planteada en esta
situación, el numerador de la fórmula no es 𝐵 − 0 sino B menos el valor planteado en
la hipótesis):
A) 1,299
B) 2,798

6
 C) -32,251
16. Si calculamos el intervalo de confianza de la pendiente con los 5 datos proporcionados
podemos afirmar que:
A) incluiría el valor 1.
B) estaría inflado con respecto a su valor real ya que nosotros hemos tenido que
utilizar 𝑛 = 5 cuando realmente, cada punto de la Figura 1, está basado en la
respuesta de 𝑛 = 155 participantes para cada valor de la escala (de 1 a 6).
C) obtendremos un intervalo de valores, que no incluye el 1, muy estrecho entre los
que se puede encontrar la pendiente poblacional al nivel de confianza utilizado.
17. El valor de la MC residual o de error vale aproximadamente:
A) 1,825
B) 0,012
C) 1,862
18. El coeficiente tipificado de la pendiente vale aproximadamente:
A) 0,99
B) 0,95
C) 1,05
19. En el análisis de regresión usualmente se pone a prueba la hipótesis de que la
pendiente es 0:
A) de manera arbitraria, al igual que sucede con el error tipo I, que se le asigna un 0,05
de manera razonable pero relativamente arbitraria.
B) porque si no se rechaza H0 significa que la regresión es significativa.
C) porque lo que se pretende es evaluar la capacidad predictiva de la variable
predictora, y si la pendiente es 0 significa que esta capacidad no existe.
20. Sabemos que, en un modelo de regresión múltiple, a medida que incluimos variables
en el modelo, el coeficiente de determinación múltiple aumenta aunque las variables
que incluyamos no sean significativas. Esto supone un problema y para corregirlo se
utiliza:
A) El coeficiente de determinación múltiple
B) El coeficiente de determinación múltiple ajustado en función del número de
variables independientes.
C) El coeficiente de determinación semiparcial.

7
Bibliografía

Henry, M. J. y McAuley, J. D. (2013). Failure to apply signal detection theory to the Montreal
Battery of Evaluation of Amusia may misdiagnose Amusia. Music Perception, 30(5),
480-496.

Peretz, I, Champod, A. S., y Hide, K. L. (2003). Varieties of musical disorders: The Montreal
Battery of Evaluation of Amusia. Annals of the New York Academy of Sciences, 999, 58-
75.

Press, W. H., Flannery, B. P., Teukolsky, S. A. y Vetterling, W. T. (1989). Numerical recipes in

C++. The art of scientific computing. Cambridge University Press, New York.

Nota: el ajuste por mínimos cuadrados para los datos de la Figura 2 no sería lo más apropiado,
entre otras razones porque este ajuste asume que sólo la variable predicha (Y) se ha medido
con error, no así la variable predictora (X) que se asume se ha medido sin error ya que
usualmente se manipula. La regresión (linear o curvilínea) cuando hay errores en ambos ejes
exige utilizar procedimientos numéricos especiales que pueden consultarse, por ejemplo, en
Press, Flannery, Teukolsky y Vetterling (1989) y que se puede intuir su utilización cuando
vemos gráficos ROC con intervalos de confianza en ambos ejes para cada dato. Un ejemplo
viene dado en la Figura 3 donde vemos 9 datos en un diagrama FA-HR (obsérvese que, en este
caso, al no transformarse los datos con la función 𝑧, la gráfica no es lineal sino curvilínea) con
barras de error en ambas dimensiones.

Figura 3: Curva ROC con intervalos de confianza en ambos ejes.

Nota: obsérvese como, en este caso, cada par de Falsos Positivos y Verdaderos Positivos, o lo
que es lo mismo, falsas alarmas y aciertos, tienen dos intervalos de confianza diferentes, uno
para el eje X (la barra horizontal alrededor de cada punto) y otro para el eje Y (la barra vertical
alrededor de cada punto). Esto significa que hay error en la medición de los dos pares, X e Y,
de cada dato.

Esta apreciación es importante por cuanto nos alerta de la importancia que pueden tener los
supuestos en el análisis de los datos experimentales.