NUEVOS PROCEDIMIENTOS

METODOLGICOS E
INFORMTICOS EN LA
VALIDACIN DE LOS TEST
PSICOLGICOS

Csar Merino Soto

Universidad de San Martn de Porres
I Congreso Internacional de Psicologa, Universidad Csar Vallejo,
29 al 30 de Octubre, Lima.
En Dios confiamos, pero los
dems traigan datos
William E. Deming
LA SAGRADA
TRINIDAD
Psicometra

Anlisis
Metodologa
estadstico
ESTRUCTURA

Confiabilidad
Validez
Programas informticos
Fuentes bibliogrficas
Recomendaciones
CONFIABILIDAD
El caso de la Consistencia interna
Coeficiente :
El Padre
Cronbach, L. J. (1951).
Coefficient alpha and the
internal structure of
tests. Psychometrika,
16,297-334
 CONFIABILIDAD POR CONSISTENCIA INTERNA:
Mtodo clsico
Ajuste por dispersin Prueba de significancia estadstica
hombres = 0.80 N = 120
x2
a X 1 2 1 ax H o : 1 2
mujeres = 0.71 N = 100
X
Trabajos de Feldt (1965, etc.)

1 1
Gulliksen (1950)

W
N pequeo 1 2

a
N 3

2
N 1 N 1
Feldt, Woodruff, & Salih (1987)
 CONFIABILIDAD POR CONSISTENCIA INTERNA:
Mtodo clsico
Ajuste por dispersin Prueba de significancia estadstica

x2
a X 1 2 1 ax H o : 1 2
X
Trabajos de Feldt (1965, etc.)
Gulliksen (1950)

N pequeo

a
N 3

2
N 1 N 1
Feldt, Woodruff, & Salih (1987)
 CONFIABILIDAD POR CONSISTENCIA INTERNA:
Mtodo clsico
Ajuste por dispersin Prueba de significancia estadstica

x2
a X 1 2 1 ax H o : 1 2 = ?
X
Trabajos de Feldt (1965, etc.)
Gulliksen (1950) = 0.84

N pequeo Intervalos de Confianza

a
N 3

2 z ln 1
N 1 N 1
Bonnet (2002) y otros
Feldt, Woodruff, & Salih (1987)
 CONFIABILIDAD POR CONSISTENCIA INTERNA:
Mtodo clsico
Ajuste por dispersin Prueba de significancia estadstica Alfa estratificado
k

i (1 i )
2 Cronbach, Schoneman,

H o : 1 2
2 & McKie (1965).

1 ax s 1 i 1
aX 1 x
x2

2
X
Trabajos de Feldt (1965, etc.) Subtest X
X
Gulliksen (1950)
x1
x2
N pequeo Intervalos de Confianza
x3
a
N 3

2 z ln 1 TOTAL
N 1 N 1
Subtest Y
y1
Bonnet (2002) y otros
y2
Y
Feldt, Woodruff, & Salih (1987)

y3
 CONFIABILIDAD POR CONSISTENCIA INTERNA:
Mtodo clsico
Ajuste por dispersin Prueba de significancia estadstica Alfa estratificado
k

i (1 i )
2 Cronbach, Schoneman,

H o : 1 2
2 & McKie (1965).

1 ax s 1 i 1
aX 1 x
x2

2
X
Trabajos de Feldt (1965, etc.) Subtest X
X
Gulliksen (1950)
x1
x2
N pequeo Intervalos de Confianza
x3
a
N 3

2 z ln 1 Subtest Y
TOTAL
N 1 N 1 y1
Bonnet (2002) y otros y2
Y
Feldt, Woodruff, & Salih (1987)

y3
CONFIABILIDAD POR CONSISTENCIA INTERNA:
Mtodo factorial
F1 F2
Y1 0.69 1 y1
Y2 0.75 1
2 y2 2
Y3 0.55
Y4 0.42 3 y3 3
4
Y5 0.77
4 y4
F
Y6 0.65 5
Y7 0.55 5 y5
Y8 0.55 6
6 y6
Y9 0.39
Y10 0.74
 CONFIABILIDAD POR CONSISTENCIA INTERNA:
Mtodo factorial
2 1 y1
k

i
1
2 y2
i 1 2
2 3
k
k 3 y3
i ii 4
F
i 1 i 1
4 y4
5

5 y5
6
6 y6
 CONFIABILIDAD POR CONSISTENCIA INTERNA:
Mtodo factorial
2 1 y1
k

i 2 y2
i 1
2
k
k 3 y3
i ii F
i 1 i 1
4 y4
5 y5
6 y6
CONFIABILIDAD POR CONSISTENCIA INTERNA:
Conclusiones
Los antiguos aportes an son aceptados.
Aun no hay modificaciones de algunos de los mtodos
antiguos.
Es aceptado que Alfa de Cronbach es til, pero tiene
limitadas aplicaciones.
Mtodos basados en anlisis factorial estn a la
vanguardia actualmente.
El problema fundamental es su inapropiado uso.
VALIDEZ
CORRELACIONES Y VALIDEZ
Modelamiento de Ecuaciones Estructurales (Structural Equations Modeling, SEM)
Significancia prctica vs significacia estadstica: El tamao s importa
 Modelamiento de Ecuaciones
Estructurales
(Structural Equations Modeling,
SEM)
QU ES?
 RELACIN ENTRE VARIABLES:
El mtodo univariado
Valor aplicado y
Experiencias de Temperamento explosivo prctico de las
maltrato
relaciones

Bullying

Aspectos internos y
contextuales del
Control de la clera
bullying
Tenemos variables Presencia de un
medidas por test adulto

psicolgicos
 RELACIN ENTRE VARIABLES:
El mtodo univariado
Podemos estimar las
Experiencias de Temperamento explosivo correlaciones y ver
maltrato
cmo las variables
+ + covaran
Bullying

- Sin embargo, esto no

- ayuda a explicar el
Control de la clera
bullying
No se tiene en cuenta la Presencia de un
interaccin entre otras variables, adulto

y su error de medicin
 RELACIN ENTRE VARIABLES:
El mtodo univariado
Correlacionamos
Experiencias de Temperamento explosivo
todas las variables,
maltrato + pero esto an no
+ + explica el bullying
Bullying

- +
La influencia de una
- variable sobre otra
Control de la clera
- tiene implicaciones
- de causalidad
Presencia de un
Las correlaciones solo ven la adulto

covariaciones, sin eliminar el efecto

de las otras variables
 RELACIN ENTRE VARIABLES:
El mtodo univariado a la regresin lineal
Esta representacin
Experiencias de Temperamento explosivo
maltrato + ayuda a modelar la
influencia de una
+
Bullying
variable sobre otra
-
Ya tenemos un
-
modelo que explica
Control de la clera el bullying
-
Pero necesitamos a los Presencia de un
adulto
constructos, o no a las
variables observadas
RELACIN ENTRE VARIABLES:
Modelamiento de Ecuaciones Estructurales
Temperamento explosivo
z1 z2 z3 z4
Experiencias de
maltrato +
y1 MODELAMIENTO
y2 Bullying DE ECUACIONES
+ ESTRUCTURALES
y3 - v1
X1
- v2
X2
X3
Control de la clera
-
Presencia de un
adulto

w1 w2 w3 w3
EL TAMAO S IMPORTA
Significancia prctica vs
significacia estadstica:
 Ronald A. Fisher
p: una medida de la fuerza
contra la hiptesis nula

p < 0.05

If it is below 0.02, it is strongly indicated that

the hypothesis fails to account for the whole of the
facts.

Fisher, R. A. (1950). Statistical methods for research workers. London:

Oliver and Boyd.
DIFERENCIAS DE GRUPO:
El tamao s importa
Grupo N M DE .t

A 1228 44.5 16.3 2.70

t2g = 2.70* p < 0.05
B 1600 46.3 17.6 p < 0.05

t2g = 2.70** p < 0.01

Grupo N M DE .t
t2g = 2.70*** p < 0.001
A 26 44.5 16.3 2.70
p < 0.0001
t2g = 2.70**** B 24 46.3 17.6 p > 0.05
 DIFERENCIAS DE GRUPO:
El tamao s importa
Grupo N M DE .t

A 1228 44.5 16.3 2.70

t2g = 2.70* p < 0.05
B 1600 46.3 17.6 p < 0.05

Diferencia es solo: 1.75 Grupo N M DE .t

A 26 44.5 16.3 2.70

t2g = 2.70 ns p > 0.05 B 24 46.3 17.6 p > 0.05

DIFERENCIAS DE GRUPO:
El tamao s importa
Grupo N M DE .t
Rechazo de la hiptesis nula
A 1228 44.5 16.3 2.70
Efecto del error de muestreo
B 1600 46.3 17.6 p < 0.05

Significancia estadstica
Grupo N M DE .t
no es igual a
A 26 44.5 16.3 2.70
significancia prctica
La magnitud (tamao) de las diferencias B 24 46.3 17.6 p > 0.05

Deduce la importancia prctica de la diferencia

 DIFERENCIAS DE GRUPO:
El tamao s importa
un resultado estadsticamente significativo es quizs
el atributo menos importante de un buen experimento.
(Lykken, 1968)
Significancia estadstica
no es igual a
significancia prctica
 DIFERENCIAS DE GRUPO:
El tamao s importa El procedimiento casi
universal de refutar
representa una forma
meramente la hiptesis
corrupta del mtodo
nula es un terrible error,
cientfico. (Carver, 1978)
bsicamente no tiene
Significancia estadstica sentido, es una pobre
no es igual a estrategia cientfica, y una
significancia prctica de las peores cosas que ha
ocurrido en la historia de la
psicologa (Meehl, 1978)
DIFERENCIAS DE GRUPO:
El tamao s importa
representa el retraso en el crecimiento del
conocimiento cientfico. (Schmidt & Hunter, 1997)

Significancia estadstica
no es igual a
significancia prctica
DIFERENCIAS DE GRUPO:
El tamao s importa
Seguramente, Dios ama el 0.06, como es tan
cercano a 0.05 (Rosnow & Rosenthal, 1989)

Significancia estadstica
no es igual a
significancia prctica
DIFERENCIAS DE GRUPO:
El tamao s importa
Las pruebas de significancia estadstica, tal como estn
actualmente constituidas, son de limitada utilidad.
(Robinson & Wainer, 2001)
Significancia estadstica
no es igual a
significancia prctica
DIFERENCIAS DE GRUPO:
El tamao s importa
Es uno de los aspectos ms perniciosos y no-
cientficos de la ciencia social moderna. (Fergusson &
Heene, 2012)
Significancia estadstica
no es igual a
significancia prctica
 DIFERENCIAS DE GRUPO:
El tamao s importa
Muchos investigadores se comportan pensando que hay
un lugar especial en el cielo para las personas con
obtienen ps < 0.05 (Rosnow & Rosenthal, 1996)
Significancia estadstica
no es igual a
significancia prctica
DIFERENCIAS DE GRUPO:
El tamao s importa Indicadores de
significancia prctica o el
grado en que ocurri el
fenmeno
Significancia estadstica El APA lo indica.
no es igual a
Significancia prctica
VALIDEZ:
Conclusiones
Las correlaciones entre variables para investigar la
validez son limitadas.
El enfoque SEM est a la vanguardia en la ciencia
psicolgica
Es uno de los estndares para investigaciones de
postgrado avanzados, y publicaciones en revistas TOP.
Las diferencias de grupo deben ser investigadas
usando el enfoque de la magnitud del efecto
DNDE BUSCAR
INFORMACIN?
Fuentes bibliogrficas cientficas
CMO ELEGIR?
Detalles tcnicos vs descripcin aplicada
Demostracin de nuevos mtodos vs correcta
aplicacin de mtodos existentes
Temtico especfico vs temtico general
Lector cientfico vs lector profesional
Enfoque pedaggico/tutorial vs enfoque de usuario
PROGRAMAS
INFORMTICOS
Tipos de programas

LIBRE COMPLEMENTOS
(FREEWARE) (Add-ons)

CDIGO ABIERTO COMERCIAL

(Open Source) (Proprietary)
Merino, C. & Livia, C. (2009). Intervalos de confianza asimtricos para el ndice la validez de
contenido: Un programa Visual Basic para la V de Aiken. Anales en Psicologa, 25(1), 169-171.

Merino, C. & Lopez, J. (2010). RAN: un programa informtico para estimar patrones de
respuesta aleatorios en test objetivos. Psicothema, 22(2), 334-339

Merino, C. (En Revisin). Diferencias entre coeficientes alfa, con muestras y partes pequeas: Un
programa VB
Merino, C. (En revisin). ICC Compare: Un programa MS Excel para probar la igualdad de
coeficientes de correlacin intraclase.
Merino, C. & Wilson, V. (En prensa). Comparacin de variables de distribucin t: Una aplicacin
en la diferencia de grupos para la validez de constructo. Liberabit.
RECOMENDACIONES
1.

No insistir en recomendaciones
de uno o dos libros; casi todos
son sugerencias desde el punto
de vista del autor. Buscar en
revistas cientficas
2.

No ensear estadstica (o
psicometra) en bikini:
La estadstica es como un bikini: lo que
revela es sugestivo, pero lo que oculta es
vital (Magnusson, 1997).
3.

Ensear el razonamiento
estadstico/psicomtrico:
Muchos usan la estadstica como un
borracho un poste de luz: para
apoyarse, pero no para iluminarse (A.
Lang)
 CUAL ES LA MEJOR ACTITUD PARA
INTRODUCIRSE Y DESARROLLARSE
EN LA METODOLOGA CUANTITATIVA
PARA LA INVESTIGACIN
PSICOMTRICA?
 JUGADOR HARDCORE:
1: Tiene un gran conocimiento sobre videojuegos en general.
2: Dedica muchas horas a jugar.
3: Prefiere dificultad elevada.
4: Es muy bueno jugando.
5: No est satisfecho hasta desbloquear todo lo que el juego permita.
6: Busca rutas alternas, secretos y tcnicas que le permitan mejorar.
7: Es competitivo en modos multijugador y online.
8: Termina un juego sin utilizar ciertos items especiales.
9: Termina un juego con una puntuacin superior.
10: Tiene facilidad para acabar fases que a otros les cuesta trabajo.
11: Termina fases en el menor tiempo o con la mayor puntuacin
 ANALISTA HARDCORE
1: Tiene un gran conocimiento sobre estadstica, metodologa y psicologa.
2: Dedica muchas horas a analizar.
3: Prefiere dificultad elevada de anlisis.
4: Es muy bueno analizando cuantitativamente.
5: No est satisfecho hasta usar todo lo que el programa estadstico permita.
6: Busca rutas alternas, secretos y tcnicas que le permitan mejorar.
7: Es competitivo con otros colegas.
8: Termina un anlisis sin utilizar ciertos mtodos complejos.
9: Termina un anlisis con una interpretacin cuantitativa superior.
10: Tiene facilidad para acabar anlisis que a otros les cuesta trabajo.
11: Termina anlisis en el menor tiempo o con el mejor resultado
MUCHAS GRACIAS