Controlado: SI

Código: ES–PR03
Vigencia: 2023-01-02 ANÁLISIS ESTADÍSTICO
Versión: 02

1. OBJETO

Garantizar el control de la fiabilidad, validez y equidad de las pruebas motrices,

aplicadas en la evaluación de Psicología, sustentando los parámetros con los
cuales se llega a un concepto por parte del examinador (Baremos).

2. ALCANCE

Aplica a todas las pruebas motrices de la evaluación de psicología requeridas por

el Esquema de Certificación 1. Conductores y establecidas en la resolución 0217
de 2014 del Ministerio de Transporte.
3. GLOSARIO, SIMBOLOS Y ABREVIATURAS
3.1 Baremación: Es el método de estandarización de una prueba psicológica
determinando las normas de interpretación y calificación de instrumento

3.2 Validez: el grado en el que el test mide lo que pretende medir o sirve para
el propósito por el que ha sido construido

3.3 Fiabilidad: Es una cualidad que determina que la misma prueba aplicada
dos veces a la misma persona en circunstancias idénticas, proporcione similares
resultados

3.4 Instrumento: Es la herramienta con la cual se pueden identificar diferentes

trastornos psicológicos de una persona a evaluar.

3.5 Constructo: cualquier entidad hipotética de difícil definición dentro de una

teoría científica. Un constructo es algo de lo que se sabe que existe, pero cuya
definición es difícil o controvertida

3.6 SPSS: Statistical Package for the Social Sciences; es un programa

estadístico informático muy usado en las ciencias sociales y las empresas de
investigación

3.7 Equidad: grado de igualdad que poseen los datos de una población con
relación a los factores que la conforman.

3.8 Juicio de expertos: evaluación de instrumento psicológico por parte de

personal capacitado y con experiencia en la aplicación de estos, con el fin de
contrastar su validez.

3.9 Significancia: El nivel de significación de un test es un concepto estadístico

asociado a la verificación de una hipótesis. En términos de aprobar o rechazar
una hipótesis.

3.10 Percentiles: Los percentiles representan los valores de la variable que

están por debajo de un porcentaje, el cual puede ser una valor de 1% a 100%
Controlado: SI
Código: ES–PR03
Vigencia: 2023-01-02 ANÁLISIS ESTADÍSTICO
Versión: 02

(en otras palabras, el total de los datos es divido en 100 partes iguales y el
percentil es la ubicación en donde se quieren analizar los datos).

4. DESCRIPCIÓN DE ACTIVIDADES
4.1 BAREMOS PRUEBAS DE PSICOMOTRICES
El proceso de Sistemas y Desarrollo entrega un informe con los resultados
obtenidos y el análisis correspondiente, teniendo en cuenta las pruebas descritas
a continuación. Dichos análisis deben ser apoyados por un profesional en
psicología.

Este estudio se debe realizar cada tres años y estandarizar los rangos de
aprobación está nuevamente si así el estudio lo recomienda.

La información que se tomará para el estudio será del mes de Diciembre del año
inmediatamente anterior al año que se está realizando el informe, hasta el mes
de Noviembre. El estudio se realizará en el mes de Diciembre, y la
implementación se realizara en el mes de Enero del siguiente año. A continuación
se describe gráficamente la información descrita anteriormente.
MES DE REALIZACIÓN
DEL ESTUDIO

2012 2013 2014

Oct. Nov. Dic. Ene. Feb. Mar. Abr. May. Jun. Jul. Ago. Sep. Oct. Nov. Dic. Ene. Feb. Mar.

INFORMACIÓN TOMADA PARA EL ESTUDIO

IMPLEMENTACIÓN
NUEVOS CRITERIOS
Controlado: SI
Código: ES–PR03
Vigencia: 2023-01-02 ANÁLISIS ESTADÍSTICO
Versión: 02

4.1.1 Tamaño de la muestra

Para determinar el tamaño de la muestra se debe realizar un muestreo aleatorio

simple; con el cual se garantiza la misma probabilidad de ser elegidos a todos
los elementos de la población.

Con ayuda de la siguiente ecuación:

n0
n=
n
1+ 0
N 1

Ecuación 1. Factor de Corrección para el Tamaño de la muestra

Donde,

 2 
n 0 = ( Z 2 B. NC ) 2 
e 
Ecuación 2. Tamaño de la Muestra
Donde,

2 = Desviación estándar
e = Margen de error estimado
Z = Nivel de confianza destinado
N = Tamaño de la Población

4.1.2 Determinación de la muestra

Una vez se determina el tamaño de la muestra se deben extraer los datos,

asegurando que en la muestra no haya datos atípicos o fuera de los márgenes
permitidos.
Controlado: SI
Código: ES–PR03
Vigencia: 2023-01-02 ANÁLISIS ESTADÍSTICO
Versión: 02

4.1.3 Caracterización de la muestra

Se deben definir estadísticamente las características de la muestra, por medio

del software SPSS en el menú Analizar – Estadísticos descriptivos - Frecuencia,
segmentándola por categoría, edad, género, tipo de servicio y escolaridad.

5. ANÁLISIS DE LA PRUEBA PSICOMOTRIZ

Se debe determinar las variables a analizar en el estudio teniendo en cuenta que

las pruebas realizadas (Atención Concentrada y Resistencia a la Monotonía,
Reacciones Múltiples, Coordinación Bimanual, Reacción al Frenado, Velocidad de
Anticipación).

5.1 Análisis de equidad

Una vez se determinan las variables se debe determinar si la distribución de los

datos de la muestra se asemeja a la distribución normal, por medio de la prueba
de Kolmogorov y Smirnov; dicha prueba se realiza como contraste para verificar
la hipótesis de normalidad necesaria, con el fin de garantizar que el resultado de
algunos análisis sea fiable.

Se realiza por medio de software SPSS en el menú Analizar – Explorar – Gráficos

– Gráficos con prueba de normalidad.

Luego se identifica el valor de la significancia para cada una de las variables,

según el estadístico, teniendo en cuenta:

Hipótesis Nula: Los datos de la muestra siguen una distribución normal

Hipótesis Alterna: Los datos de la muestra no siguen una distribución normal

Si el valor de la significación es mayor a 0.5 se aprueba la hipótesis nula y se

catalogan los datos como normales, en caso contrario se catalogan como no
paramétricos.

Una vez se determina si siguen o no una distribución normal se debe realizar

una prueba de diferencia entre medias.

Para los datos que siguen una distribución normal se aplica la prueba ANOVA.
Ver anexo 1

Para los datos que siguen una distribución normal se aplica la prueba Kruskal
Wallis. Ver anexo 1

Estas dos pruebas se basan en contrastar las medias y/o medinas

respectivamente. Además manejan las mismas hipótesis nulas y alternas.
Controlado: SI
Código: ES–PR03
Vigencia: 2023-01-02 ANÁLISIS ESTADÍSTICO
Versión: 02

Hipótesis nula (Ho): Entre las variables dependiente respecto a las variables
independientes (edad, genero,…) no existe diferencia entre las
medianas/medias.

Hipótesis alterna (H1): Entre las variables dependiente respecto a las variables
independientes (edad, genero,…) existe diferencia entre las medianas/medias

En el caso de ser datos no paramétricos se debe aplicar la prueba Kruskal Wallis,

por medio del software SPSS en el menú Pruebas no paramétricas – K muestras
independientes, determinando el factor a analizar (edad, genero, escolaridad,
servicio y categoría)

En caso de ser una distribución normal se debe realizar la prueba de Anova por
medio del software SPSS en el menú Analizar - Comparar medias – Anova de un
Factor, determinando el factor a analizar (edad, genero, escolaridad, servicio y
categoría)

Se determina que existe diferencia entre las medias si se aprueba la hipótesis

nula (H0), es decir si se observa que la significancia es menor a 0.05, para
cualquiera de los dos casos (paramétricas o No paramétricas).

En caso de encontrar alguna diferencia entre las medias se debe establecer cual
de las variables posee dicha diferencia y las causas de la misma, con el fin de
determinar la implicación en la baremación.

5.2 Análisis de Validez

Con el fin de analizar las Intercorrelaciones entre las variables, se debe realizar
la prueba de Kaiser-Meyer-Olkin (KMO) y prueba de esfericidad de Bartlett, esta
medida de adecuación muestral nos indica que la correlación entre los pares de
variables no puede ser explicada por otras variables.

Se determina por medio del Software SPSS en el menú Analizar – Reducción de

Datos– Análisis Factorial – Descriptivos.

Esta prueba se realiza con el fin de confirmar la relación entre las variables, por
lo cual los resultados de este análisis generan una matriz de componentes en la
que se agrupan las variables según su semejanza o afinidad, en dicha matriz se
observan los coeficientes en valor absoluto, denominados pesos factoriales.

5.3 Análisis de Confiabilidad

La prueba de confiabilidad permite determinar si la prueba es constante en las

mediciones que obtiene, esta se expresa mediante un coeficiente de correlación,
que teóricamente significa correlación del test consigo mismo.
Controlado: SI
Código: ES–PR03
Vigencia: 2023-01-02 ANÁLISIS ESTADÍSTICO
Versión: 02

Para determinar este coeficiente, se debe realizar la prueba de Alfa de Cronbach

por medio del software SPSS en el menú Analiza – Escalas - Análisis de
Fiabilidad.

Esta medida nos ayuda a determinar la consistencia interna de la prueba definida

entre 0 y 1, para analizar el coeficiente obtenido se tiene en cuenta la definición
de Garret (1971:204)2 “el Alfa de Cronbach se interpreta de la siguiente forma
0.00-0.20 relación indiferente y despreciable; 0.20-0.40 denota correlación
baja, existente pero leve; 0.40-0.70 muestra una relación sustancial o marcada
y 0.70-1 denota relación alta o muy alta.

6. BAREMOS

Luego de realizar el análisis de los datos y determinar la equidad, validez y la

confiabilidad de la prueba se deben determinar los baremos, por medio del
software SPSS menú Analizar- Estadísticos descriptivos – Explorar.

Este resultado se da en percentiles; es decir se debe tener en cuenta el percentil

90 donde se encuentra el 90% de la población, con el fin de identificar los valores
a asignar.

Para determinar los rangos de aprobación de la prueba de percepción a la

velocidad se debe tener en cuenta los criterios de anticipación y retardo,
tomando como valor de referencia el tiempo de 1,25s que es el valor en el
usuario debe contestar correctamente, es decir que los tiempo anteriores a 1,24
segundos se considera anticipación y a partir de 1,26 se considera retardo. Esta
información está basada en los baremos aportados por el proveedor de la
prueba.

El Coordinador de Calidad analiza los datos obtenidos de los baremos actuales

con los del año anterior identificando cambios en los datos de los nuevos
baremos:

1. Si se identifican cambios se solicitará por medio de un correo electrónico

dirigido al Proceso de sistemas y desarrollo los nuevos rangos para ser
actualizados en el software SISEC INTEGRAL.

2. Informar por escrito a los profesionales en psicología de los cambios

realizados.

3. Si no se identifican cambios y se mantienen los rangos del año anterior

igualmente se les comunicará tanto al Coordinador de Sistemas y Mantenimiento

2 GARRET, H.E. (1971). Estadística en Psicología y Educación, Buenos Aires, Paidós.

Controlado: SI
Código: ES–PR03
Vigencia: 2023-01-02 ANÁLISIS ESTADÍSTICO
Versión: 02

como a los profesionales de psicología de la decisión tomada de mantener los

rangos actuales.

4. El Coordinador de Calidad verificarán estos cambios solicitando un informe de

resultados a una de las sedes que se encuentre acreditada.

7. ANÁLISIS DE LA PRUEBA TEST PSICOLÓGICO

Es importante tener en cuenta que las variables de esta prueba son dicotómicas,
es decir que son variables cualitativas que solo pueden tomar dos valores
posibles “SI” y “NO” para el caso. Gracias a dicha propiedad el tratamiento de
las variables se debe realizar de una forma diferente.

Esta validez se realizará con los cambios que se le realicen a las preguntas del
TEST de lo contrario no será requerimiento una validación periódica.

7.1 Análisis de Equidad

Tener en cuenta el numeral 4.2.1

7.2 Análisis de Validez

Para el caso se debe realizar una matriz de correlación en la que se analicen las
diferentes correspondencias entre los trastornos que se están evaluando, por
medio del software SPSS Analizar – Correlación – Bivariada.

Con el fin de soportar la validez del instrumento se debe realizar un Juicio de

Expertos ver anexo 1, en el que se seleccionen personas capacitadas sobre
utilización de instrumentos y evaluación de trastornos; para que determinen la
pertenecía, coherencia, relevancia y Claridad de los ítems entre otros.

7.3 Análisis de Confiabilidad

Se debe realizar la prueba de Kunder y Richardson (KR20) de forma manual

teniendo en cuenta la siguiente ecuación:

Donde,

KR20 = Estimación de la Confiabilidad (r)

N = Numero de reactivos de la prueba
S2 = Varianza de la puntuación total de la prueba
p = Proporción de personas que obtiene cada reactivo correcto
(esto se obtiene separadamente para cada reactivo)
q = Proporción de personas que obtiene cada reactivo incorrecto.
Para cada reactivo, q es igual a 1 – p
Controlado: SI
Código: ES–PR03
Vigencia: 2023-01-02 ANÁLISIS ESTADÍSTICO
Versión: 02

El valor de la varianza S2 se debe calcular a partir de la puntuación de cada uno

de los candidatos seleccionados en la muestra.

Esta medida nos ayuda a determinar la consistencia interna de la prueba definida

entre 0 y 1, para analizar el coeficiente obtenido se tiene en cuenta la definición
de Garret (1971:204) “el Alfa de Cronbach se interpreta de la siguiente forma
0.00-0.20 relación indiferente y despreciable; 0.20-0.40 denota correlación
baja, existente pero leve; 0.40-0.70 muestra una relación sustancial o marcada
y 0.70-1 denota relación alta o muy alta.

9. ANEXO 1
EQUIDAD

Es importante verificar si existen diferencias en la prueba, con relación a los

factores que la agrupan, como lo son género, categoría, escolaridad, edad y tipo
de servicio. Para tal fin se debe verificar si existe diferencia entre las medias de
las variables teniendo en cuenta que tipo de distribución siguen los datos
muéstrales.

El contraste que realiza Kolmogorov-Smirnov, es válido únicamente para

variables continuas, compara la función de distribución (probabilidad
acumulada) teórica con la observada, y calcula un valor de discrepancia,
representado habitualmente como (D), el cual corresponde a la discrepancia
máxima en valor absoluto entre la distribución observada y la distribución teórica
y además proporciona un valor de probabilidad (P), como estamos verificando
un ajuste a la distribución normal), corresponde a la probabilidad de obtener
una distribución en que discrepe tanto como la observada, si verdaderamente
esta se hubiera obtenido una muestra aleatoria, de tamaño n, de una
distribución normal. Si esa probabilidad es grande no habrá por tanto razones
estadísticas para suponer que nuestros datos no proceden de una distribución
Controlado: SI
Código: ES–PR03
Vigencia: 2023-01-02 ANÁLISIS ESTADÍSTICO
Versión: 02

normal, mientras que si es muy pequeña, no será aceptable suponer ese modelo
probabilístico para los datos (Molinero, 2003)3.

Cuando la prueba Kolmogorov-Smirnov se aplica para contrastar la hipótesis de

normalidad de la población, el estadístico de prueba es la máxima diferencia
(Molinero, 2003)3. Siendo Fn(x) la función de distribución muestral y Fo(x) la
función teórica o correspondiente a la población normal especificada en la
hipótesis nula.

La distribución del estadístico de Kolmogorov-Smirnov es independiente de la

distribución poblacional especificada en la hipótesis nula y los valores críticos de
este estadístico están tabulados. Si la distribución postulada es la normal y se
estiman sus parámetros, los valores críticos se obtienen aplicando la corrección
de significancia propuesta por Lilliefors (Molinero, 2003)3.

Estadísticos de contraste

Para comprobar la hipótesis sobre si existen diferencia entre medias, se utiliza

la prueba generada por Kruskal Wallis, es el método más adecuado para
comparar poblaciones cuyas distribuciones no son normales. Incluso cuando las
poblaciones son normales, este contraste funciona muy bien (Álvarez, 2007)4.

También es adecuado cuando las desviaciones típicas de los diferentes grupos

no son iguales entre sí, sin embargo, el Anova de un factor es muy robusto y
sólo se ve afectado cuando las desviaciones típicas difieren en gran magnitud.

La hipótesis nula de la prueba de Kruskal-Wallis es:

H0: Las k medias son todas iguales

H1: Al menos una de las medias es diferente

Suponiendo que las medias de los grupos son iguales, la variación entre grupos
es comparable a la variación entre individuos. Si la primera es mucho mayor que
la segunda, puede indicar que las medias en realidad no son iguales (Álvarez,
2007)4.

3
Molinero, L. (2003) Bondad de ajuste a una normal. Transformaciones. Pruebas no paramétricas. Tomado
de http://www.seh-lelha.org/noparame.html

4
Álvarez, R. (2007) Estadística aplicada a las ciencias de la salud. Ediciones Díaz de Santos. España.
Controlado: SI
Código: ES–PR03
Vigencia: 2023-01-02 ANÁLISIS ESTADÍSTICO
Versión: 02

VALIDEZ

Juicio de Expertos

Una de las técnicas aplicables en el análisis de fiabilidad humana, es la

estimación de probabilidad de error humano por medio de juicios de expertos.
Se recurre a ella cuando se requiere conocer la probabilidad de error humano.
Se debe considerar la influencia de muchos factores interdependientes que
afectan a la respuesta de la persona. También se emplea cuando en las bases
de datos no se encuentran puntos de referencia aplicables.

Disponer de una base de datos sobre errores humanos constituye un buen punto
de partida, pero puede no ser suficiente y presentar vacíos informativos.
Entonces, las opiniones o juicios de los expertos son una alternativa que combina
las aproximaciones analíticas y los métodos de estimación subjetiva de
probabilidades desarrollados conforme a las reglas de la teoría de la decisión.

Los expertos se pueden pronunciar sobre los índices de error que estiman para
actividades que no estén contempladas en la base de datos que se tiene.
También pueden ofrecer sus reflexiones acerca de la influencia de determinados
factores sobre el comportamiento de las personas, para así reflejar
adecuadamente las diferencias entre los valores que se tengan de una base de
datos y la situación y sistema reales que se pretende estudiar.

En todo caso, mediante el juicio de expertos se pretende tener estimaciones

razonablemente buenas, las «mejores conjeturas», a falta de cifras más exactas.
Sin embargo, estas estimaciones pueden y deben ser confirmadas o modificadas
a lo largo del tiempo, según se vaya recopilando información durante el
funcionamiento del sistema.

En un estudio comparativo de diversas técnicas y métodos en cuanto al uso en

el campo de la fiabilidad humana, se califica el método de juicios de expertos
como un método aceptable en la comunidad científica, de una elevada madurez
y que proporciona estimaciones de precisión moderada.

Proceso

Inicialmente, hay que tener una idea clara acerca de qué datos se necesitan.
Puede ocurrir que el conjunto de datos de que se dispone sea incompleto o
insuficiente de algún modo. Puede que se ignoren las condiciones en las que se
han obtenido tales datos o puede desconocerse si la situación a la que queremos
aplicarlos es suficientemente similar a aquella que los originó.
Controlado: SI
Código: ES–PR03
Vigencia: 2023-01-02 ANÁLISIS ESTADÍSTICO
Versión: 02

Como requisito previo se necesita disponer de una definición y descripción claras

de las tareas y actividades sobre las cuales los expertos deberán emitir un juicio
en términos de probabilidades de éxito o fracaso. Cuanto más específica sea la
definición de una tarea o de una actividad, menos margen quedará para posibles
interpretaciones erróneas. A veces es recomendable consultar a varios
especialistas para asegurarse de que la descripción de la tarea o actividad es
clara y el nivel de detalle es suficiente, en concreto, en lo que se refiere a los
factores que puedan afectar al nivel de ejecución de la persona que desempeña
el trabajo.

Para seguir el proceso se debe seleccionar a los expertos. Pueden encontrarse

personas «expertas» entre quienes desempeñan el trabajo y formadores. Para
que una persona pueda ser etiquetada como «experta» debe poseer un
conocimiento profundo de la tarea o actividad que será objeto de análisis y
valoración y tiene que estar familiarizada con el sistema en el que ésta se
desarrolla.

El número de expertos necesario para conseguir el juicio que se busca no es fijo,

oscila desde tres o cuatro expertos hasta seis. Sin embargo, Villemeur menciona
que en algunas ocasiones pueden utilizarse más de ocho expertos, según la
precisión que se desee. (Hollnagel, 1993)5

CONFIABILIDAD

Es la cualidad, la que hace que una misma prueba aplicada dos veces a la misma
persona en circunstancias idénticas, proporcione similares resultados; en otras
palabras, la confiabilidad indica si la prueba es constante en las mediciones que
obtiene de una misma persona, registrando únicamente fluctuaciones de menor
importancia ocasionadas por la adquisición de nuevos conocimientos u olvidos
durante los intervalos que transcurren entre una y otra aplicación de las pruebas.
(Gonzales, 2001)6

La confiabilidad es una propiedad de las puntuaciones obtenidas cuando se

administra la prueba a un grupo particular de personas en una ocasión particular
y bajo condiciones específicas (Thompson, 1994 como se cita en Lewis, 2003)7.
Al determinar la confiabilidad se asume que la prueba mide una característica
relativamente estable. Para nuestro estudio tomaremos en cuenta el método de
coeficiente de Alfa de Cronbach que consiste en una formula general para

5 HOLLNAGEL, E. Human reliablility analysis. Context and control. Academic Press. London, 1993.
6 Gonzalez, Z. (2001) Las pruebas psicológicas, herramienta fundamental en el proceso de selección.
http://www.gratisweb.com/actual/unidad2tema1.pdf
7
Lewis R. A. Test (2003) psicológicos y Evaluación. Cap. 4. Undécima edición
Controlado: SI
Código: ES–PR03
Vigencia: 2023-01-02 ANÁLISIS ESTADÍSTICO
Versión: 02

estimar la confiabilidad de una prueba que consta de reactivos en los cuales

pueden asignarse calificaciones de distinto peso a respuestas diferentes.

Además de la técnica de división de mitades, hay muchos otros métodos para

estimar la consistencia interna de una prueba. Kunder y Richardson (1937)8
dieron gran avance a la evaluación de la confiabilidad al desarrollar métodos
para evaluar la confiabilidad de la administración dentro de una sola prueba, las
técnicas implementadas por ellos a diferencia de los otros coeficientes permiten
establecer el nivel de confiabilidad para variables dicotómicas, por tal motivo en
el presente estudio son de gran uso.

8 Kuder, G. F., y Richardson, M. W. (1937). The theory of estimation of test raliability.Psychometrika, 2, 151-160.