Repaso elaboración y validación de instrumentos: 2do parcial

ANÁLISIS DE REACTIVOS
➔ No siempre es seguro que una prueba haya funcionado bien, por eso, cuando se
pilotea una prueba al principio suelen surgir problemas.
➔ Se pueden analizar las respuestas de la prueba piloto para ver si los reactivos están
funcionando correctamente.
➔ Cualquiera que sea el tipo de prueba, un análisis previo y post de los resultados es
necesario.
◆ Un análisis (previo? y) posterior puede proporcionar información y
motivación para prever y manejar situaciones similares en un futuro.
➔ OBJETIVO: contribuir a mejorar la prueba al revisar y descartar reactivos ineficaces.
◆ Objetivo prueba de aprovechamiento: proporcionar información sobre lo
que saben o no los examinados.
◆ Objetivo referencias a criterio: determinar en qué nivel se encuentra en
cuanto a una lección, curso o programa.

Referencia a criterio = se evalúa al sujeto mismo, en comparación con objetivos

previamente establecidos.
● Prueba de dominio: mide el logro de un rango limitado de habilidades cognoscitivas.
● Cualquier tipo prueba con referencia a criterios se califica con PORCENTAJES.

Criterio externo de medida: a fin de evaluar la utilidad de un reactivo como medida de las
diferencias individuales ya sean de personalidad o habilidades, se requiere un criterio
externo de medida de dicho rasgo.

VALIDEZ → se refiere a lo que es verdadero o se acerca a la verdad; es libre de errores.

➔ La validez de un reactivo en base a un criterio externo, puede medirse al
correlacionar las calificaciones de un reactivo con las de la medida de criterio.
➔ Consistencia interna: implica determinar el porcentaje de examinados que pasan el
reactivo y la correlación del reactivo con una medida de criterio.

ÍNDICE DE DISCRIMINACIÓN DEL REACTIVO → medida eficaz para discriminar entre

quienes obtienen altas y bajas calificaciones en una prueba; mientras más elevado sea el
valor (D), más eficaz será la distinción.

Factores que afectan el funcionamiento de los reactivos

➔ Los resultados de un análisis de reactivos varían dependiendo del grupo específico
que se somete a la prueba, más aún cuando son pocas personas.
 ➔ Para evitar la discriminación o sesgo de grupo se calculan índices estadísticos del
funcionamiento diferencial del reactivo (DIF).
◆ DIF: Se refiere a la tendencia del reactivo a funcionar de manera diferente en
diferentes subpoblaciones.

SESGO de reactivos = un reactivo sólo se considera sesgado cuando mide algo distinto,
una característica o rasgo diferente en un grupo con respecto a otro.

*El índice de discriminación de reactivos es una medida bastante adecuada de la calidad

del reactivo, junto con el índice de dificultad, puede servir como una advertencia de que
algo está fallando en un reactivo.*

● Los índices de dificultad y de discriminación puede calcularse también en reactivos

de prueba con referencia a criterios, se diseñan para determinar las posiciones de
los examinados en objetivos pedagógicos específicos.

CONSISTENCIA INTERNA Y VALIDEZ

Validez de reactivo = se refiere a la relación de un reactivo y un criterio externo.

*La estrategia interna o externa, para ser superior, depende de los propósitos de la
prueba.*

Reactivos con referencias a criterios

➔ Propósito: medir el dominio de determinados conocimientos y aptitudes de acuerdo
con valores preestablecidos.

TEORÍA DE RESPUESTA AL ÍTEM → se basa en la relación funcional teórica entre un

continuo de capacidad latente supuesto y las respuestas a reactivos individuales en una
prueba.

CONFIABILIDAD → es la exactitud, la precisión con que un instrumento mide a un objeto.

Fuentes de error en la medición de psicología

1. Selección de reactivos: el autor debe elegir una muestra de reactivos para
asegurarse que contenga todo lo que necesita medir y sea equitativo.
2. Aplicación de la prueba: aspectos que no se pueden controlar como un espacio mal
iluminado, libre de ruidos y distractores, mesa y sillas cómodas, etc.
3. Calificación de la prueba: algunas tienen plantillas para calificar ciertos reactivos,
pero en otras el evaluador tiene que valorar y calificar la respuesta.
Errores no sistemáticos o aleatorios: sus efectos son inconsistentes e imposibles de
predecir
Errores sistemáticos: atentan significativamente la confiabilidad del instrumento.

La estabilidad de la medida = modo de confiabilidad que al evaluar a los mismos sujetos

con el mismo instrumento tiempo después, las medidas obtenidas en la segunda aplicación
serán similares a las de la primera. (se aplica 2 veces)
● Obtención de la confiabilidad por test-retest: se aplica la prueba a una muestra, y se
vuelve a aplicar tiempo después (de 1 semana a varios meses).
● Formas equivalentes de pruebas o pruebas paralelas.

Consistencia interna = modo de confiabilidad donde no es necesario aplicar la prueba dos

veces, con una vez basta. (se aplica 1 vez)
● Confiabilidad de división de mitades: se parte en 2 la prueba porque los reactivos de
ambas se correlacionan y son equivalentes, es como si contestara 2 pruebas cortas.
● Consistencia interna de los reactivos individuales: por medio del coeficiente Alfa de
Cronbach.

VALIDEZ

➔ Un instrumento de medición es válido si hace aquello para lo que fue concebido;

concierne lo que ésta mide, su eficacia y lo que podemos inferir de sus resultados.
➔ El estudio de validez de un instrumento se refiere a validar los datos
proporcionados por éste, el grado de adecuación, significación y utilidad de los
resultados/puntajes obtenidos en las pruebas.
➔ Requiere de investigaciones EMPÍRICAS
➔ Los procedimientos para determinar la validez de una prueba conciernen a la
ejecución y otros hechos observables independientes.

Tipos de validez (Standards of the American Psychological Association)

1. Validez de constructo = Es la extensión en la cual la prueba dice medir un

constructo o rasgo teórico y requiere la acumulación gradual de la información de
diferentes fuentes.

a. Se basa en el significado psicológico del puntaje de una prueba y en la

explicación teórica del sujeto.
b. Objetivo: validar la teoría
2. Validez de criterio = Se utiliza para estimar a futuro una conducta.
a. Lo más importante es la capacidad predictiva de la prueba.
b. Valora el grado en el que un instrumento de evaluación puede utilizarse para
estimar la conducta de una persona en una situación concurrente con la
aplicación de la prueba, como asignar un dx clínico, o bien, estimar su
conducta en situaciones futuras.

3. Validez de contenido = Es la representatividad o adecuación muestral del

contenido del instrumento de medición.
a. Incluye esencialmente el examen sistemático del contenido de la prueba
para determinar si cubre una muestra representativa del dominio de
conductas que se medirán.
b. Objetivo: demostrar que los reactivos de la prueba son una muestra
representativa de un universo y asegurar un muestreo cuidadoso de un
dominio de contenido relevante.