Diseño, construcción y validación de

instrumentos de recogida de información

Enrique Navarro y Delia Arroyo
Objetivos
► Describir el proceso de medición de variables

► Conocer técnicas e instrumentos de medida

► Diseñar y validar una matriz de especificaciones

► Analizar la fiabilidad y validez de un instrumento

2
Sesiones

► Sesión 1 (18_05_2020): El proceso de medida de variables

► Sesión 2 (19_05_2020): Matriz de especificaciones y validez de contenido

► Sesión 3 (29_05_2020): Fiabilidad y validez

3
Sesión 1: La medida de variables
Índice
► ¿Qué es medir?
► El proceso de medida
► Inferencia psicométrica
• Fiabilidad y validez
► Clasificación de técnicas e instrumentos de medida
• Observación
• Encuestas
• Test
• Escalas de actitud

5
¿qué es medir?

► La medida es un proceso vinculado directamente a la recogida de información

► Medir características físicas (altura, peso, volumen…) ¿fácil?

• Observación + instrumento de medida

► ¿qué ocurre con los constructos que no se pueden observar directamente, como el
rendimiento, la motivación o la inteligencia?

¿Se puede medir cualquier variable?

6
7

¿qué es medir?

► La medición consiste en un conjunto de reglas para asignar números

a objetos de tal forma que representen cantidades de los atributos
(Nunnally y Bernstein, 1994)
• El proceso de medida: transformación de una característica (o variable) a
números utilizando reglas

► Constructos (no observables) vs. variables observables (indicadores)

► Operacionalización de una variable

• pasar de una definición o constructo teórico a un conjunto de indicadores
observables

7
¿qué es medir

► Reglas: grado de correspondencia entre lo medido y el conjunto de números.

…….  ……. 
…….  ……. 
…….  ……. 
…….  ……. 
…….  ……. 
250 ……  …… 
200 ……  …… 
……  …… 
150
……  …… 
100 ……  …… 
50

7 9

► Elaborar la regla exige apoyarse en una teoría sobre lo que se va a medir y

contrastarla con la realidad.

8
Proceso de Medida

Definición teórica y operativa del

constructo latente

Diseño del test y elaboración de

ítems
Proceso de Medida
Recoger y puntuar las respuestas
a los ítems

Estimar la escala del constructo

utilizando un modelo de medida

Etapas del proceso de medida (Wilson, 2005)

9
10

Inferencia psicométrica

► Relacionar las puntuaciones de las respuestas a un ítem

(puntuaciones observadas) con las cantidades o niveles del constructo
(puntuación verdadera)
• pasar de una definición o constructo teórico a un conjunto de indicadores
observables

Constructo Va l i dez del

tes t

MUE S T R A Puntua c i ón ver da der a Fi a bi l i da d

R E P R E S E N TAT I VA del tes t o
D E S UJ E T O S de l os
Puntua c i ón obs er va da ítems

El a bor a c i ón
Tes t (r es pues ta s a l os de l a es c a l a
ítems : i ndi c a dor es )
10
Fiabilidad y validez

No Fiable Fiable No Fiable Fiable

No Válido No Válido Válido Válido

► Fiabilidad: grado en que esta puntuación observada es un fiel reflejo de la puntuación

verdadera

► Validez: grado en que esta puntuación verdadera refleje con exactitud el constructo
medido.

11
Técnicas e instrumentos de medida
Técnica, instrumento y recurso

► Técnica
• estrategia o procedimiento
• Sistemático
• obtener la información que dé respuesta a los objetivos planteados.
• Ej. Observación

► Instrumentos o herramientas:
• Permite registrar o recoger la información
• Se construye de acuerdo a unos objetivos
• Ej: Lista de control

► Recurso:
• medios para registrar y obtener información
• Recogen información planificada previamente o no
• Ej. Cámara de vídeo
13
 Clasificación de Técnicas e instrumentos

Técnicas Instrumentos
Diario de campo
De Directa Listas de control
observación Escalas de estimación
Indirecta Análisis de documentos
Entrevistas
Opiniones e
Encuesta Cuestionarios
intereses
Sociométricos
Test de inteligencia
Cognitivos Aptitudes (memoria,
razonamiento, creatividad…)
Interrogativas
Medición de Escalas (Likert, Thurstone y
constructos Actitudes y Guttman)
(test) personalidad Test proyectivos
Vocacionales
Pruebas objetivas
De rendimiento
Ensayos o respuesta libre

14
Clasificación de Técnicas e instrumentos

► Medición de constructos latentes:

• Los test psicométricos se asocian con rasgos cognitivos

• los de rendimiento con contenido o competencias académicas

• las escalas de actitud con rasgos de la personalidad.

15
Observación

► Como método:
• modalidad del método científico, sigue todas las fases del proceso.
• La delimitación del problema, la recogida de datos (registro) y su optimización,
el análisis de datos y la interpretación de resultados se llevan a cabo en
contextos reales y habituales
► Como técnica
• consiste en el uso puntual de algún recurso técnico propio de la metodología
observacional (registro, codificación, estimación de una disrupción temporal,
muestreo focal, etc.)

Observación directa por parte del investigador de conductas o

hechos tal y como se producen

16
Observación

(vídeo)

► Determinar la finalidad de la observación

► Planificar las condiciones de observación

• A quién observar
• Dónde observar
• Cuándo observa
• Quién va a observar
► Determinar los instrumentos para el registro de los datos observados y su análisis
• Determinar las conductas a observar (frecuencias, duración, intensidad, etc.)
• Muestrear los tiempos de observación

17
Instrumentos de observación

► Anecdotario o registro de campo

Ficha de registro: Lectura

Alumno: Curso
Fecha Observador
Tipo de lectura que realiza el estudiante:

Dificultades habituales en la lectura en voz alta:

Estrategias que utilizar para comprender:

Dificultades de comprensión:

18
Instrumentos de observación

► Lista de control (checklist)

Estrategias de comunicación que favorecen la comprensión de un cuento Sí No

Utiliza cambios de tono de voz adecuados
Utiliza gestos para reforzar o ejemplificar lo que dice
Repite palabras o frases importantes para asegurar su comprensión
…
► Escala de estimación

Estrategias de comunicación que favorecen la Siempre A veces Nunca

comprensión de un cuento
Utiliza cambios de tono de voz adecuados
Utiliza gestos para reforzar o ejemplificar lo que dice
…
19
Instrumentos de observación

► Rúbrica o escala de estimación descriptiva

20
Encuesta

► Obtención de datos a través de preguntas realizadas a los miembros de una

población o de una muestra.

► Los instrumentos básicos de la técnica de encuesta son:

• el cuestionario
• la entrevista
• los grupos de discusión
► Son los más indicados para obtener informaciones sobre opiniones y/o intereses
(preferencias por actividades particulares)

21
Cuestionario

► Para conocer hecho, opiniones o pensamientos de un grupo de encuestados.

► realizadas por escrito y que pueden ser respondidas sin la presencia del
encuestador.

► Es relativamente económico, incluye las mismas preguntas para todos los sujetos y
puede asegurar el anonimato.

► Es un repertorio de preguntas:
• de respuesta abierta,
• Cerrada: de respuesta única (SI-No) de respuesta múltiple, de respuesta
valorativa…

22
Cuestionario

► Formas de aplicación:
• individual
• en grupo
• por correo (normal o electrónico)
• teléfono
• vía Internet etc.
► Diferencia con la entrevista: es que es el propio sujeto el que cumplimenta el
cuestionario, por lo que la relación con el entrevistador no es tan estrecha.

► Para unos mismos datos:

• el cuestionario es menos flexible que la entrevista
• el entrevistado se puede sentir presionado para dar una respuesta
(deseabilidad social)

23
Entrevista

► Requiere de la presencia física del encuestador (relación cara a cara).

► Conversación más o menos informal entre dos (o más) personas, en la que una de
ellas busca obtener información.

► Exige una serie de habilidades por parte de quien la realiza si quiere obtener datos
fiables, válidos y comparables de sujeto a sujeto

► Instrumento: requiere el diseño de un guion/cuestionario adecuado para seleccionar

y recoger información

24
Entrevista

► Estructurada
• Cuestionario administrado oralmente
• Inflexibilidad tanto en las cuestiones planteadas como en el orden y
presentación
► Semi-estructurada
• se puede alterar el orden y la forma de preguntar
• se puede cambiar el número de preguntas
• guion base que puede ser modificado
► No estructurada
• Utilizada en los estudios exploratorios
• Flexibilidad total
• Exige una alta preparación del entrevistador

25
Test

► grupo de instrumentos de medida (en sentido estricto)

► Miden, de forma objetiva, rasgos o constructos latentes a partir de respuestas de

sujetos

► A partir de la respuesta de los sujetos cuando se enfrentan a determinadas

situaciones.
• ítems ligados a indicadores que nos permiten estimar los niveles en el constructo
medido
► El sujeto debe responder siguiendo unas instrucciones o reglas

► Las puntuaciones deben poder compararse con las conseguidas por otros sujetos.

26
Test (Clasificación)

► Según el tratamiento de la respuesta:

• ejecución máxima (respuesta correcta): cognitivos y de rendimiento o competencias
• ejecución típica (preferencias): de personalidad o actitudes
► Según la Interpretación de las puntuaciones:
• Normativos: comparar con el grupo de referencia
• Criteriales: comparación con un criterio y nivel de dominio establecido
► Según el contenido (área medida):
• Habilidades cognitivas: inteligencia, razonamiento verbal, motricidad, rendimiento
• Personalidad: introversión, liderazgo… Y Actitudes: hacia la innovación educativa, hacia
los exámenes

27
 Test (Clasificación)

De aptitudes Inteligencia Verbal, No verbal y Mixto

(Tipificados, General
externos) Aptitudes Baterías, razonamiento, creatividad/imaginación
diferenciadas Aptitudes perceptivas y de atención
Memoria, Destreza manual y motora
Aptitudes profesionales, espaciales, numéricas,
verbales y artísticas.
De personalidad, Cuestionarios e inventarios de personalidad
intereses, actitudes Escalas de actitudes
y adaptación Tests proyectivos y clínicos de personalidad
(tipificados,externo
s) Pruebas de adaptación (escolar, personal, familiar, etc.)

De rendimiento Externos Baterías de pruebas pedagógicas

y pedagógicos (tipificados) Pruebas de lectura, escritura, composición
Técnicas y hábitos de estudio
Internos De referencia normativa
(construidos por De referencia criterial
el profesor) Objetivos o de ensayo 28
Escalas de actitud

► Actitud:
• predisposición aprendida
• dirigida hacia un objeto, persona o situaciones
• incluye dimensiones cognitivas, afectivas o evaluativa
• Se traduce en conductas o comportamientos
► Se mide con escalas
• Grado (acuerdo, preferencia…) en el que se da una actitud respecto a cuestiones
específicas.
• Items sin respuesta correcta o incorrecta
► Tipos
• Diferenciales, Aditivas, Acumulativas y Diferencial semántico

29
Escalas de actitud (tipos)

► Centradas en los sujetos: analiza diferencias individuales en las respuestas.

Escalas aditivas o sumativas (Likert)

► Centradas en los estímulos: ordena inicialmente los estímulos para determinar el

nivel de actitud. Diferenciales (Thurstone)

► Centradas en las respuestas: se basa en la ordenación de estímulos y sujetos al

mismo tiempo. Acumulativas (Guttman)

► Diferencial semántico (Osgood)

30
Escalas Thurstone

► Ítems seleccionados para cubrir toda la actitud (favorables, desfavorables y

neutros)

► Cada ítem tiene un peso distinto para determinar la puntuación final. Ese peso se
calcula a través de una prueba de jueces
• Ley del juicio comparativo: los jueces comparan todas las parejas de ítems y deciden
cuál es más favorable en la medida de la actitud.
• Ley del juicio categórico: Clasificación de ítems en categorías, lo jueces vinculan a los
ítems a distintos niveles de actitud. Se suelen usar 11 categorías (de desfavorable a
desfavorable)

31
 Escalas Thurstone

► Los ítems forman una graduación de tal forma que el encuestado sólo señala si
acepta o rechaza el ítem.
► Ej.: actitud hacia los exámenes

Valor Proposición Sí No
1,5 Los exámenes no deben hacerse porque crean rechazo hacia la materia
3 Los exámenes consumen tiempo que podría emplearse en otra cosa
4,5 No deberían ser obligatorios y dejarlo a voluntad del que desee comprobar su
esfuerzo
6 El examen contribuye a repasar los contenidos
7,5 El examen es un buen medio para conocer si los alumnos han estudiado
9 El examen es el único medio para conocer lo que el alumno ha aprendido

32
Escalas Likert

► Serie de ítems o afirmaciones sobre las que el encuestado ha de señalar su grado

de acuerdo o desacuerdo

► Ítem relacionados unos con otros

► Cada ítem suma la misma cantidad al total del test (escala sumativa)

► Solo incluye ítems completamente favorables (o desfavorables) con la actitud

medida. Se descartan los elementos neutros o ambiguos

33
Escalas Likert

► Cada ítem tiene dos partes diferenciadas. El primero es el enunciado:

• las afirmaciones (hechos, comportamientos, opiniones, etc.) relacionadas con la actitud
que va a ser medida.
• la escala de respuesta: intervalos graduados para identificar el mayor o menor nivel de
intensidad. Likert 5 puntos: muy en descuerdo, en desacuerdo, indeciso, de acuerdo y
muy de acuerdo.
► Se seleccionan por su poder de discriminación entre niveles de la actitud medida:
• Comparación de grupos extremos
• Correlación entre la puntuación en el ítem y el total del test

34
 Escalas Likert

► Ejemplos de escalas de respuesta

2 De En desacuerdo
opciones acuerdo
3 De Ni de acuerdo En
opciones acuerdo ni en desacuerd
desacuerdo o
4 Totalme De acuerdo En Totalmente
opciones nte de desacuerd en
acuerdo o descuerdo
5 Totalmen De Ni de acuerdo En Totalmente
opciones te de acuerdo ni en desacuerd en
acuerdo desacuerdo o descuerdo
6 Totalme De Más Más bien en En Totalmente
opciones nte de acuerdo bien de desacuerdo desacuerd en
1 acuerdo 2 acuerdo3 o4 descuerdo
5
Nunca Pocas veces La mitad de las veces Casi siempre Siempre
35
Escalas Likert

► Ítems directos

La evaluación permite mejorar los resultados de los estudiantes:

A) Muy en descuerdo (1)
B) En desacuerdo (2)
C) Ni de acuerdo ni en descuerdo (3)
D) De acuerdo (4)
E) Muy De acuerdo (5)

36
Escalas Likert

► Ítems inversos o indirectos

La evaluación debe eliminarse en procesos de enseñanza-aprendizaje:

A) Muy en descuerdo (5)
B) En desacuerdo (4)
C) Ni de acuerdo ni en descuerdo (3)
D) De acuerdo (2)
E) Muy De acuerdo (1)

37
Escalas Guttman

► Escalograma de Guttman

► Ítems y sujetos pueden situarse en una única escala (Unidimensionalidad)

► Si un sujeto responde afirmativamente a un ítem también lo hará con los que se

encuentren en un menor nivel en la escala de actitud

Actitud hacia la lectura Sí No

Tengo afición por la lectura
Leo durante las vacaciones
Leo todos los días un rato
No puedo dormir sin antes leer

38
Escalas Osgood

► Diferencial semántico

► Evaluar conceptos (situaciones, proposiciones, etc.) a partir de adjetivos bipolares

► Puede tener valores intermedios

► Ej: Calidad Docente

El profesor o profesora:
Experto 1234567 Inexperto
Puntual 1234567 Impuntual
Ordenado 1234567 Desordenado

39
Enrique Navarro
@eduktive

www.unir.net