Está en la página 1de 131

Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 1

Tema 1 La medida en educación


Objetivos

 Comprender la utilidad de la medición en educación.


 Comprender el concepto de medida y los tipos de escala de medida.
 Valorar la importancia de la informática y la estadística como apoyo en la construcción de
instrumentos de medida.

Pregunta inicial para futuros pedagogos


¿Queréis escapar del “síndrome de la barra de bar”?

Introducción
No existe ciencia sin medición = No hay pedagogía sin medida educativa

“Lo que no se mide no puede ser objeto de ciencia”

Science is built of facts the way a La ciencia está hecha de hechos


house is built of bricks; but an como la casa está hecha de
accumulation of facts is no more ladrillos; pero una acumulación de
science than a pile of bricks is a hechos no es más ciencia que una
house. pila de ladrillos es una casa.
Henri Poincaré

La ciencia se apoya en instrumentos capaces de cuantificar fenómenos estableciendo relaciones


funcionales obtenidas a través de modelizaciones de la realidad (…) para realizar este proceso el investigador
utiliza la medida mediante la que es capaz de representar propiedades por medio de números.

Resulta incuestionable la diferencia en cantidad de información y grado de exactitud existente entre


la medida del peso de un alumno y la medida de su capacidad intelectual:

 Peso = variable bien definida, con una unidad de medida, y aislada-unidimensional

Apuntes de Marcos Román 1


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 1

“El kilogramo es la unidad básica de masa del Sistema Internacional de Unidades


(SI), y su patrón se define como la masa que tiene el prototipo internacional, compuesto
de una aleación de platino e iridio, que se guarda en la Oficina Internacional de Pesas y
Medidas en París…”

1 decímetro cúbico = 1 litro = 1 kilo de agua destilada pura

https://youtu.be/7RlCVhWWlhs

 Inteligencia = variable mal definida, sin una unidad de medida, y que


interactúa con otras (multidimensional)

Hay que asegurar continuamente la fiabilidad y validez de los instrumentos de


medición psicopedagógica.

Precisión de la medida Mide lo que dice medir (y no otra cosa)

La medida en educación

“Si pongo en una báscula dos personas de 80 kilos, la báscula marcará 160 kilos (…), pero si pongo
dos personas con CI=100 a resolver juntas un test de inteligencia, no puedo asegurar que obtengan una
puntuación CI=200”

Medidas Aditividad y
Nivel de Razón Cero absoluto
proporcionalidad
físicas

Medidas Ordenación y
distancia -
Nivel Ordinal y De Orden.
de Intervalo
psicológicas proximidad Cero relativo.

“Aunque no podemos medir directamente la inteligencia, la


Constructos

motivación, el estrés, etc., nos valemos de indicadores del comportamiento


a medir. En este sentido, un instrumento se compone de un conjunto de
indicadores que ponen de manifiesto alguna característica no observable
directamente”

“Nunca se mide una cosa: lo medible es exclusivamente una propiedad de la cosa”


Mario Bunge

Apuntes de Marcos Román 2


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 1

Evaluación = Medida + Juicio

“La evaluación no es una medida simple, sino que lleva inmerso un proceso de emitir juicio de valor sobre
las mediciones realizadas”

En la teoría de la medición en CCSS hay dos tendencias (no excluyentes)


Teoría Clásica de la Medición Enfoque Axiomático de la Medición
Funciona ‘a posteriori’ Da lugar a la Teoría Funciona ‘a priori’ Da lugar a la Teoría de
Clásica de los Test (TCT) Respuesta al Ítem (TRI)

Un ejemplo: “¿Cómo medir si soy un buen profesor…?”

Teoría Clásica de la Medición (Stevens)


Para Stevens la medición es “la asignación de números a objetos o eventos de acuerdo con leyes” y
en consecuencia distingue diferentes tipos de asignación que dan lugar a los distintos niveles de medida:
nominal, ordinal, de intervalo, y de razón (ratio)

 Nivel de medida: nominal


Cada valor es una categoría distinta, y sólo sirve de
etiqueta o nombre para la categoría…
…los valores sólo indican “distinto a”, no implican ni
orden, ni distancia o proximidad.

Ejemplos: “Sexo”, “Nacionalidad”, “Centro Educativo”, etc…

 Nivel de medida: ordinal


Observación: Sociabilidad Grupo: Los colores
Niños/as No se relaciona Interactúa con pocos Se relaciona con Se relaciona con Interactúa activamente
con casi nadie compañero/as un grupo casi todos/as con toda la clase
Alberto
María
Carlos

Cuando es posible establecer un orden o rango dentro de las categorías de acuerdo con un criterio,
tenemos medidas ordinales…

…los valores sólo indican “mayor que o menor que” (orden), pero no determinan distancia o
proximidad (no hay una unidad constante entre ellos)

Ejemplo: Orden de llegada de una maratón

 Nivel de medida: de intervalo


Cuando la distancia entre los valores está definida en unidades iguales y
fijas, pero el ‘cero’ de la escala es relativo (no es absoluto) estamos en el nivel
de intervalo… los valores indican orden y distancia (pero no proporcionalidad)

Ejemplos: las escalas de “temperatura”

y = ax + b (a≠0); ºK = 1Cº + 273,15; ºF = 1,8ºC + 32

En investigación social es difícil encontrar verdaderas medidas de


intervalo (Ej. Sólidos test, pruebas objetivas y pruebas criteriales).
Apuntes de Marcos Román 3
Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 1

 Nivel de medida: de razón


Las medidas de razón tienen todas las propiedades de las medidas de
intervalos y, además, una propiedad adicional: el nivel cero es absoluto
(inherente a la medida)…

…aquí sí se puede establecer proporcionalidad (o razón) y se puede


afirmar, por ejemplo, que una persona de 1,80 m. mide el doble que una de
0,90 m.

y = cx (c≠0)
Ej.: 1 kilo = 2,2 libras

T
“En investigación educativa las variables que manejamos llegan, en el mejor de los casos, a ser de
intervalo. Sólo determinadas variables físicas de los sujetos (pero sin relevancia o con poca relevancia desde
el aspecto educativo, como el peso, la altura, etc.) alcanzan la medida de nivel de razón”

Enfoque Axiomático de la Medición


El enfoque axiomático considera a la medición como la construcción de

m
e
un modelo de alguna propiedad del mundo (y las posteriores medidas se
deben referir y ajustar a dicho modelo).

a
Como toda modelización, se quiere establecer una relación de
isomorfismo entre un sistema relacional empírico (la realidad) y un sistema
relacional formal (modelo).

El modelo de teoría de respuesta al ítem (TRI) o rasgo latente de Rasch se fundamenta en la idea de
que la respuesta a un ítem sólo depende de la capacidad del sujeto y la dificultad intrínseca del ítem.
2

“Si los datos no se ajustan al modelo, son los datos los que deben cambiarse, no el modelo” (dicho
de otra forma, el axioma es el modelo; si los datos no se ajustan, entonces se desecha el instrumento)

Apuntes de Marcos Román 4


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 1

La medición y las técnicas estadísticas


Los planteamientos de Stevens implican una relación entre medición y estadística. Según este
planteamiento, la escala de medida determina por completo qué tipo de análisis es el más apropiado.

Escala Posición o tendencia Dispersión Asociación o Prueba de


central correlación significación
Nominal Moda Amplitud Coeficiente de Ji-Cuadrado
contingencia
Ordinal Mediana Percentiles Correlación ordinal Prueba de los
de Spearman signos
Intervalo Media aritmética Desviación típica Correlación producto Prueba t
Razón Media geométrica Coeficiente de – momento de Prueba F
variación Pearson

1, 1, 3, 5, 8, 10, 17

Nivel nominal => Moda: 1


Nivel ordinal => Mediana: 5
∑𝑥 1+1+3+5+8+10+17
Nivel de intervalo => Media aritmética: 𝑋̅ = 𝑖 = = 6,43
𝑛 7
7 𝑛
Nivel de razón => Media geométrica: 𝑋̅ 𝐺= √∏ 𝑥 𝑖= √1 · 1 · 3 · 5 · 8 · 10 · 17 = 4,13

“No obstante, aunque el significado empírico de los números no afectara a la validez de las
manipulaciones realizadas sobre ellos; sí afecta a las conclusiones extraídas de los resultados de esas
manipulaciones”

Ejemplo: utilizar una medida de razón (p.ej. “tiempo de comunicación con los compañeros”) como
indicador de una medida ordinal (p.ej. “integración escolar”); y aplicar erróneamente las propiedades de la
primera sobre la segunda.

Técnicas de recogida de datos


El concepto de técnicas de recogida de información engloba todos los medios técnicos que
se utilizan para registrar las observaciones o facilitar el tratamiento…

Técnica
• p.e. Técnica de cuestionario - Encuesta

Instrumento
• p.e. Cuestionario CAE de adaptación escolar (cuestionario cerrado)

Recurso
• p.e. El ordenador como medio para aplicar el instrumento

6 grandes técnicas:

 La observación
 La entrevista
 El cuestionario
 Las pruebas objetivas y tests
 Las técnicas grupales y sociométricas
 El análisis de documentos

Apuntes de Marcos Román 5


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 1

La informática y las técnicas de recogida de información

Apoyo de la Informática a la Recogida de


Información

En la grabación de datos En la aplicación de En el análisis y


(posibilita perdurabilidad pruebas computerizadas procesamiento de los datos
y ausencia de
observador):  Test que se adaptan  Excel
interactivamente al  SPSS
 R
 Grabaciones de audio nivel de aptitud
 Grabaciones de vídeo

Apuntes de Marcos Román 6


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

Tema 2 Características técnicas de los instrumentos de medida


Objetivos
 Comprender la utilidad de la medición en educación.
 Saber calcular la dificultad, de discriminación/homogeneidad y análisis de los distractores de un
ítem; y fiabilidad y validez de un test.
 Saber calcular la unidimensionalidad de un test.
 Diferenciar la TCT de la TRI.
 Calcular los parámetros de un ítem desde la TRI.
 Interpretar la información de los parámetros y características de un ítem desde la TRI.

Características técnicas de los instrumentos de medida


“El proceso de medición opera sobre un objeto, según unas reglas (…) y con
una unidad de medida. Este proceso nos lleva construir unos instrumentos, que
se pasan al objeto en el acto de medición, teniendo como resultado unos datos
con los que se realizará un tratamiento, generalmente estadístico”

Hablaremos de las características técnicas de los instrumentos de medida,


sobre todo en lo referente a los ítems que los componen
Teoría Clásica de los Test (TCT) Teoría de Respuesta al Ítem (TRI)
Los resultados Los resultados se Los resultados son Pero exige un
dependen de la muestra expresan en relación al invariantes a la muestra importante tamaño de
elegida grupo normativo elegida muestra

Teoría Clásica de los Test (TCT)

Para evaluar la calidad de los ítems los indicadores más utilizados son:

 Dificultad.
 Discriminación / Homogeneidad
 Análisis de los distractores (alternativas incorrectas de un

ítem). Para evaluar la calidad de un test los indicadores más

utilizados son:

 Fiabilidad
 Validez
 Unidimensionalidad

TCT - Dificultad
El grado de dificultad de un ítem está en función del número de personas que conteste de forma
correcta al mismo.

Se suele utilizar el Índice de Dificultad (ID) como indicador de la misma.

Apuntes de Marcos Román 1


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

 ITEMS SIN ALTERNATIVA (SIN CORREGIR).

El Índice de Dificultad (ID) no es una propiedad intrínseca del ítem, pues su valor depende de la
muestra de sujetos a la que se aplique (…) el ID sólo tiene sentido en tests o pruebas objetivas donde
hay respuestas correctas e incorrectas.

CLASIFICACIÓN DE LOS ELEMENTOS PROPORCIÓN ARPOXIMADA LÍMITES DEL ÍNDICE DE DIFICULTAD


Muy fáciles 0,1 De 0,75 a 0,95
Fáciles 0,2 De 0,55 a 0,74
Normales 0,4 De 0,45 a 0,54
Difíciles 0,2 De 0,25 a 0,44
Muy difíciles 0,1 De 0,05 a 0,24

+ cerca de 0 → - personas aciertan + difícil


+ cerca de 1 → + personas aciertan + fácil
Ejemplo 1: Se supone un ítem de evocación (sin alternativas) que es contestado acertadamente por 17
estudiantes de una clase compuesta de 30 estudiantes. ¿ID del ítem?
E=13
A= 17
𝐴 17
E+A= N ID = = = 0’56 → ITEM FÁCIL
13+17=30 𝑁 30
N= 30

Ejemplo 2: Se supone un ítem de evocación (sin alternativas) que es contestado erróneamente por 25 estudiantes
y acertadamente por 7 estudiantes. Todos los estudiantes han contestado al ítem. ¿ID del ítem?
E=25
A= 7
E+A= N
13+17=32 𝐴 17
N= 32 ID = = = 0’56 → ITEM FÁCIL
𝑁 30

Apuntes de Marcos Román 2


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

 ITEMS (ELECCION MULTIPLE) (CORREGIDO).

Ejemplo 3: Se supone un ítem de 3 alternativas de respuesta, que es acertado por 26 estudiantes en una
clase de 39 alumnos. ¿ID’ del ítem?

K=3
A= 26
N–A=E 𝐸 13
39 – 26 = 13 𝐴− 26−
𝐾−1 3−1
E = 13 ID’ = = = 0’5 ítem normal
𝑁 39
N=39

IMPORTANTE:
Al construir un test es aconsejable que la mayor parte de los
ítems sean de dificultad normal y una pequeña cantidad a
partes iguales, de ítems de dificultad baja y dificultad alta.

TCT – DISCRIMINACIÓN

Este índice determina la potencia del ítem para discriminar el grupo de sujetos que tiene
mayor cantidad de aciertos en la prueba, frente al de menos aciertos (…).

o Discrimina bien → buena puntuación en el test.

o Discrimina mal → mala puntuación en el test.

Es decir, un ítem discrimina bien cuando existe correlación positiva entre la puntuación
obtenida en el ítem con la puntuación obtenida en el test (…).

Se utilizan dos procedimientos:

 Índice de discriminación.

 Índice de homogeneidad.

Apuntes de Marcos Román 3


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

 INDICE DE DISCRIMINACION

Este índice va de -1 a +1, considerándose un buen índice de discriminación el comprendido entre


0,25 y 0,35 o mayor.

Dividida la muestra en dos grupos extremos: a) una parte donde está el 27% de personas con
mayor puntuación en el test (extremo superior) y b) otra parte con el 27% de menor puntuación (extremo
inferior).

𝐷 = 𝑝+ − 𝑝−
p+ representa la proporción de individuos del extremo superior que aciertan el ítem
p- representa la proporción de individuos del extremo inferior que aciertan el ítem
EJEMPLO:
Pasamos un test a un grupo de 500 personas, ordenamos sus resultados de mejor a peor puntuación.
De las 135 personas (27 % de 500) con mejor puntuación, 112 aciertan el ítem X, mientras que, de las 135
personas con peor puntuación, lo aciertan 50. ¿calcula su índice de discriminación?
Ítem X = 27 % de 500 = 135 sujetos
112
P+ = 112 de 135 =
135
50
P- = 50 de 135 =
135
112 50
D = p+ - p- = − = 0’46
135 135
El ítem X discrimina muy bien por tener un índice de discriminación superior al límite de 0’25 a 0’35 o
superior.
A continuación, vamos a probar con el ítem Y, donde han acertado 80 individuos del extremo
superior y 68 individuos del extremo inferior.
Ítem X = 27 % de 500 = 135 sujetos
80
P+ = 80 de 135 =
135
68
P- = 68 de 135 =
135
80 68
D = p+ - p- = − = 0’08
135 135
El ítem Y carece de utilidad para discriminar.
Ejemplo 4: Tenemos un test que aplicamos a 600 estudiantes. De los 162 estudiantes con peor
puntuación total en el test, 30 han acertado el ítem 1; y de los 162 con mejor puntuación total, 95 han
acertado dicho ítem. ¿Cuál es el índice D de discriminación del ítem 1?

95 30
𝐷 = 𝑝+ − 𝑝− = 162 − 162 = 0,40 → Índice de discriminación alto

Apuntes de Marcos Román 4


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

 INDICE
HOMOGENEIDAD

Otra manera de valorar la discriminación de un ítem es mediante el cálculo de la correlación


entre las puntuaciones de los sujetos en el ítem y en el conjunto del test, cuando este ítem
no es valorado.

Esta correlación se denomina índice de discriminación o de homogeneidad (IH), al ser un indicador


del grado de relación del ítem con el resto.

𝑁 ∑ 𝑥𝑦−∑ 𝑥 ∑ 𝑦
𝑟=
√[𝑁 ∑ 𝑥2−(∑𝑥)2][𝑁 ∑ 𝑦2−(∑ 𝑦)2]

r puede ir desde -1 ↔ 0 ↔ +1

Correlación Correlación nula Correlación


perfecta inversa perfecta positiva

Otra manera de valorar la discriminación de un ítem es mediante el cálculo de la correlación entre


las puntuaciones de los sujetos en el ítem y en el conjunto del test, cuando este ítem sí es valorado.

NO LA VAMOS A USAR

TABLA PARA INTERPRETAR LOS VALORES DE IH (INDICE DE HOMOGENEIDAD)


El ítem discrimina muy bien IH igual o mayor de 0,4
El ítem discrimina bien IH comprendido entre 0,30 y 0,39
El ítem discrimina poco IH comprendido entre 0,20 y 0,29
Ítem límite. Se debe mejorar IH comprendido entre 0,10 y 0,19
El ítem carece de utilidad para discriminar IH menor de 0,10

Apuntes de Marcos Román 5


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

Ejemplo 5: Tenemos los resultados de las respuestas de 4 sujetos a una prueba de 4 ítems (“1” =
acierto; “0” = fallo) ¿IH del ítem 4? Examen septiembre 2016

𝑁 ∑ 𝑥𝑦 − ∑ 𝑥 ∑ 𝑦
𝑟=
√[𝑁 ∑ 𝑥2 − (∑ 𝑥)2][𝑁 ∑ 𝑦2 − (∑ 𝑦)2]

Y → puntuación total de cada sujeto sin el ítem nº 4


X → puntuación del ítem nº 4
N → número de sujetos = 4
Ítems
Sujetos 1 2 3 4 X Y X·Y X2 Y2
A 1 0 1 1 1 2 2 1 4
B 1 1 1 0 0 3 0 0 9
C 0 0 1 0 0 1 0 0 1
D 1 0 0 0 0 1 0 0 1
∑X = 1 ∑Y = 7 ∑ X·Y=2 ∑ X2 = 1 ∑ Y2 = 15

(4 · 2) − (1 · 7) 8−7 1 1 1
r= = = = = = 0,174
√[(4 · 1) − 12] · [(4 · 15) − 72] √[4 − 1] · [60 − 49] √3 · 11 √33 5,74

r = 0,174 < 0,2

Apuntes de Marcos Román 6


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

EJERCICIO AUTOEVALUACION TEMA 2 PTO 4

La siguiente tabla indica los resultados (0=error, 1=aciertos) de 5 sujetos en un test compuesto por
4 ítems ¿Cuál es el índice de homogeneidad IH del ítem 1 calculado “correlación ítem-total
(descontando el ítem)?

ITEMS
SUJETOS
1 2 3 4

ID1 1 0 1 1
X = ítem 1 (aciertos/errores)
ID2 1 1 1 0
Y = ítems 2,3 y 4 (aciertos/errores)

ID3 0 0 1 0

ID4 0 0 0 0

ID5
1 0 1 0

PREPARAMOS LA TABLA DE LA X e Y

ítems x y x*y x2 y2

1 1 2 2 1 4

2 1 2 2 1 4

3 0 1 1 0 1

4 0 0 0 0 0

5 1 1 1 1 1

∑x ∑y ∑x*y ∑x2 ∑y2



3 6 5 3 10

Apuntes de Marcos Román 7


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

Pasar todos los datos a la fórmula de Pearson (r):

𝑵∑𝒙𝒚− ∑𝒙∑𝒀
IH = r =
√[𝑵∑𝒙𝟐 − (∑𝒙)𝟐 ][𝑵∑𝒚𝟐 − (∑𝒚)𝟐 ]

𝟓∗𝟓−𝟑∗𝟔 𝟐𝟓−𝟏𝟖 𝟕 𝟕
IH = r = = = = 𝟗′𝟏𝟔𝟓 =
√[𝟓∗𝟑− (𝟑)𝟐 ][𝟓∗𝟏𝟎− (𝟔)𝟐 ] √[𝟏𝟓−𝟗][𝟓𝟎−𝟑𝟔] √[𝟔][𝟏𝟒]

IH = r = 0’763 este ítem discrimina muy bien. RESPUESTA AUTOEVALUCION C

TCT – Análisis de distractores


Distractores son las diferentes alternativas falsas o respuestas incorrectas que tiene un ítem. Todas
las alternativas de un ítem deberían tener la misma probabilidad de ser elegidas, es decir, se debería dar la
equiprobabilidad entre las diferentes alternativas de respuesta.

Se comprueba mediante la prueba de ji-cuadrado.

Análisis de distractores → usar test de ji-cuadrado


χ2 = ∑𝑖=1 𝑖 𝑖
donde k = al número de categorías incorrectas, 𝑓𝑜= frecuencia observada
𝑓 = frecuencia esperada. El estadístico se distribuye como χ con k-1 grados de libertad

Ejemplo 6: Se supone que 400 individuos contestan a un ítem con 5 alternativas (A, B, C, D y E), y que
la E es la respuesta correcta. Las respuestas de los 276 sujetos que fallan en las distintas alternativas son:

A B C D
91 42 66 77 Empírica
69 69 69 69 Teórica

¿Se puede afirmar, con un nivel de confianza del 95%, que hay equiprobabilidad en los distractores?

276⁄4 = 69 → distribución teórica equiprobable

Ji-cuadrado mide la discrepancia entre la distribución empírica y la teórica, si éstas son iguales el
resultado de ji-cuadrado es 0
(𝑓𝑜 − 𝑓𝑒)2
𝑓𝑜 → frecuencia observada → empírica χ2 = ∑
𝑓𝑒
𝑓𝑒 → frecuencia esperada → teórica
(91 − 69)2 + (42 − 69)2 + (66 − 69)2 + (77 − 69)2
χ2 = = 18,63
69

Comparamos χ2 con χ2 , éste se obtiene de la siguiente tabla:


𝑒𝑚𝑝í𝑟𝑖𝑐𝑜 𝑙𝑖𝑚𝑖𝑡𝑒 𝑜 𝑡𝑒ó𝑟𝑖𝑐𝑜

Apuntes de Marcos Román 8


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

Nivel de confianza

18,63 > 7,815 por lo tanto no


Número de
son equiprobables
menos 1

EJEMPLO:
Tenemos un ítem de 4 alternativas, que se ha pasado a 500 personas. De las que aciertan 320 y
fallan 180 sujetos. De los 180 fallos, se reparten entre las alternativas erróneas de la siguiente
manera:

(𝒇𝒐−𝒇𝒆)𝟐
Χ2 = ∑
A B C 𝒇𝒆
fo=datos de la tabla (75,65 y 40)
fe=dividir los fallos entre las alternativas de
75 65 40 180
respuesta ( =60)
3
k=3 alternativas de respuestas erróneas

(𝒇𝒐−𝒇𝒆)𝟐 (𝟕𝟓−𝟔𝟎)𝟐 +(𝟔𝟓−𝟔𝟎)𝟐 +(𝟒𝟎−𝟔𝟎)𝟐 𝟐𝟐𝟓+𝟐𝟓+𝟒𝟎𝟎 𝟔𝟓𝟎


Χ =∑
2
= = =
𝒇𝒆 𝟔𝟎 𝟔𝟎 𝟔𝟎
X =
2
10’83 empírico
Calcular los grados de libertad= k-1 = 3-1 = 2 grados de libertad

α=95%=0’05 este valor te lo dan en el enunciado

2
Vamos a la tabla del X y con los grados de libertad y el alfa miramos su valor = 5’991
Enfrentamos los dos valores:

Empírico > Teórico


10’83 > 5’991 por lo que son malos distractores, es decir no son equiprobables

Apuntes de Marcos Román 9


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

RECORDAR IMPORTANTE PARA JI CUADRADO X2

X2EMPIRICO > X2TEORICO


NO SON EQUIPROBABLES
Son malos distractores

X2EMPIRICO > X2TEORICO


SI SON EQUIPROBABLES
Son buenos distractores

EJEMPLO AUTOEVALUACION TEMA 2 PUNTO 7

Tenemos 200 sujetos que han contestado a un ítem de elección múltiple con cuatro alternativas de
respuesta (opciones A, B, C Y D) de las cuales solo hay una correcta (la opción D) y tres incorrectas o
distractores (opciones A, B y C). En la siguiente tabla, se muestra como se distribuyen las respuestas
de los 120 sujetos que contestan erróneamente al ítem entre los tres distractores. Con un nivel de
confianza del 95 % (α=0’05) ¿los distractores son equiprobables?

Opción A Opción B Opción C TOTAL


DISTRACTORES
NUMERO 54 37 29 120
SUJETOS

fo=datos de la tabla (54,37,29)


fe=total distractores : 3 alternativas = 120/3 = 40
K= alternativas contestadas erróneamente
N=200
α=0’05
(𝒇𝒐−𝒇𝒆)𝟐 (𝟓𝟒−𝟒𝟎)𝟐 +(𝟑𝟕−𝟒𝟎)𝟐 +(𝟑𝟕−𝟒𝟎)𝟐 𝟏𝟗𝟔+𝟗+𝟏𝟐𝟏 𝟑𝟐𝟔
Χ =∑
2
= = =
𝒇𝒆 𝟒𝟎 𝟒𝟎 𝟒𝟎
X2 = 8’15 empírico

Calcular grados de libertad: k=3-1 =2 y α=0’05 me voy a la tabla del Ji cuadrado

Empírico > Teórico


8’15 > 5’991
por lo que son malos distractores, es decir no son equiprobables

Apuntes de Marcos Román 10


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

TCT – Fiabilidad y Validez


Fiabilidad: precisión y está asociado a ausencia
de error aleatorio.

Validez: la prueba mide lo que dice medir y no


otra cosa parecida o cercana y está relacionado con la
ausencia de error sistemático o de
sesgo sistemático.

En primer lugar, asegurar la fiabilidad y después la validez.

TCT – Fiabilidad
Suponemos el modelo lineal clásico de medida: Error aleatorio e independiente
X=V+e

Supuestos: Medición empírica Medición verdadera

 Media de las puntuaciones empíricas (X) es igual a la puntuación verdadera (V)


 La puntuación verdadera (V) es independiente del error de medida (e)
 Los errores de medida (e) son independientes entre sí

Un instrumento de medida es fiable si está libre de error de medida (e → 0)

Aunque un instrumento de medida no es bueno por el hecho de ser fiable (…) sin tal propiedad la
medición no es aceptable (…) esto es, podemos afirmar que la fiabilidad es una condición necesaria, aunque
no suficiente, de un instrumento de medida de calidad.

La fiabilidad de un instrumento se cuantifica mediante dos aproximaciones


Fiabilidad relativa (coeficientes de fiabilidad: ρxx) Fiabilidad absoluta (error típico de medida: σe)
Correlación entre las puntuaciones obtenidas por Desviación típica de las puntuaciones empíricas
los sujetos en dos ‘aplicaciones’ de un test respecto a la puntuación verdadera tras una
aplicación del test repetida infinitamente a un sujeto

Apuntes de Marcos Román 11


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

TCT – Fiabilidad como equivalencia


También conocida como de formas paralelas.

Consiste en aplicar a la misma muestra de sujetos 2 pruebas diferentes pero que


miden el mismo rasgo o característica, de tal forma que los resultados de la aplicación de
la primera prueba se correlacionan con los de la segunda.

Es un procedimiento difícil y complicado: es muy difícil encontrar pruebas


equivalentes (mismos objetivos, mismos contenidos, longitud y condiciones de aplicación).

Se mide mediante el coeficiente de equivalencia = coeficiente de correlación de Pearson entre las


puntuaciones de ambas aplicaciones.

TCT – Fiabilidad como estabilidad


También conocida como procedimiento de la repetición o del test-retest.

Se calcula la correlación que existe entre las puntuaciones obtenidas por un mismo
grupo de sujetos en 2 aplicaciones sucesivas de una misma prueba en 2 momentos
diferentes.

Entre ambas aplicaciones debe transcurrir un tiempo ni muy corto (por el entrenamiento) ni muy
largo (por la maduración). Algunos autores lo fijan en 20 ó 25 días.

TCT – Fiabilidad como consistencia interna


Cabe pensar que todos los elementos del instrumento de medida miden una porción de la
característica o rasgo, de forma que debe darse una coherencia interna, es decir una sub-muestra de ítems
mide los mismo que otra sub-muestra y representan ambas lo que mide el instrumento en su totalidad

El grado de correlación entre ambas sub-muestras determina el coeficiente de consistencia.

Procedimiento de las dos mitades Coeficiente Alfa de Cronbach

Ejercicios de – Fiabilidad

Ejemplo 7. Procedimiento de las dos mitades: ¿Cuál es la fiabilidad de un test que tiene como
correlación entre sus ítems pares e impares rxx = 0,79?

𝑅 fórmula de Spearman-Brown

Rxx = coeficiente de fiabilidad del test


Se realiza una corrección al alza. Al correlacionar dos mitades se ha acortado
artificialmente el ancho de variación de las dos cosas que se han correlacionado,
por lo que se está subestimando el valor final.
rxx se calcula mediante el coeficiente de correlación de Pearson entre las mitades
Apuntes de Marcos Román 12
Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

2 · 0,79 1,58
𝑅𝑥𝑥 = = = 0,88
1 + 0,79 1,79

Ejemplo 8. Alfa de Cronbach: En un test compuesto por 8 ítems, la suma de las varianzas individuales
del conjunto de ítems fue 16. Si la varianza del test vale 54, ¿cuánto vale el coeficiente de Cronbach?
Examen febrero 2015

n = número de ítems
∑ 𝑆𝑗2 = sumatorio de las varianzas de los ítems
𝑆𝑥2 = varianza de la puntuación total en el test
8 16 8
α= (1 − )= (1 − 0,29) = 1,14 · 0,703 = 0,804
8−1 54

Ejemplo 9. Fiabilidad y longitud. El coeficiente de fiabilidad de un test de 25 ítems es rxx = 0,64.


¿Cuántas veces se debe alargar el test original para llegar a una fiabilidad Rxx = 0,80? ¿Cuántos ítems tendrá
el test final?

Ejemplo 10. Fiabilidad y longitud. Dada una prueba que consta de 30 ítems, cuya fiabilidad es rxx = 0,93,
¿cómo repercutiría en la fiabilidad de la misma un aumento de 10 nuevos ítems paralelos a los originales?
(página 160 del libro de Estadística de 1º curso)

𝑅 con:

Rxx´ = coeficiente de fiabilidad del test alargado o extendido


rxx´ = coeficiente del test original
n = número de veces que se ha alargado el test

Apuntes de Marcos Román 13


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

Ejemplo 11. Interpretación-Valoración de la Fiabilidad de un Test

Fiabilidad > 0,90 → Excelente

Fiabilidad > 0,80 → Buena

Fiabilidad > 0,70 → Aceptable

Fiabilidad > 0,60 → Cuestionable

Fiabilidad > 0,50 → Pobre

Fiabilidad < 0,50 → Inaceptable

EJEMPLO DEL PROCEDIMIENTO DE LAS DOS MITADES (SPEARMAN-


BROWN):

Tenemos la siguiente Tabla:

1 2 3 4 5 6 7 8 9 10
PARES 1 1 0 1 0 0 1 1 0 1
IMPARES 1 1 1 0 1 0 1 1 1 0

Hallada la correlación de ambas aplicaciones en Excel (o correlación de Pearson r), nos da un resultado
de rxx = -0’09

𝟐.𝒓𝒙𝒙
Rxx =
𝟏+ 𝒓𝒙𝒙

𝟐 .(−𝟎′ 𝟎𝟗) −𝟎′𝟏𝟖


Rxx = 𝟏+(−𝟎′𝟎𝟗) = = -0’1978 en este supuesto la fiabilidad es muy
𝟎′𝟗𝟏
baja.

Apuntes de Marcos Román 14


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

VALOR DE LA FIABILIDAD
El valor correcto para una buena fiabilidad,
debe ser un valor lo + cercano a 1, el óptimo y
el mínimo 0.

EJERCICIO AUTOEVALUACION TEMA 2 PREGUNTA Nº 9


PROCEDIMIENTO DE LAS DOS MITADES SPEARMAN-BROWN

¿Cuál es la correlación de un test que tiene como correlación entre sus ítems pares e impares
rxx= 0’69?

𝟐.𝒓𝒙𝒙
Rxx =
𝟏+ 𝒓𝒙𝒙

𝟐 .(−𝟎′ 𝟔𝟗) 𝟏′𝟑𝟖


Rxx = 𝟏+(−𝟎′𝟔𝟗) = 𝟏′𝟔𝟗 = 0’816 en este supuesto la fiabilidad es muy buena, pues su
valor es cercano a 1

CALCULO DE ALFA DE CROBACH


Al utilizar submuestras, es necesario corregir el coeficiente de correlación para obtener la fiabilidad
del test en su conjunto.
El estadístico utilizado es:
α=COEFICIENTE DE FIABILIDAD DEL TEST (ALFA DE CROMBACH)
∑𝒏 N=Nº DE ITEMS DEL TEST
𝒏 𝒋 =𝟏𝑺𝟐
𝑱
α= (1- 𝟐 ) ∑𝑛𝑗 = 1𝑠𝑗2 → sumatorio de las varianzas de los ítems
𝒏−𝟏 𝑺𝑿
que componen el test.
𝑠𝑥2 = varianza de las puntuaciones total en el test.

EJEMPLO
Se pasa un test de 5 ítems a 6 sujetos obteniendo los siguientes datos explicados en
la tabla.
(la varianza en Excel se calcula con = VAR.S (rango de datos)

Apuntes de Marcos Román 15


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

ELEMENTOS
1 2 3 4 5 X
1 4 4 3 3 4 18
2 5 5 4 5 4 23
SUJETOS 3 3 3 3 3 3 15
4 1 1 1 2 1 6
5 2 1 2 2 2 9
6 4 4 4 4 4 20
S2 1’81 2’33 1’14 1’14 1’33 35’81

S2 = VARIANZA n= elementos
∑𝒏 𝟐
𝒏 𝒋 =𝟏𝑺𝑱
α= (1- )
𝒏−𝟏 𝑺𝟐𝑿

𝑠𝑥2 = 35’81 en la tabla


∑𝑛𝑗 = 1𝑠𝑗2 → 1’81+2’33+1’14+1’14+1’33= 7’75

𝟓 𝟕′𝟕𝟓
α= (1- )= 1’25 * 0’78 = 0’98
𝟓−𝟏 𝟑𝟓′𝟖𝟏
La fiabilidad es buena por tener un valor cercano a 1.

FIABILIDAD Y LONGITUD
Se puede decir que la fiabilidad de un test aumenta a medida que aumenta su longitud, es decir, su
número de ítems.

𝑛∗𝑟𝑥𝑥
Rxx= 1+(𝑛−1)𝑟𝑥𝑥
también
𝑅𝑥𝑥(1−𝑟𝑥𝑥)
n=𝑟𝑥𝑥(1−𝑅𝑥𝑥)
siendo:
𝑛º 𝑑𝑒 𝑖𝑡𝑒𝑚𝑠 𝑓𝑖𝑛𝑎𝑙𝑒𝑠
n=número de veces que se alarga el test =
𝑛º 𝑑𝑒 𝑖𝑡𝑒𝑚𝑠 𝑖𝑛𝑖𝑐𝑖𝑎𝑙𝑒𝑠

EJEMPLO: AUTOEVALUACION TEMA 2 PREGUNTA 10


El coeficiente de fiabilidad de un test de 18 ítems es rxx=0’74 ¿Cuántos ítems
debería tener como mínimo el test final para alcanzar una fiabilidad de Rxx=0’80?

Apuntes de Marcos Román 16


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

n= 18 ítems iniciales
rxx=0’74
Rxx=0’80

𝑅𝑥𝑥(1−𝑟𝑥𝑥) 0′80(1−0′74) 0′ 80∗0′26 0′208


n=𝑟𝑥𝑥(1−𝑅𝑥𝑥) = 0′74(1−0′80) = = = 1’405 número de veces
0′ 74∗0′20 0′148
que se alarga el test.

𝑛º 𝑑𝑒 𝑖𝑡𝑒𝑚𝑠 𝑓𝑖𝑛𝑎𝑙𝑒𝑠
n= → 1’405*18=número ítems finales
𝑛º 𝑑𝑒 𝑖𝑡𝑒𝑚𝑠 𝑖𝑛𝑖𝑐𝑖𝑎𝑙𝑒𝑠
25’29=número de ítems finales
por aproximación 26 ítems finales

TCT – Validez
“La fiabilidad de un instrumento es condición necesaria pero no suficiente para una valoración
positiva de éste; necesita el concurso de la validez para completar dicha valoración”

Un instrumento es válido si mide lo que dice medir


Tipos de Validez
De Contenido Criterial De Constructo Aparente
Predictiva Concurrente

TCT – Validez Aparente=validez y longitud de una prueba.


El número de ítems influyen en la fiabilidad. La validez se relaciona con:
- Número de ítems.
- Fiabilidad.

𝒓𝒙𝒚
Rxy =
𝟏−𝒓𝒙𝒙
√ +𝒓𝒙𝒙
𝒏
𝑛º 𝑑𝑒 𝑖𝑡𝑒𝑚𝑠 𝑓𝑖𝑛𝑎𝑙𝑒𝑠
Siendo: n=número de veces que se alarga el test =
𝑛º 𝑑𝑒 𝑖𝑡𝑒𝑚𝑠 𝑖𝑛𝑖𝑐𝑖𝑎𝑙𝑒𝑠
Rxy=coeficiente de validez del test alargado o extendido
rxy=coeficiente de validez del test original.
rxx=coeficiente de fiabilidad del test original.

EJEMPLO:
Tenemos 5 ítems con una fiabilidad de 0’98 supongamos que su validez era de o’56.
Podemos decidir una nueva validez y calcular cuántos ítems necesitamos o podemos
añadir un número determinado de ítems y calcular cuál será su nueva validez.
Añadimos 5 ítems a la prueba.

Apuntes de Marcos Román 17


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

n=5
rxy=0’56
rxx=0’98
𝒓𝒙𝒚 𝟎′𝟓𝟔
Rxy = = = 0’57
𝟏−𝒓𝒙𝒙 𝟏−𝟎′𝟗𝟖
√ +𝒓𝒙𝒙 √ +𝟎′𝟗𝟖
𝒏 𝟓
La validez apenas aumenta si alargamos la prueba:
rxy1=0’56
rxy2=0’57
Referida a cuestiones de ‘aspecto externo’ del instrumento

Legibilidad, claridad, navegabilidad, instrucciones, manejo, etc…

Ejemplo → Validación aparente de nuestro Test de Pensamiento


Computacional

 Se añadieron las instrucciones del TPC y 3 ejemplos iniciales de


http://goo.gl/IYEKMB
habituación al test
 Accesibilidad y navegabilidad desde dispositivos fijos y móviles

TCT – Validez de Contenido

Hace referencia a la longitud de la prueba. Suficiencia y


representatividad de la muestra de conductas incluidas en el
instrumento respecto de la población de la que forma parte.

Es imprescindible sobre todo en pruebas de


rendimiento

“La esencia de la validez de contenido se encuentra en la


suficiencia y representatividad de la muestra de conductas
incluidas en el instrumento respecto de la población de la que
forma parte”

Una prueba tiene validez de contenido si los ítems que


la forman son una muestra representativa del conjunto de
cosas, conceptos… que se pretenden medir con la prueba.

Tabla de especificación
(se estudia en el tema 4)

TCT – Validez Criterial (Predictiva o Concurrente)


Un instrumento presenta validez criterial si sus puntuaciones correlacionan con un criterio externo
relevante (p.e., otro instrumento previamente validado que se supone que mide lo mismo)

Si las dos medidas se toman en el mismo periodo temporal se habla de validez concurrente del
instrumento con respecto al criterio

Si la medida del criterio se toma con posterioridad a nuestro instrumento, hablamos de validez
predictiva del instrumento con respecto al criterio.

Apuntes de Marcos Román 18


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

Validez criterial del test → rpuntuación total en el test * criterio

Índice de validez del ítem → rpuntuación en el ítem * criterio

Ejemplo 12. ¿Validez del test? ¿Índice de validez del ítem I? Examen septiembre 2016

N → número de sujetos = 4 𝑁 ∑ 𝑥𝑦 − ∑ 𝑥 ∑ 𝑦
𝑟=
X Y
√[𝑁 ∑ 𝑥2 − (∑ 𝑥)2][𝑁 ∑ 𝑦2 − (∑ 𝑦)2]
Ítems
Sujetos 1 2 3 4 Criterio X Y X·Y X2 Y2
A 1 0 1 1 4 3 4 12 9 16
B 0 1 1 0 2 2 2 4 4 4
C 0 1 1 1 4 3 4 12 9 16
D 1 0 0 0 1 1 1 1 1 1
∑X = 9 ∑ Y = 11 ∑ X · Y = 29 ∑ X2 = 23 ∑ Y2 = 37

(4 · 29) − (9 · 11) 116 − 99 17 17 17


r= = = = = = 0,98
√[(4 · 23) − 92] · [(4 · 37) − 112] √[92 − 81] · [148 − 121] √11 · 27 √297 17,23

Validez criterial del test muy fuerte

X Y

Ítems
Sujetos 1 2 3 4 Criterio X Y X·Y X2 Y2
A 1 0 1 1 4 1 4 4 1 16
B 0 1 1 0 2 0 2 0 0 4
C 0 1 1 1 4 0 4 0 0 16
D 1 0 0 0 1 1 1 1 1 1
∑X = 2 ∑ Y = 11 ∑X·Y=5 ∑ X2 = 2 ∑ Y2 = 37

(4 · 5) − (2 · 11) 20 − 22 −2 −2 −2

r= = = = = = −0,192
√[(4 · 2) − 22] · [(4 · 37) − 112] √[8 − 4] · [148 − 121] √4 · 27 √108 10,39

Apuntes de Marcos Román 19


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

TEORIA DE
RESPUESTA AL
ITEM (TRI)
En la Teoría de Respuesta al Ítem la muestra sólo se utiliza para comprobar si un ítem se ajusta a un
modelo de funcionamiento que está definido a priori, es el modelo de rasgo latente y se trata de una curva
exponencial que es como se supone se tiene que comportar un ítem para medir un determinado constructo
unidimensional. En la TRI los resultados son invariantes a la muestra. Estudiaremos los modelos de Rasch.

“La Teoría de Respuesta al Ítem (TRI) intenta brindar una fundamentación probabilística al problema
de medir constructos latentes (no observables) y considera al ítem como unidad básica de medición (…)

(…) La puntuación de una prueba en el modelo clásico (TC) estima el nivel de un atributo (aptitud, rasgo
de personalidad, interés, etc…) como la sumatoria de respuestas a ítems individuales, mientras que la TRI se
centra exclusivamente en el ítem”

En la TRI se supone que cada ítem es capaz de medir por sí solo el rasgo.

Teoría Clásica de los Test (TCT) vs. Teoría de Respuesta al Ítem (TRI)
Tanto la TCT como la TRI abordan el mismo problema: tratar de calcular el error cometido al medir
variables de naturaleza psicopedagógica, pero…

TCT TRI
 Puntaje Verdadero (V)  Aptitud (θ) (nivel de aptitud del sujeto en un
 Lineal → X = V + e constructo/rasgo que está midiendo un ítem)
 Las características métricas  Exponencial
(fiabilidad y validez) son del test  Las características métricas son de cada ítem,
en su conjunto, y están referidas y son invariantes a la muestra elegida. Basta
al grupo normativo comprobar el ajuste al modelo con una
 A posteriori muestra grande (n>300). (Sí el ítem no se
ajusta es que éste no funciona)
 A priori.

Apuntes de Marcos Román 20


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

Supuestos y Postulados de la TRI

• La respuesta al ítem está determinada exclusivamente por una


Unidimensionalidad variable, denominada rasgo latente (modelos unidimensionales).

• La probabilidad de responder correctamente a un ítem es


Independencia Local independiente de la probabilidad de responder a otro cualquiera.

Postulados básicos de la TRI:

 El resultado de un individuo en un ítem es explicado por un rasgo latente o aptitud (θ).


 A medida que la aptitud (θ) aumenta, también aumenta la probabilidad (P) de responder
correctamente el ítem.
 La función que relaciona ambas cosas P(θ) se llama función característica del ítem o curva
característica del ítem (CCI).
 P(θ) es una función monótona creciente.

Modelos desde la TRI


Nos centraremos en los modelos donde la CCI obedece a una función logística.

En concreto veremos el modelo de Rasch de 1, 2 y 3 parámetros.

→100%
Probabilidad de acertar el ítem

→50%

Aptitud del sujeto en un rasgo latente

Apuntes de Marcos Román 21


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

Modelo de Rasch de I parámetro


𝑒𝐷(𝜃−𝑏)
𝑃(𝜃) = 1+𝑒𝐷(𝜃−𝑏)
b=0
P(θ): Probabilidad de acertar el ítem.
b=1
θ: Nivel de habilidad del sujeto.
b: Índice de dificultad del ítem.
e: Base de los logaritmos neperianos (2,718)
D: Constante (D = 1,7)

El parámetro θ se expresa estandarizado (media 0, desviación 1), y su recorrido fundamental va


desde -3 a +3.

El parámetro b viene expresado en la misma escala que θ, y en este modelo el valor de b se


corresponde al valor de θ para el cual P(θ) = 0,5. (Va entre -3 y +3. b = 0 → índice de dificultad media. b+ →
índice difícil/ b- → índice fácil) En esta curva b = 0 → ésta es la curva característica de un índice de dificultad
media: un sujeto que tiene aptitud media tiene un 50% de acierto.

Pueden haber curvas más a la derecha → b = 1 → el ítem sería más difícil porque hay que tener más
aptitud para tener una probabilidad de acierto del 50%.

Ejercicio 1. Supuesto un modelo TRI de Rasch de un solo parámetro, y dado un ítem con b=0. ¿Cuál es
la probabilidad de acertar dicho ítem para un sujeto con una aptitud θ = -1? ¿Y con θ = 0? ¿Y con θ = 2?
[Tomamos D=1,7]

0,96

𝑒𝐷(𝜃−𝑏)
𝑃(𝜃) = 0,5
1 + 𝑒𝐷(𝜃−𝑏)

0,154

Con θ = 0 → P(θ) = 0,5 = 50%

𝑒1,7·(0−0) 𝑒1,7·0 𝑒0 1 1

𝑃(0) = = = = = = 0,5
1 + 𝑒1,7·(0−0) 1 + 𝑒1,7·0 1 + 𝑒0 1+1 2

θ=2→ 29,96 29,96


𝑒1,7·(2−0) 𝑒1,7·2 𝑒3,4
𝑃(2) = = = = = = 0,96
1 + 𝑒1,7·(2−0) 1 + 𝑒1,7·2 1 + 𝑒3,4 1 + 29,96 30,96

θ = -1 →
𝑒1,7·(−1−0) 𝑒1,7·(−1) 𝑒−1,7 0,18 0,18

𝑃(−1) = = = = = = 0,154
1 + 𝑒1,7·(−1−0) 1 + 𝑒1,7·(−1) 1 + 𝑒−1,7 1 + 0,18 1,18

Apuntes de Marcos Román 22


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

Ejercicio 2. Supuesto un modelo TRI de Rasch de un solo parámetro. La CCI de la izquierda corresponde
al “ítem 1”, y la CCI de la derecha corresponde al “ítem 2”. ¿Cuál de los dos ítems tiene un mayor índice de
dificultad?

Ítem 1
b2 > b1 → El ítem 2 tiene mayor
Ítem 2
índice de dificultad

b1 ≈ – 0,75 b2 ≈ + 1

Modelo de Rasch de 2 parámetros

Cuando observamos a un sujeto con mayor aptitud (por ejemplo con 1,5) en la gráfica de la izquierda
su probabilidad de acierto del ítem aumenta muy poco, sin embargo, en la gráfica de la derecha aumenta
tanto que se aproxima bastante a 1, ya que la pendiente de la curva es más pronunciada, y por lo tanto el
ítem de la gráfica de la derecha discrimina más que el ítem de la gráfica de la izquierda.

Apuntes de Marcos Román 23


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

Ejercicio 3. Supuesto un modelo TRI de Rasch de dos parámetros. Para un sujeto con un nivel de aptitud
θ = 1 ¿Cuál es la probabilidad de acertar el ítem de la izquierda? ¿Y el ítem de la derecha? [Tomamos D=1,7]

𝑒𝐷𝑎(𝜃−𝑏)
𝑃(𝜃) =
1 + 𝑒𝐷𝑎(𝜃−𝑏)
Izquierda:

𝑒1.7·0,4·(1−0,75) 𝑒0,68·0,25 𝑒0,17 1,18 1,18

𝑃(1) = = = = = = 0,542
1 + 𝑒1,7·0,4(1−0,75) 1 + 𝑒0,68·0,25 1 + 𝑒0,17 1 + 1,18 2,18

Derecha:

𝑒1.7·2,4·(1−0,75) 𝑒4,08·0,25 𝑒1,02 2,77 2,77

𝑃(1) = = = = = = 0,734
1 + 𝑒1,7·2,4(1−0,75) 1 + 𝑒4,08·0,25 1 + 𝑒1,02 1 + 2,77 3,77

Modelo de Rasch de 3 parámetros


En este modelo se añade el parámetro “c”, que representa (1 − 𝑐)𝑒𝐷𝑎(𝜃−𝑏)
la probabilidad de acertar el ítem por azar, es decir la probabilidad 𝑃(𝜃) = 𝑐 +
que tienen de acertar el ítem sujetos con θ → –∞ 1 + 𝑒𝐷𝑎(𝜃−𝑏)

Apuntes de Marcos Román 24


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

Ejercicio 4. ¿Cuál de los tres ítems cuyas CCI se representan tiene una mayor probabilidad de ser
acertado por azar?

cÍtem 3 ≈ 0

cÍtem 2 ≈ 0,18

cÍtem 3 = 0,40
Ítem 1
El ítem 1 es el que tiene una mayor
probabilidad de acierto por azar. Ítem 2
Ítem 3

–∞ θ

Ejercicio 5. Supuesto un modelo TRI de tres parámetros. Dado un sujeto con un nivel de aptitud θ=0,
¿cuál es su probabilidad de acertar un ítem si a=1,5; b=0,5; y c=0,1? ¿y si “c” se eleva hasta c=0,3?
[Tomamos D=1,7]

(1 − 𝑐)𝑒𝐷𝑎(𝜃−𝑏)
𝑃(𝜃) = 𝑐 +
1 + 𝑒𝐷𝑎(𝜃−𝑏)
c = 0,1
1

P(θ) 0,5

0,1
θ=0 b =0,5

(1 − 0,1) · 𝑒1,7·1,5·(0−0,5) 0,9 · 𝑒−1,275 0,9 · 0,279 0,251


𝑃(0) = 0,1 + = 0,1 + = 0,1 + = 0,1 + = 0,1 + 0,196 = 0,296
1 + 𝑒1,7·1,5·(0−0,5) 1 + 𝑒−1,275 1 + 0,279 1,279

c = 0,3

(1 − 0,3) · 𝑒1,7·1,5·(0−0,5) 0,7 · 𝑒−1,275 0,7 · 0,279 0,195


𝑃(0) = 0,3 + = 0,3 + = 0,3 + = 0,3 + = 0,3 + 0,152 = 0,45
1 + 𝑒1,7·1,5·(0−0,5) 1 + 𝑒−1,275 1 + 0,279 1,279

EJERCICIOS DE GRAFICAS AUTOEVALUACIONES TEMA 2 PTOS 15,16 Y 17

Apuntes de Marcos Román 25


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

Aplicaciones de la TRI

• Construcción de conjuntos de ítems de propiedades métricas conocidas.


Bancos de • Luego escoges los ítems en función de tu objetivo de medición (p.e., evaluación
ítems de aprendizajes, selección de personal, detección de altas capacidades…)

• Se adaptan al nivel de aptitud del sujeto.


• Maximizan la precisión de la información que da el test sobre el sujeto
Test (minimizan el error).
adaptativos
• Dicho de otra manera, pueden conseguir la misma precisión que otros test no
adaptativos, pero a través de un menor número de ítems.

APUNTES PARA INTERPRETAR LAS GRAFICAS

PROBABILIDAD

Y Cuanto + arriba mayor probabilidad de ser acertado o elegido

MIRAMOS EN EL EJE DE Y

Cuanto + abajo menor probabilidad de ser acertado o elegido

X
 Recuerda al interpretar los datos tomaremos las líneas siempre desde donde salen o comienzan,
no donde se cortan.

ÍNDICE DE DIFICULTAD/DISCRIMINACIÓN
Y
MIRAMOS EN EL EJE DE X

X
+ DIFICIL=MAYOR INDICE DE DIFICULTAD O DISCRIMINACÓN

+ FACIL=MENOR INDICE DE DIFICULTAD O DISCRIMINACÓN

Apuntes de Marcos Román 26


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

EJERCICIOS (TEMARIO VIDEO CRISTINA)

UN PARAMETRO
Tenemos el primer ítem de un test P1 cuyo índice de dificultad es 15 (b1), el rasgo
latente (⊖) es 2, y se supone una D=2. Hallar la probabilidad de que ese sujeto acierte
el ítem:

b1=15=1
𝒆𝑫(⊖−𝒃𝟏 ) D=2
Pi(⊖)=
𝟏+𝒆𝑫(⊖−𝒃𝟏 ) ⊖=2

𝒆𝟐(𝟐−𝟏) 𝟕′𝟑𝟖𝟗
Pi(⊖)=𝟏+𝒆𝟐(𝟐−𝟏) =𝟏+𝟕′𝟑𝟖𝟗 = 0’88
La probabilidad de que el sujeto acierte un ítem con un índice de dificultad de 1, es el 88%

____________________________________________________________________________________
CALCULAR 𝒆𝑫(⊖−𝒃𝟏 ) CON LA CALCULADORA

SHIFT INe
cuando sale la e introducir su valor después de poner los distintos
Valores de sus incógnitas en este caso 2x(2-1) y dar a igual= 7’389
____________________________________________________________________________________

Para conseguir un resultado más aproximado a la realidad, podemos utilizar más


parámetros en el cálculo.

DOS PARAMETROS
La nueva variable que se incluye es el índice de discriminación del ítem,
representado por a. Hagamos una prueba para el ítem 2 de un test cuyo
índice de dificultad es 0’7 (b1), el índice de discriminación es 0’9 (a1), el
rasgo latente (⊖) es 3, y se supone una D=1. Hallamos la probabilidad de
que ese sujeto acierte el ítem:

b1=0’7
a1=0’9 𝒆𝑫𝑎(⊖−𝒃𝟏 )
Pi(⊖)=
⊖=3 𝟏+𝒆𝑫𝑎(⊖−𝒃𝟏 )
D=1
Apuntes de Marcos Román 27
Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2


𝒆(1∗0 9)(3−0′7) 𝒆(0′9)(3−0′7) 7′924
P2(3)= ′ (3−0′7) = ′ (3−0′7) = 1+7′924 = 0’89
𝟏+𝑒 (1∗0 9) 𝟏+𝑒 (0 9)
La probabilidad de acertar un ítem de dificultad 0’7 e índice de discriminación de 0’9,
será del 89 %

TRES PARAMETROS
Este modelo añade la probabilidad que tienen las personas sin conocimiento del tema
de acertar el ítem c. Seguimos con el ejemplo anterior, pero añadimos esta variable
suponiendo que esta probabilidad es de 0’1 (c1).

D=1
⊖=3 (1−𝑐1 )𝒆𝑫𝑎(⊖−𝒃𝟏 )
Pi(⊖)=𝑐1 +
b1=0’7 𝟏+𝒆𝑫𝑎(⊖−𝒃𝟏 )
a1=0’9
c1=0’1

(1−0′1)𝒆(1∗0 9)(3−0′7) 0’9∗7′924
P2(3)=0′1 + ′ = 0’1 + =
𝟏+𝒆(1∗0 9)(3−0′7) 8′924
7′1316
P2(3)= 0’1+ = 0′ 89
8′924

AUTOEVALUACIONES TEMA 2
18.- Supuesto un modelo TRI de Rasch de un solo parámetro, y dado un ítem con b=1
¿Cuál es la probabilidad de acertar dicho ítem para un sujeto con una aptitud
⊖=0’5(tomamos D=1’7)

b1=1
D=1’7
⊖=0’5
𝒆𝑫(⊖−𝒃𝟏 )
Pi(⊖)=𝟏+𝒆𝑫(⊖−𝒃𝟏 )

𝒆𝟏′𝟕(𝟎′𝟓−𝟏) 𝟎′𝟒𝟐𝟕
Pi(0’5)=𝟏+𝒆𝟏′𝟕(𝟎′𝟓−𝟏) =𝟏+𝟎′𝟒𝟐𝟕 = 0’299
Respuesta (a)

Apuntes de Marcos Román 28


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2

19.- Supuesto un modelo TRI de Rasch de dos parámetros, y dado un ítem con a=2 y
b=0 ¿Cuál es la probabilidad de acertar dicho ítem para un sujeto con una aptitud
⊖=1?

b1=0
𝒆𝑫𝑎(⊖−𝒃𝟏 )
a1=2 Pi(⊖)=
𝟏+𝒆𝑫𝑎(⊖−𝒃𝟏 )
⊖=1
D=1’7

𝒆(1′7∗2)(1−0) 𝒆(3′4) 29′96


P1(1)= (1′7∗2)(1−0) = (3′4) = 1+29′96 = 0’967
𝟏+𝒆 𝟏+𝒆

Respuesta (a)

20.- Supuesto un modelo TRI de Rasch de tres parámetros, y dado un ítem con a=0’5 y
b=-1, y c=0’2 ¿Cuál es la probabilidad de acertar dicho ítem para un sujeto con una
aptitud ⊖=0? Tomamos D=1’7

D=1’7
⊖=0 (1−𝑐1 )𝒆𝑫𝑎(⊖−𝒃𝟏 )
b1=1
Pi(⊖)=𝑐1 +
𝟏+𝒆𝑫𝑎(⊖−𝒃𝟏 )
a1=0’5
c1=0’2

(1−0′2)𝒆(1′7∗0 5)(0−(−1)) 0′ 8∗2′3346
P1(0)=0′2 + ′ = 0’2 + =
𝟏+𝒆(1′7∗0 5)(0−(−1)) 1+2′3346
1′86768
P1(0)= 0’2+ = 0′76
3′3396
Respuesta (b)

Apuntes de Marcos Román 29


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 3

Tema 3 La observación

Objetivos

 Comprender la utilidad de la observación en la investigación


 Distinguir los distintos tipos de observación
 Construir instrumentos de observación
 Calcular la fiabilidad de los instrumentos de observación
 Conocer procedimientos para el análisis de datos de observación

La observación
Uno de los actos innatos del ser humano es la observación, de esta manera
construye el conocimiento de su entorno.

Primer paso del método científico (previo a la enunciación de hipótesis)


La observación puede Un método de investigación en sí mismo (método observacional) (no lo vamos a
ser entendida como… estudiar)
Técnica de recogida de datos

Observación como proceso sistemático y controlado, mediante el cual se recoge información, en un


contexto natural o ficticio, durante la realización de una investigación (que puede ser experimental, cuasi
experimental, ex-post-facto)

En toda observación intervienen estos elementos


Medio de
Observador Situación observada
observación
Cuerpo de Instrumentos de
Circunstancias que
conocimientos registro
Sujeto que observa Objeto observado rodean la
desde el que se
observación
observa

Tiene que conocer aquello que está Vinculado


observando para poder no solo mirar sino
ver. Observar desde un marco teórico.

La observación se convierte en científica en la medida en que…

Sirve a un objetivo de investigación ya formulado

Es planificada de forma sistemática

Es controlada y relacionada con proposiciones más generales

Está sujeta a comprobaciones de validez y fiabilidad

Apuntes de Marcos Román 1


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 3

Mientras que la mayoría de las variables del dominio cognitivo se miden a través de pruebas; las
variables que mejor se prestan a la observación como técnica de medida son…

Conducta y comunicación Dominio psicomotriz


Actitudes e interese
Se puede medir por “Observación de
rasgos” o “Escalas de actitudes” (Tema 7)
El observador
El problema principal en la observación es propiamente el observador
Para evitar que el observador
registre su interpretación de
Cuando solo hay un una determinada conducta se
observador y solo puede utilizan varios observadores
compararse consigo mismo independientes para que
la carga de subjetividad que observen la misma situación,
posee el observador debe posteriormente se comparan
ser constante en cada todos los registros y éstos
observación que realice deberían ser iguales o casi
iguales

Para evitar la reactividad hay dos formas:


- La habituación, se realizan varias sesiones de
Los sujetos se portan
observación hasta que los sujetos se han
de forma diferente por
el mero de hecho de acostumbrado a la presencia del observador
y empiezan a externalizar su conducta típica,
saber que están siendo
observados. a partir de aquí se comienza a registrar lo
observado
- A través de una grabación, el observador no
Reactividad (+) Habituación está presente. Por motivos éticos se debe
informar que se va a realizar la grabación –
Consentimiento informado

Al observador se le exige el siguiente perfil…

 Conocimiento de la temática bajo estudio


 Imparcialidad
 Madurez mental, discreción e imaginación controlada Antes de empezar una investigación se
 Estar libre de toda fatiga reúne el equipo de investigación y se
decide:
 Actitud alerta y activa
- Qué se va a observar
 Capacidad para escuchar y oír, ver y percibir - Qué se entiende por cada categoría de
 Habilidad para pasar desapercibido observación
 Comprensión de fenómenos complejos - Y los observadores se someten a un
 Habilidades comunicativas proceso de entrenamiento para detectar
 Empatía las conductas acordadas
 Capacidad de autocrítica

Tipos de observación

Observación no sistematizada, ocasional o no controlada (Espontánea, no es


Según la sistematización científica)
o control Observación sistematizada o controlada (Científica. Se determina: qué se va a
observar; cuántas veces; qué periodos de tiempo; a qué grupo de sujetos…)

Apuntes de Marcos Román 2


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 3

Observación interna o participante (En investigaciones de tipo cualitativo,


interpretativo o etnográfico. El observador se introduce en la situación que
observa y puede interactuar con los sujetos. Se registra con instrumentos
narrativos: diarios, registros anecdóticos, etc.)
Conforme al grado de
Observación externa o no participante (Los observadores observan sin
participación del
interactuar con los sujetos, incluso pueden observar a través de una grabación.
observador
Se suelen registrar conductas más específicas y más concretas, a
través de listas de control, rejillas de observación, etc., donde se marcan la
aparición o no y la frecuencia de aparición de las conductas)
Auto-observación

Unidades de observación
Las unidades de observación son el conjunto de eventos de conducta que se pueden adoptar a la hora
de realizar un proceso de observación…
Molares (Global)

Continuo de comportamiento Atributos o Rasgos (Inferir un Conducta


(Flujo de acontecimientos tal y determinado rasgo a partir de (utilizadas
como van pasando – diario una serie de conductas como
narrativo) particulares) unidad de
análisis)
Interacciones Productos de conductas

Moleculares (Particular o específico). Más concretas. Observación más externa

Unidades de medida
A continuación se presentan un conjunto de posibles medidas que se pueden extraer de un registro
observacional…

 Ocurrencia (si el fenómeno se da o no)


 Frecuencia (f) (cuántas veces se da el fenómeno)
o Razón de ocurrencia: f / T
o Frecuencia relativa: f / F
 Orden (en qué secuencia aparecen los fenómenos)
 Duración (d) (tiempo que dura el fenómeno)
o Duración total: D = ∑ d
o Duración relativa: D / T
 Latencia (tiempo entre el estímulo y la respuesta)
 Intensidad (fuerza del fenómeno; requiere de una medida ordinal)

Técnicas para el registro de los Datos de Observación


Los registros de observación permiten al investigador contar con un tipo de rejilla, plantilla, lista… en
la que puede apuntar, no sólo la presencia o ausencia de determinado comportamiento, sino su frecuencia,
intensidad, duración…

Apuntes de Marcos Román 3


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 3

Lista de control (Check-List)

• Enumera una serie de características o conductas, y se marca presencia o ausencia

Registro anecdótico

• Se registran las observaciones detalladas sobre comportamientos poco frecuentes

Sistema de rasgos

• Además de constatar presencia o ausencia de la conducta, se indica su frecuencia y


duración como indicadores que permitan inferir un rasgo del sujeto.

Escalas de estimación o apreciación

• Pueden ser numéricas, gráficas o descriptivas

Sistema de categorias

El instrumento más importante de recogida de información observacional es el sistema de categorías


(…) el proceso de categorización requiere un estudio teórico profundo previo para decidir qué
conductas/categorías son relevantes y en consecuencia deben de ser registradas.

El proceso de categorización exige…

 Definición clara y precisa de las categorías


 Exhaustividad de las categorías (Cualquier sujeto se tiene que poder adscribir a una categoría.
No puede quedar ningún sujeto sin categorizar. Las categorías cubren todo el espectro de la
variable observada)
 Mutua exclusividad de las categorías (disjuntividad) (Las categorías no se solapan. Cada
sujeto solo puede estar adscrito a una categoría)
 Dimensionalidad (número de valores/estados que admite la categoría)
 Categorías continuas o discretas
 Tamaño de la Unidad (‘molar’ vs. ‘molecular’)

Codificación

El proceso de observar

Propósito de la Observación Condiciones de la Observación Técnicas de Observación


 ¿La investigación necesita  ¿Quién o quiénes serán observador? y Análisis de Datos
de la observación?  ¿Dónde se realizará la observación?  ¿Técnicas de registro de
 ¿Unidades de (natural vs. artificial) la observación?
observación? ¿Unidades de  ¿Cuántas sesiones/tiempo de  ¿Fiabilidad de la
Medida? observación? observación?
 ¿Muestra de las conductas  ¿Número y entrenamiento previo de  Análisis de datos
a observar? los observadores?

Apuntes de Marcos Román 4


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 3

Análisis de Validez y Fiabilidad


La validez se analiza en base a los daos recogidos y su relación con un criterio externo que sea
representativo de las conductas observadas.
Para la fiabilidad hay dos métodos:
- Comparación o correlación con otro observador.
- Estabilidad temporal.
 Fiabilidad como acuerdo entre observadores (fiabilidad inter-observadores)
Se calcula por medio del coeficiente Kappa.

Po es la frecuencia (proporción) de ocasiones en las que los observadores están de acuerdo.

Pe es la frecuencia (proporción) de ocasiones en las que se habría dado de forma fortuita.

Ejemplo 1: ¿Cuál es el coeficiente Kappa? (Página 125 del Libro)

c1 c2 c3 c3 ni.
c1 0 1 2 0 3
c2 4 2 3 1 10
c3 2 0 4 2 8
c4 1 2 0 3 6
n.i 7 5 9 6 27

Po es la proporción de ocasiones en las que los observadores están de acuerdo.

Pe es la proporción de ocasiones en las que éste se habría dado de forma fortuita. Donde

ni. y n.i son las observaciones marginales por cada categoría.


1 9 1 0,33 − 0,24
· (0 + 2 + 4 + 3) = = 0,12
𝑃𝑜 =
27 27
= 0,33; 𝑃𝑒 =
27 2 · (3 · 7 + 5 · 10 + 8 · 9 + 6 · 6) = 0,24; 𝜋 = 1 − 0,24

Ejemplo 2: Complete la tabla, calcule el coeficiente Kappa (π) e interprételo (Examen Septiembre
2013)

Apuntes de Marcos Román 5


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 3

2 observadores de manera independiente, sin intercambiar información, observan a 18 niños y niñas


de un aula durante una clase de cuarenta minutos. Al finalizar el período de observación cada observador
categoriza a cada niño o niña en una de las siguientes 4 categorías, en función de su estilo de comunicación
o de interacción. El sistema de categorías es exhaustivo y excluyente.

c1 = agresivo c2 = asertivo c3

= pasivo c4 = tímido

En primer lugar, tendríamos una matriz de datos:

Observador 1 Observador 2
Sujeto 1 c1 c3
Sujeto 2 c4 c4
… … …
Sujeto 18 c3 c3

A partir de esta matriz obtendríamos la siguiente tabla de contingencia:

Observador 2
ni. Los acuerdos entre los dos
c1 c2 c3 c4
observadores se
Observador 1

c1 1 3 0 0 4 encuentran en la diagonal.
c2 2 3 0 0 5 Cuantos más casos se
c3 1 0 2 1 4 encuentren en la diagonal
c4 1 2 0 2 5 es mayor el acuerdo.
n.i 5 8 2 3 18

Sumatorio de los
N → Número de sujetos
valores en la diagonal
Sumatorio de los
P0 → Proporción de acuerdos observados.
productos marginales

Pe → Proporción de acuerdos esperables por azar.

Apuntes de Marcos Román 6


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 3

Apuntes de Marcos Román 7


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 3

EJERCICIO FIABILIDAD COMO ACUERDO ENTRE OBSERVADORES

(INTER-OBSERVADORES)

Vamos a ver un ejemplo. Tenemos dos observaciones en un aula, que cada 3


minutos, registran cuál de las 4 conductas (c1,c2,c3,c4) está ocurriendo en el aula.
Después de 30 observaciones, ven sus resultados para ver el nivel de coincidencia. El
resultado es la siguiente tabla:

OBS.2
ni
C1 C2 C3 C4
C1 3 0 0 2 5

C2 1 4 4 1 10
Obs.1
C3 2 0 3 2 7

C4 1 2 0 5 8

7 6 7 10 10
ni

Apuntes de Marcos Román 8


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 3

Para calcularlo deberemos:


1) Ver cuántas veces coinciden en ambas contestaciones (c1/c1-c2/c2-c3/c3-
c4/c4)
C1/C1=3
C2/C2=4
Estos datos serán ∑ni para Po
C3/C3=3
C4/C4=5

2)Calcular Po (veces que están de acuerdo)


𝟏
Po= 𝑵 ∑𝒏𝒊

𝟏
Po= 𝟑𝟎 (𝟑 + 𝟒 + 𝟑 + 𝟓) = 𝟎′𝟓

3)Calcular Pe (veces que la coincidencia se habría dado de forma fortuita)

∑ni * ni = (7*5)+(6*10)+(7*7)+(10*8)

𝟏
Pe= 𝑵𝟐 ∑𝒏𝒊∗ 𝒏𝒊∗

𝟏
Pe= 𝟑𝟎𝟐 (𝟑𝟓 + 𝟔𝟎 + 𝟒𝟗 + 𝟖𝟎) = 𝟎′𝟐𝟒𝟖

4)CALCULAR YA LA FIABILIDAD

Po=0’5
Pe=0’248

𝟎′ 𝟓−𝟎′𝟐𝟒𝟖
∏= = 0’336
𝟏−𝟎′𝟐𝟓

Apuntes de Marcos Román 9


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 3

AUTOEVALUACION TEMA 3 PREGUNTA 17

Para calcularlo deberemos:


2) Ver cuántas veces coinciden en ambas contestaciones (c1/c1-c2/c2-c3/c3-
c4/c4)
C1/C1=3
C2/C2=4
Estos datos serán ∑ni para Po
C3/C3=4
C4/C4=5

2)Calcular Po (veces que están de acuerdo)


𝟏
Po= 𝑵 ∑𝒏𝒊

𝟏
Po= 𝟐𝟓 (𝟑 + 𝟒 + 𝟒 + 𝟓) = 𝟎′𝟔𝟒

3)Calcular Pe (veces que la coincidencia se habría dado de forma fortuita)

∑ni * ni = (4*5)+(6*7)+(7*6)+(8*7)

𝟏
Pe= 𝑵𝟐 ∑𝒏𝒊∗ 𝒏𝒊∗

𝟏
Pe= 𝟐𝟓𝟐 (𝟐𝟎 + 𝟒𝟐 + 𝟒𝟐 + 𝟓𝟔) = 𝟎′𝟐𝟓𝟔
Apuntes de Marcos Román 1
0
Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 3

4)CALCULAR YA LA FIABILIDAD

Po=0’64
Pe=0’256

𝟎′ 𝟔𝟒−𝟎′𝟐𝟓𝟔
∏= = 0’516 RESPUESTA ©
𝟏−𝟎′𝟐𝟓𝟔

EJERCICIO FIABILIDAD ENTRE OBSERVACIONES

(INTRA-OBSERVADOR)

AUTOEVALACION TEMA 3 PREGUNTA 20

Apuntes de Marcos Román 1


1
Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 3

D D2
0 0
-3 9
-1 1
6∗26 156
1 1 rs = 1 - =1 - =1-0’1575
10(102 −1) 10(99)
1 1
rs=0’8424
1 1
Respuesta ©
2 4
-1 1
2 4
-2 4
∑D2 =26
D= diferencia entre las dos observaciones, respetando los signos

Ejemplo 4: Un observador, a partir de una grabación de vídeo, ordena a 8 sujetos de una clase de
más a menos agresivo tras una primera observación A; y vuelve a hacerlo tras una segunda observación B
¿Cuál es la fiabilidad entre observaciones (intra-observador)?

Nivel de medida ordinal.

Calculamos la correlación entre las dos columnas. Con el coeficiente de correlación ordinal de
Spearman (rs)

Siendo:

n = número de sujetos observados.

D = diferencia de rangos o posiciones que ocupa un mismo sujeto en dos observaciones distintas.

D D2
-2 4
0 0
-2 4
-1 1
2 4
0 0
0 0
3 9
2
∑ D = 22
6 · 22 132 132

Apuntes de Marcos Román 1


2
Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 3

𝑟𝑠 = 1 − =1− =1− = 1 − 0,26 = 0,74


8 · (82 − 1) 8 · 63 504

Se considera buena fiabilidad


intra-observador a partir de
r = 0,7

Diagrama de dispersión

Análisis de datos
En el análisis de datos será necesario recoger la información de las unidades de medida con lo que se
pueden realizar una gran variedad de análisis cuantitativos. El tipo de análisis a utilizar depende en primera
instancia de los objetivos e hipótesis de investigación planteadas y en segundo lugar de las posibilidades
informativas de los datos registrados (sólo frecuencia, duración, secuencia de categorías, ...

Apuntes de Marcos Román 1


3
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4
Tema 4 Test y Pruebas Objetivas

Objetivos

 Aprender el significado de los test y pruebas objetivas


 Conocer las etapas de construcción y aplicación de los test o pruebas
 Conocer estrategias para confeccionar buenos ítems
 Saber construir test y pruebas objetivas en el contexto educativo
1. Introducción
Los test y pruebas objetivas tienen en común que ambos tienen respuestas correctas y
respuestas incorrectas.
¿En qué se diferencian test y pruebas objetivas?

Los test están dirigidos a la medida de aptitudes, capacidades y/o habilidades. (Inteligencia,
aptitud visoespacial, aptitud numérica, razonamiento… Los test se pueden aplicar aunque no haya
habido un proceso de enseñanza-aprendizaje explícito. Las capacidades ya las posee el individuo
y se aplica el test para ver en qué medida se da una determinada capacidad).

Las pruebas objetivas están dirigidas a la medida de conocimientos. (Las pruebas se suelen
aplicar una vez se ha acometido un proceso de enseñanza-aprendizaje).

2. Test
Con el nombre de “test” se engloba todo un conjunto de instrumentos que se vienen utilizando
en la investigación educativa con la intención de recoger información sobre las aptitudes,
capacidades y/o habilidades de los sujetos.

Los test son reactivos, al sujeto se le presenta una serie de ítems, que son problemas o
situaciones problemáticas, y se pide al sujeto que reaccione ante ellos emitiendo una respuesta.
Los ítems muchas veces reciben el nombre de reactivos, ya que son el elemento de estímulo que
provoca la respuesta en el sujeto y a partir de esa respuesta se puede inferir el nivel que el sujeto
tiene de esa capacidad que se está midiendo.
Características de los test:

 Seguridad y precisión en la medida (fiabilidad).


 Elección de una muestra de conductas representativas de la aptitud o habilidad a medir
(validez de contenido, si el constructo tiene una serie de partes en el test tiene que haber
ítems que representen todas esas partes).
 Comparación de conductas con un grupo normativo (baremación).
 Predicción o inferencia de conductas más generales e importantes que las observadas en el
test (validez predictiva).

Utilidades de los test:

 Clasificar a los sujetos y grupos en diversas categorías


 Analizar diferencias intra-grupos, inter-grupos, inter-individuales o intra-individuales
 Verificar hipótesis
 Predecir comportamientos
 Seleccionar individuos o grupos

Apuntes de Marcos 1
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4
3. Pruebas objetivas
Las pruebas objetivas están dirigidas a la medida de conocimientos.

Cuando necesitamos evaluar el rendimiento de los estudiantes con respecto a un conjunto de


conocimientos, en este caso se debe preparar una prueba ‘ad hoc’, a la que se denomina ‘prueba objetiva’

4. Construcción de los test o pruebas


La elaboración de test o pruebas pasa por las siguientes fases:

1. Formular los objetivos de la prueba, o en su caso el constructo hipotético a medir


2. Definir la población objeto de la prueba. (El contenido de la prueba debe estar alineado con
el grado de maduración y demás características de la población diana)
3. Muestreo de preguntas a partir de una tabla de especificaciones
4. Construcción de los ítems, de forma adecuada para lo que se quiere medir. Banco de ítems
5. Prueba piloto sobre una muestra pequeña de sujetos
6. Primer análisis de ítems y revisión de la prueba
7. Experimentación de la prueba sobre una muestra representativa de sujetos
8. Análisis de datos: cálculo de la validez, fiabilidad, análisis de ítems y baremación
9. Elaboración del manual de instrucciones (protocolo de aplicación)
4.1. Objetivos de los test o pruebas

Definir cuál es la variable de interés


Definición operativa del constructo psicológico a medir en el caso de test (Definición
concreta. Marco teórico desde el que se parte)
Definición precisa del universo de conocimientos en el caso de pruebas objetivas

Definir la población objetivo de la prueba o test

Definir la utilidad perseguida con la prueba o test

4.2. Especificación de la prueba o test

La herramienta más utilizada, sobre todo en el dominio cognitivo, es la llamada tabla de


especificaciones del test o prueba. Un posible modelo de tabla tiene: en las columnas, las distintas
áreas de contenidos relevantes del constructo; y en las filas, las distintas operaciones cognitivas de
la taxonomía de Bloom que pueden operar sobre el constructo.
Contenidos

Suma Resta Multiplicación Divisió Total


n
Proceso

Conocimiento
Comprensión
s

Aplicación
Total

Apuntes de Marcos 2
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4
Clasificación de Bloom

En el ámbito cognitivo…

Ítems de elección Múltiple


[Para medir en las categorías inferiores Binaria o alternativa (Verdadero o Falso)
de la taxonomía de Bloom] Emparejamiento
Ítems de construcción De respuesta corta o completar
[Para medir en las categorías superiores De respuesta extensa
de la taxonomía de Bloom]

En el ámbito no cognitivo… (Tema 7. Las escalas)


(valores, personalidad, opiniones, actitudes, intereses…)

Ítems de respuesta abierta Ítems de respuesta cerrada


Escalas de Lista
categorías s

Respecto a la longitud de la prueba debe tenerse en cuenta: la tabla de especificaciones,


para que estén representadas todas las celdas (p.e. 2 ítems por celda); el tiempo estimado de
aplicación de la prueba (p.e. 1 minuto por ítem); la fiabilidad estimada y deseada para la prueba.

Cuando hablamos de ‘longitud’ de una prueba, nos referimos al número de ítems que la forman. A
este respecto, una prueba debe contener como mínimo 1 ítem procedente de cada una de las celdas
de la tabla de especificación. De hecho, algunos autores elevan esta exigencia hasta 2 ítems por
celda.

Dos grandes tipos de pruebas: Velocidad y Potencia.

 Pruebas de velocidad: tienen un tiempo limitado, pensadas para que no se puedan realizar
enteras. Se mide no solo si se hacen los ítems sino la velocidad haciéndolos.
Apuntes de Marcos 3
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4
 Pruebas de potencia: sin límite de tiempo. Calcular la potencia máxima, rendimiento
máximo del sujeto.

Las características métricas deseadas marcarán finalmente el reparto de los ítems porque
si la prueba está orientada para un nivel de conocimientos se debe saber el nivel de dificultad de
los ítems y la discriminación de los mismos…

CLASIFICACIÓN DE PROPORCIÓN LÍMITES DEL


LOS APROXIMADA ÍNDICE DE
ELEMENTOS DIFICULTAD
intermedia
Prueba de
dificultad

Muy fáciles 0,1 - 10% De 0,75 a 0,95


Fáciles 0,2 - 20% De 0,55 a 0,74
Normales 0,4 - 40% De 0,45 a 0,54
Difíciles 0,2 - 20% De 0,25 a 0,44
Muy difíciles 0,1 - 10% De 0,05 a 0,24

En función de la finalidad de la prueba, podremos matizar la dificultad de la misma, se


debe buscar un patrón de dificultad u otro, por lo que se puede cambiar la distribución anterior.

4.3. Confección de la prueba o test


Confección de los ítems…

La construcción de los ítems se debe realizar por personas expertas en la temática y


conocedoras de la población diana. Se aconseja crear unas tres veces más de ítems que los
necesarios y cuando menos el 25% más.

Reglas generales:

 Lenguaje utilizado claro y sencillo (sin tecnicismos)


 Evitar negaciones en los enunciados
 Si se quieren respuestas concretas las preguntas deben ser concretas
 Expresar una única idea por ítem
 No incorporar términos morales (juicios de valor)
 Evitar formular preguntas de doble efecto (que puedan implicar una doble respuesta). Un
problema planteado en varios pasos y cada paso, que tiene una solución parcial, es un ítem.
A medida que se avanza se arrastran los resultados del paso anterior. Se puede acabar
arrastrando un error inicial al resto de los ítems.
 Evitar alternativas de respuesta del tipo “ninguna de las anteriores” o “todas las anteriores”
 Controlar la posición de la opción correcta (que no siga un patrón predecible)
 Evitar dar pistas sobre la opción correcta

Confección de los ítems… (en el ámbito no cognitivo) (Tema 7. Las escalas)

Controlar los siguientes sesgos…


Deseabilidad social Aquiescencia Respuesta extrema
Responder aquello que Responder sistemáticamente Responder siempre alguna de
tenga mayor grado de siempre de acuerdo o siempre las respuestas extremas
aceptación social en desacuerdo independientemente del ítem
respondido

Apuntes de Marcos 4
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4
Confección de la prueba…:

LAS INSTRUCCIONES
Las instrucciones de aplicación de la prueba tendrán como objetivo la comprensión de la
mecánica de la misma para que no se produzca ningún error por desconocimiento de ésta (…) Si se
necesita, vendrá ilustrada con algún ejemplo aclaratorio y tendrá distinta redacción según se realice
la prueba por correo, web o de forma presencial (más instrucciones en los formatos en los que no
hay un aplicador presente)
FORMATO DE PRESENTACIÓN DE LA PRUEBA
Es importante el orden en que se incluyen las preguntas en la prueba, ya que la secuencia
de los
ítems puede influir en el rendimiento del sujeto…

Pautas generales:

 Al inicio de la prueba: presentación solicitando colaboración del sujeto y dándole a conocer


los objetivos de la prueba.
 Los ítems se ordenan de fácil a difícil, de general a particular, de menos personales a más
personales (comprometidas).
 Los ítems se ordenan de forma lógica y se agrupan de manera temática para evitar el
desconcierto del sujeto.
 Los datos del sujeto que se tomen como variables de análisis (p.e. variables
sociodemográficas) se sitúan al final.
 Respecto del aspecto formal: evitar ítems cortados, gráficas deslocalizadas o con poca
resolución

SISTEMA DE REGISTRO DE LAS RESPUESTAS

El registro de los resultados de la prueba se puede realizar en el propio cuadernillo de la


prueba o en una hoja de registro preparada “ad hoc”. Para utilizarse posteriormente la prueba es
aconsejable la segunda opción, aunque puede representar cierta dificultad sobre todo si la población
objetivo es de corta edad.

5. Aplicación de la prueba o test


La aplicación o administración de la prueba se puede realizar de distintas maneras…

Colectiva (todos lo hacen a la vez, Prueba escrita o Personal (el aplicador está
pero prueba presente), por correo o por
cada uno hace su prueba) o en la web teléfono
Individual

Apuntes de Marcos 5
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4

6. Puntuación de la prueba o test


Una vez construida y aplicada la prueba, para hacer operativo el instrumento de medida se necesita…

a) Asignar puntuaciones a los ítems

Tipo de Tipo de ítem Valoración (por ejemplo)


Prueba
Elección múltiple 1 (respuesta correcta); 0 (respuesta incorrecta)
Cognitiva Dos alternativas 1 (respuesta correcta); 0 (respuesta incorrecta)
Emparejamiento Número de emparejamientos correctos
Escala de Asignar un número entero a cada categoría y anotar el
No categorías número
cognitiva de la categoría escogida. Posición más negativa
(Tema 7) el 1 e ir subiendo de valor.
Listado 1 (si marca un término) y 0 (si no lo marca)

b) Construir la puntuación de la prueba

La puntuación de la prueba habitualmente resulta de sumar las puntuaciones de todos los


ítems. Si el investigador desea ponderar algunos ítems, la suma será ponderada según estos
valores.

En las pruebas cognitivas de elección múltiple se puede dar el caso que los sujetos
contesten a los ítems por azar → fórmula de corrección.

Apuntes de Marcos 6
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4

7. Interpretación de las puntuaciones de la prueba o test


Una vez calculada la puntuación de un sujeto en la prueba se necesita referir dicha puntuación
o bien a un grupo normativo de referencia (norma) o bien a un criterio (prueba criterial (Tema
8)). En este tema sólo vemos la interpretación normativa.

La puntuación respecto del grupo normativo puede ser de tres


tipos
Puntuaciones cronológicas* Puntuaciones centiles** Puntuaciones típicas***
Se traduce la puntuación del
Porcentaje de sujetos del
P.e. Relación entre ‘edad mental’ sujeto a una puntuación típica
grupo normativo que están
/ ‘edad cronológica’ (en función de la media y DT
por debajo de la puntuación
del
del individuo
grupo normativo)

* Un sujeto Se pueden relacionar entre sí. Cuando lo que se está midiendo


se distribuye de manera normal se pueden transformar las
con: E.C.=
puntuaciones típicas en percentiles por las propiedades de la
7 años curva normal.
E.M.= 9 años
Decimos que tiene edad mental de 9 años porque su rendimiento en los test es igual o
parecido al de un sujeto típico/medio de 9 años de edad.
E.M. 9
P. C. = x 100 = x 100 → Se obtiene un cociente intelectual (C.I.). Ya no se utiliza.
E.C. 7

** Porcentaje de sujetos que quedan por debajo de un determinado sujeto en el rendimiento


de una prueba. Por ejemplo, si un sujeto está en un percentil 70 quiere decir que su rendimiento en
la prueba supera o deja por debajo al 70% de sus compañeros/compañeras de la misma edad.
*** Quiere decir cuantas desviaciones típicas está el sujeto por encima o por debajo de la
media de su grupo de referencia. Si está en la media la puntuación típica es 0, si está por encima
tiene puntuación típica positiva y si está por debajo tiene puntuación típica negativa. Puntuaciones
z.

8. Clasificación de los test


Criterios Tipos
Método Psicométricos (Inteligencia/aptitud)
Proyectivos (Personalidad/motivación)
Finalidad Investigación
Diagnóstico
Área de comportamiento Rendimiento
Inteligencia y
aptitudes
Personalidad, actitudes e intereses

Apuntes de Marcos 7
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4
Modalidad de aplicación Orales
Papel y
lápiz
Manipulativos o de
ejecución Situacionales o
simulaciones
Computerizados
Objetivos
Demandas exigidas al sujeto Velocidad o rapidez
Potencia o dificultad
Modelo estadístico de base Teoría clásica de los test
Teoría de la
generalizabilidad
Teoría de respuesta al ítem
Modelo conceptual Teoría referida al criterio
Procesamiento de la
información
Rasgo latente

Tipo Ejemplos

Rendimiento académico De cada materia, lectura, escritura, cálculo


Inteligencia Wais, Wisc, Factor G de Catell, Matrices progresivas de Raven
Aptitudes diferenciales Factor verbal, factor numérico, razonamiento abstracto, factor espacial,
razonamiento mecánico, rapidez y precisión perceptiva, memoria y
atención. Ejemplo: DAT
Aptitudes especiales Habilidad psicomotora, destreza manual, destreza digital, ritmo,
velocidad,
artísticas, musicales, etc.
Personalidad Temperamento, carácter, ajuste, introversión-extroversión,
autoconcepto.
Ejemplo: MMPI, EPI, 16PF de Catell, etc.
Proyectivos Psicodiagnóstico de Rorschach, test del árbol de Koch, grafología, etc.
Autoconcepto Tennessee Self-Concept Scale, etc.
Cuestionario de Inventario de intereses profesionales
intereses
Valores Cuestionario de valores de Scott, test de reacción valorativa de V.
García Hoz,
etc.
Sociométricos Basados en el sociograma introducido por Moreno
Creatividad Test de pensamiento divergente de Guilford, test de asociaciones
remotas de
Mednick, etc.

Apuntes de Marcos 8
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4
Ejercicio II (Examen Septiembre 2014)
1) Un test de inteligencia general tiene una media de 20 y una desviación típica de 5
puntos. Una persona que tiene una puntuación de 30 puntos en el test

Datos =20

Grupo s=5

Sujeto Xi=30

a) ¿Cuál será su puntuación típica?

El sujeto se está desviando dos desviaciones típicas por encima de la media.


b) Interpretar dicha puntuación típica en términos de probabilidad, suponiendo
distribución normal

z
0
-3 +3
z = +2

Apuntes de Marcos 9
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4
La tabla nos indica para cada z el porcentaje, expresado en tanto por 1, que queda por debajo.

Segundo
decimal de
la
puntuación
típica

La probabilidad asociada a una z ≤ 2 es 0,9772

El sujeto deja por debajo al 97,72% de los sujetos de su grupo

normativo. El percentil se expresa en un número entero y se


redondea hacia abajo.

El sujeto está en un percentil 97 → Pc = 97

Apuntes de Marcos 10
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4
Ejercicio I (Examen Febrero 2012)
Un profesor tiene los resultados de una prueba objetiva que realiza a sus estudiantes y sabe
que Sara ha obtenido 20 puntos, pero los padres de la niña quieren saber la calificación de la misma
en relación a un grupo normativo cuyas puntuaciones se han obtenido a nivel nacional. La media
de dicho grupo es 22,4 y su desviación típica 4,2.

Datos =22’4

Grupo s=4’2

Sujeto Xi=20

Observando estos datos podemos deducir que la puntuación típica va a ser negativa y el
percentil va a estar por debajo de 50

Se pide:
e) Calcular e interpretar la puntuación típica de Sara
20 − 22,4
z= = −0,57
4,2
f) Calcular el percentil donde estaría la niña
La tabla solo recoge puntuaciones positivas por lo que debemos hacer una
simetría. 1º buscamos la z = + 0,57

71,5% 28,5%

z
-∞ 0 +∞
-3 +3
z = +0,57

Apuntes de Marcos 11
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4

28,5% 71,5
%

z
-∞ 0 +∞
-3 +3
z = -0,57

Pc = 28
g) Transformar la puntuación a la escala normal (50,10)

Pasar una z a una escala que siempre tenga un valor positivo y entero.
Escala t:

t = 50 + 10z

t = 50 + 10 · (−0,57) = 44,28
En esta escala normalmente también se da el número entero solamente → t = 44

PROBLEMAS DEL TEST DE AUTOEVALUACIÓN TEMA 4

Xi=9’1 (puntuación directa del sujeto)


=6’3
S=1’5

9′ 1−6′3
Z= = 1’866 Respuesta c)
1′5

Z=1’87

Apuntes de Marcos 12
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4

z= 1’87

t=50 + 10z
t=50 +10 (1’87)
t=68’7 Respuesta b)

Necesitamos la tabla de la z.

Percentil (lo que dejamos por debajo):


 Si esta por encima de la → buscar en la 3ª columna (area mayor).
 Si esta por debajo de la → buscar en la 4ª columna (area menor).

Sabiendo esto nos vamos a la tabla de la z con su valor, en nuestro supuesto es z=1’87,
que esta por encima de la , asi que buscaremos en la 3ªcolumna (area mayor).
El dato es 0’9693 que es lo que esta en es columna y en la fila de nuestra z, pero lo
tenemos en proporción tenemos que pasarlo a % haremos: 0’9693 x 100 = 96 %

Respuesta c)

18. Has aplicado una prueba estandarizada de rendimiento lector a los/as 80 alumnos/as de
6º de Primaria de tu colegio. En el manual de la prueba aparece que ésta ha sido baremada a nivel
nacional con una muestra suficiente y representativa de sujetos de 6º Primaria. Dice el manual que
la puntuación en la prueba, que puede variar entre 0 y 100 puntos, se distribuyó normalmente en la
muestra nacional de baremación; con una media de 50 puntos y una desviación típica de 16 puntos.
Ahora quieres seleccionar a un subgrupo de tus alumnos/as de 6º de Primaria, de rendimiento lector
excelente, bajo la condición de que estén en un percentil 85 o superior (tomando la muestra nacional
como referencia).
¿Qué puntuación típica (z) en la prueba debe tener como mínimo un alumno de tu centro
para ser seleccionado?
a. 0,68
b. 0,82
c. 1,04
Para ser seleccionado, un sujeto debe tener al menos una puntuación típica en la prueba z=1,04. Tal y
como puede verse en la tabla de la curva normal, dicha puntuación típica deja por debajo de sí
al 85,08% de los sujetos; lo cual se corresponde al percentil 85.

Apuntes de Marcos 13
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4

IMPORTANTE: buscamos en la tabla del formulario el Percentil que


tenemos (85%) pero en proporción, es decir, lo dividimos entre 100= 0’85,
buscamos en la tabla el valor mas cercano a el o superior (nos lo indica el
enunciado) y miramos en que columna y en que fila se encuentra y
sumamos los dos valores.

En nuestro supuesto tendríamos:

- Columna = 0’04
- Fila = 1’00
Nos dara 1’04 Respuesta c)

19. Siguiendo con los mismos datos, ¿qué puntuación directa en la prueba debe tener
como mínimo un/a alumno/a para ser seleccionado?

a. 55,5
b. 66,6
c. 77,7
Para ser seleccionado, un sujeto debe tener como mínimo una puntuación directa en la
prueba Xi = 66,6. Se detalla a continuación:

Xi= (puntuación directa del sujeto)


=50
S=16

Apuntes de Marcos 14
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4
𝑥−50
1’04= → 1’04 *16 = x – 50
16
16’64= x – 50
16’64 + 50 = x
X= 66’64

Respuesta b)

20. Siguiendo con los mismos datos, y bajo el supuesto de que el rendimiento lector de tus
alumnos/as sea análogo al de la muestra nacional de referencia, ¿cuántos de los estudiantes de
6º Primaria de tu centro serán seleccionados para el subgrupo de rendimiento excelente?

a. 8
b. 10
c. 12

Si el rendimiento de tus alumnos en la prueba es análogo al de la muestra nacional de


baremación, entonces es esperable que el 15% de tus 80 estudiantes (es decir, un total de 12
estudiantes) se sitúen en un percentil 85 o superior.

Respuesta c)

Apuntes de Marcos 15
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 5

Tema 5 Técnicas de Encuesta

Objetivos

 Valorar la utilidad de las encuestas en las investigaciones sociales


 Conocer las distintas variantes de encuesta y sus limitaciones
 Saber elegir el modelo de encuesta más apropiado a un contexto concreto
 Diseñar un cuestionario
 Realizar los controles técnicos apropiado para controlar la calidad de la encuesta
 Saber implementar una encuesta
 Recoger y analizar los datos emanados de una encuesta
1. Introducción
Algunos definen la investigación mediante encuestas como:
“técnica cuantitativa que consiste en una investigación realizada
sobre una muestra de sujetos, representativa de un colectivo más
amplio, que se lleva a cabo en el contexto de la vida cotidiana,
utilizando procedimientos estandarizados de interrogación con el fin
de conseguir mediciones cuantitativas sobre una gran cantidad de
características objetivas y subjetivas de la población”

El “Cuestionario” es el principal ‘instrumento’ de recogida de datos, dentro de las ‘técnicas’ de


“Encuesta”

Ventajas e Inconvenientes de las Técnicas de Encuesta…

Ventajas: Inconvenientes:
 Información de (casi) cualquier  No analiza en profundidad temas
población. complejos (se suele complementar
 Información sobre hechos con la técnica de entrevista).
pasados.
 Gran capacidad para estandarizar
datos.
 Relativamente barata.

2. Tipos de encuestas
Tipo de encuestas
Por la forma de Por su Por su naturaleza Por sus fines
Por su finalidad
realizarse contenido temporal científicos
Cara a cara Hechos Transversales (una vez Exploratorias Político-sociales
Postal Opiniones en un momento dado) Descriptivas Comerciales
Telefónica Actitudes Longitudinales (ver la Explicativas Fines específicos
Ordenador evolución en varios Predictivas
On-line momentos temporales) Evaluativas

2.1. La encuesta personal


La ‘encuesta personal’ consiste en una ‘entrevista personal (estructurada)’
que se establece entre dos personas, a iniciativa del entrevistador, para obtener
información sobre unos objetivos determinados.

Apuntes de Marcos Román 1


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 5

Ventajas e Inconvenientes de la ‘encuesta personal’…

Ventajas: Inconvenientes:
 Mayor índice de respuesta.  Coste elevado en dinero y tiempo.
 Son fiables, evitan influencias de  Posible influencia del entrevistador.
terceras personas.  Se deben controlar los datos de los
 Respuestas menos evasivas e entrevistadores para evitar
inconcretas. falseamiento.
 Permiten la utilización de
materiales auxiliares.
 Pueden obtenerse datos
secundarios del entrevistado.

2.2. La encuesta telefónica

La ‘encuesta telefónica’ es un método cuya utilización ha ido en


aumento a medida que se ha incrementado el número de hogares y sujetos
con teléfono, y por tanto se ha incrementado su representatividad.

Se utiliza a menudo en ‘investigación de mercados’.

Ventajas e Inconvenientes de la ‘encuesta telefónica’…

Ventajas: Inconvenientes:
 Se puede o btener información con  Falta de representatividad muestral,
mayor rapidez. pues deben tener teléfono.
 Coste másreducido que la  Brevedad obligada de la encuesta
‘encuesta personal’ (máximo15 minutos).
 Permite ac ceder a personas más  No se puede utilizar material
ocupadas. auxiliar (fotografías, bocetos…)
 El índice de respuesta suele ser
bastante elevado (aunque en los
últimos años ha descendido por la

presión deltelemarketing)

2.3. La encuesta postal

La ‘encuesta postal’ consiste en el envío por correo de un cuestionario a las


personas que constituyen la muestra con la esperanza de que por la misma vía lo
devuelvan cumplimentado.

Ventajas e Inconvenientes de la ‘encuesta postal’…

Ventajas: Inconvenientes:
 Coste aún más reducido que la  Baja tasa de respuesta (10 20%).
‘encuesta telefónica’. Conviene incentivarla con premios.
 Sistema flexible para el  La identidad del encuestado es una
encuestado, que elige en qué variable incontrolada.
momento responder (respuestas  Debe contarse con un directorio postal
más meditadas). completo.
 Se evitan sesgos procedentes del  Se obtiene poca cantidad de información.
entrevistador.  Problemas con la representatividad de la
muestra respondiente.
Apuntes de Marcos Román 2
Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 5

2.4. La encuesta por ordenador y on-line


Las ‘encuestas por ordenador’ tienen una variante que está mostrando un
crecimiento vertiginoso: las ‘encuestas on-line’ o ‘encuestas por internet’.

Estas ‘encuestas on-line’ tienen tres fases bien definidas.

1ª Fase: La creación del cuestionario…

El cuestionario ‘on-line’ presenta algunas características propias…

 Presentarlo de forma atractiva y amigable.


 Compatibilidad con distintos navegadores de Internet.
 Debe permitir preguntas filtro, de salto y aleatorización del orden de las preguntas.
 Primeras pantallas con invitación a contestar.
 Visibilidad completa de las categorías de respuesta.
 Es recomendable incluir una ‘barra de progreso’
 Posibilidad de avanzar sin contestar alguna pregunta.
 Empleo de imágenes, gráficos o vídeos.

2ª Fase: La publicación del cuestionario…

Alojamiento del cuestionario en un servidor de Internet, al cual el encuestado tiene


acceso a través de algún ‘link’ (que se le puede enviar por e-mail).

Es recomendable que el ‘link’ incluya algún tipo de autenticación o contraseña de


acceso para garantizar la unicidad de la respuesta.

Se ha comprobado que más del 75% de encuestados on-line que contestan, lo hacen
en las primeras 48 horas tras la recepción del ‘link’.

3ª Fase: La administración del cuestionario…

Es la gestión del cuestionario, gestión de los usuarios, y la recogida y tratamiento


estadístico de los datos.

En las encuestas ‘on-line’, como en el resto de las encuestas, deben tenerse en


cuenta las 4 posibles fuentes de error:

 Error de medida → derivado de que las respuestas no sean fiables → este error se recude en las
encuestas on-line por la ausencia del sesgo del entrevistador.
 Error de no-cobertura → en este caso, derivado de que no toda la población tiene acceso a
Internet.
 Error de muestreo → derivado de no enviar el cuestionario on-line a una muestra suficiente y
representativa de la población que se desea encuestar.
 Error de no-respuesta → derivado de que haya un sesgo sistemático del tipo de sujetos que no
llegan a contestar el cuestionario on-line.

Apuntes de Marcos Román 3


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 5

3. Criterios en la selección del tipo de encuesta


A la hora de elegir entre una ‘encuesta personal’, una ‘encuesta telefónica’, una ‘encuesta postal’;
se pueden valorar los siguientes 5 criterios.

VERSATILIDAD
• La ‘encuesta personal’ es la más versátil.

TIEMPO

• La ‘encuesta telefónica’ es la más rápida. (on-line)

COSTE
• La ‘encuesta postal’ es la más económica. (on-line)

PRECISIÓN
• La ‘encuesta personal’ es la más precisa porque es la que permite ejercer mayor control
sobre la identidad del entrevistado y asegurar su cooperación.

FLEXIBILIDAD PARA EL ENCUSTADO


• La ‘encuesta postal’ es la más flexible para el encuestado, que puede elegir cuando
responderla. (y on-line)

4. Proceso de una encuesta

Definición del estudio (fines y objetivos)

Selección y definición de las variables

Diseño del cuestionario

Validación y prueba del cuestionario

Selección de la muestra

Aplicación del cuestionario

Tratamiento de los datos

Elaboración del informe

Apuntes de Marcos Román 4


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 5

4.1. Diseño de cuestionarios


Un cuestionario es más que una simple lista de preguntas.

Su diseño es más complicado de lo que parece a primera vista.

Debe estar cuidadosamente elaborado en forma y contenido, y han de


valorarse toda una serie de elementos que lo doten de rigurosidad y
sistematicidad.

4.1.1. Reglas para la formulación de preguntas

La calidad de una investigación mediante encuesta viene determinada en gran medida por lo
acertado que sea el diseño de las preguntas del cuestionario.

Reglas básicas para la formulación de preguntas (pp. 171-173):

 Si se quieren respuestas concretas, las preguntas deben ser concretas.


 No debe haber preguntas que contengan o induzcan a la respuesta. Debe controlarse el ‘efecto
halo’ entre preguntas (la respuesta de una pregunta induce la respuesta de la siguiente pregunta).
 Las preguntas deben tener un lenguaje sencillo (sin tecnicismos), y no exigir que el encuestado las
memorice.
 Las preguntas deben ser neutrales (no deben contener juicios de valor ni términos connotativos).
 El cuestionario en su conjunto no debe ser excesivamente largo (+100 preguntas), pues disminuye
el % de respuestas.
 …

Hay preguntas referidas a temas delicados o sensibles que pueden poner al


encuestado en una situación embarazosa; o preguntas con un fuerte elemento de
adhesión a normas socialmente aceptadas.

¿Qué estrategias podemos poner en marcha para paliar este sesgo de


deseabilidad social?

A través de enunciados contrarrestados


• Consisten en una primera afirmación que sugiere que el comportamiento en cuestión es
común entre la población (para crear un clima-marco de normalidad acerca de la
cuestión), para a continuación preguntarle directamente al encuestado acerca de dicho
comportamiento.
• “Mucha gente sufre de ansiedad en algún momento de su vida, ¿usted ha tenido
episodios de ansiedad?”

Por medio de enunciados indirectos


• Los enunciados indirectos formulan una pregunta sensible al encuestado, pero
refiriéndola a una tercera(s) persona(s). De esta manera se supone que la respuesta será
más sincera, pues el encuestado no verá comprometida su imagen, y al mismo tiempo se
supone que su respuesta acerca de la tercera(s) persona(s) reflejará su propia opinión
acerca del tema sensible.
• “¿Qué opinaría si un amigo suyo decidiera realizarse una operación de cirugía estética?”

Apuntes de Marcos Román 5


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 5

Con preguntas tipo “tarjeta”


• El encuestado sólo tiene que hacer referencia al número de la tarjeta en el que aparece
la respuesta (incómoda) que quiere dar.

Baterías progresivas de preguntas


• Que permitan una aproximación sucesiva al tema espinoso.

Redacción amable y natural de las preguntas


• Que el encuestado no tenga la sensación de estar siendo examinado

4.1.2. Tipos de preguntas

Por tanto, el elemento básico del cuestionario son las preguntas. Es por ello que la bondad de un
cuestionario depende de la clase de preguntas empleadas en él y de su adecuada formulación.
Según la contestación

Preguntas abiertas
que admitan

Preguntas semi-
abiertas
De respuesta
Dicotómicas
espontánea
Preguntas cerradas
De respuesta
De respuesta sugerida
categorizada

De valoración

Por tanto, el elemento básico del cuestionario son las preguntas. Es por ello que la bondad de un
cuestionario depende de la clase de preguntas empleadas en él y de su adecuada formulación.

De introducción o
de contacto Identificación
Según su función en el

Según su contenido

De filtro Acción
cuestionario

Intención
De control
Opinión
Baterías o "embudo
de preguntas" Información
Amortiguadoras Motivos

Las preguntas de filtro se realizan para establecer si a un determinado encuestado le afectan o no las
preguntas posteriores y, por tanto, si el encuestador se las debe o no formular. En definitiva, las preguntas
de filtro establecen puntos de bifurcación en la realización del cuestionario.

Las preguntas de control se utilizan para comprobar la veracidad de las respuestas de los
encuestados. Para ello, lo que se suele hacer es colocar la misma pregunta, pero redactada de forma
Apuntes de Marcos Román 6
Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 5

distinta en distintas partes del cuestionario. Si las respuestas a ambas son contradictorias, entonces la
sinceridad del encuestado queda bajo sospecha, y sus respuestas deberían ser excluidas del posterior
análisis.

Batería: todas las preguntas tratan sobre un mismo tema. Siempre deben ir juntas en el cuestionario
en forma de batería, empezando por las más sencillas y luego las más complejas.

Amortiguadoras: se refiere a que cuando estamos preguntando temas escabrosos o pensamos que
serán reticentes a contestar, hay que preguntar suavizando la pregunta y no preguntar de modo brusco y
directo.

4.1.3. Estructura del cuestionario

Hay que tener también especial cuidado en el orden en que se incluyen las preguntas en el
cuestionario, ya que el modo en el que se secuencian las preguntas puede influir en la naturaleza de las
respuestas del encuestado y, por consiguiente, sesgarlas.

Pautas generales de estructuración del cuestionario:

 Al inicio → presentación solicitando cooperación al encuestado, informándole sobre los objetivos


de la encuesta, y garantizándole el anonimato.
 Primera pregunta → de carácter general, sencilla y potenciadora del interés del encuestado.
 De lo general a lo específico.
 De lo fácil (y poco comprometido) a lo difícil (y comprometido).
 Flujo lógico; sin saltos abruptos; preguntas agrupadas según temática.
 Los datos de identificación del encuestado (p.e., datos sociodemográficos) se preguntan al final
para evitar que condicionen sus respuestas posteriores.

4.1.4. La codificación en el cuestionario

La finalidad de la codificación es facilitar la operación de contar y analizar las respuestas dadas por la
muestra que ha sido encuestada.

Un cuestionario bien codificado debe contener la información exacta con respeto a las variables. Por
tanto, la codificación permite saber, una vez recogidos los datos, el número total de variables a analizar y su
ubicación exacta en la matriz de datos. La matriz de datos viene determinada por N sujetos (filas) * P
variables (columnas)

Si las preguntas son cerradas Si las preguntas son abiertas

Hay que hacer la codificación después


Hemos de asignar un valor a cada
del trabajo de campo a través de un
posible categoría de respuesta.
análisis de contenido. (Tema 10)

4.1.5. Estudio de las características técnicas

Validez Fiabilidad
(ausencia de error sistemático) (ausencia de error aleatorio)
De De Factorial Longitud Muestra
contenido criterio

Apuntes de Marcos Román 7


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 5

4.1.6. Comprobación y prueba del cuestionario (Pretest)

Antes de iniciar el trabajo de campo (≈ el proceso de recogida de información sobre la muestra


seleccionada), es imprescindible probar el cuestionario sobre un pequeño grupo de la población (25-50
personas).

La misión de la prueba piloto radica en contrastar hasta qué punto


funciona el cuestionario como se pretendía en su diseño, y verificar si las
preguntas provocan el tipo de reacción deseada.

Si en la prueba piloto hay una alta proporción (+10%) de respuestas en


blanco y ‘no sabe / no contesta’, entonces habrá que revisar su redacción.

4.2. Diseños muestrales


Para seleccionar a los individuos que formarán parte de la muestra encuestada, podemos considerar
básicamente dos técnicas de muestreo…

Muestreo aleatorio
• Se basa en el principio de la elección de los individuos al azar.
• Cada elemento de la población tiene probabilidad de ser elegido como parte de la muestra.
• Garantiza mejor la representatividad de la muestra respecto de la población.
Muestreo empírico
• La selección de la muestra se realiza a partir de los criterios o necesidades fijados por el propio
encuestador.
• Tiene riesgo de que no haya representatividad de la muestra respecto de la población.

Una vez elegido el tipo de muestreo, es necesario determinar el tamaño de la muestra necesario
para que nuestras estimaciones sobre la población sean suficientemente precisas.

4.2.1. Selección y tamaño de la muestra

Ejemplo 4

Se quiere realizar una encuesta-entrevista a la población de Cataluña (tamaño de la población


indeterminado) sobre si está a favor o en contra de la Independencia. A cuantos sujetos habría que
encuestar para que el error máximo de estimación (e) fuera del ±3%, con un nivel de confianza del 95%?
𝑧 2· 𝑝 · 𝑞
Tamaño de la muestra para población infinita → 𝑛 =
𝑒2

n=?

e = ± 3% se expresa en tanto por 1 → 0,03

Probabilidad estimada a priori de:

- Respuesta afirmativa → p = 50% → 0,5 Si no se dan datos la probabilidad


- Respuesta negativa → q = 50% → 0,5 es de 50% y 50%
z → depende del nivel de confianza de la estimación, cuando éste es al 95% → z = 1,96
1,962 · 0,5 · 0,5
𝑛= = 1067,11 → 1068 𝑠𝑢𝑗𝑒𝑡𝑜𝑠
0,032
Se redondea al alza

Apuntes de Marcos Román 8


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 5

Interpretación (ejemplo):

De los 1068 sujetos encuestados el 71% está a favor de la independencia

71% ±3 68% – 74%

En este caso podríamos decir con el 95% de confianza que entre 68% – 74% del conjunto de la
población catalana está a favor de la independencia.

El nivel de confianza se fija por convención científica.

Ejemplo 2

La población total de alumnos matriculados en la asignatura de ‘Técnicas e Instrumentos’ es de N = 1.200


alumnos. Se quiere saber qué porcentaje del alumnado está a favor de cambiar el modelo de examen a un
tipo test, para lo cual se va a encuestar-entrevistar a una muestra de dicha población. ¿Qué tamaño (n)
debe tener la muestra para que el resultado de la encuesta tenga un error máximo de estimación (e) del
±5% con un nivel de confianza del 95%?
(𝑧2· 𝑝 · 𝑞 · 𝑁)
Tamaño de la muestra para poblaciones finitas → 𝑛 =
𝑒2 (𝑁−1) +(𝑧2· 𝑝 · 𝑞)

n = ? | e = ±5% = 0,05 | n.c = 95% → z = 1,96 | p = q = 50% = 0,5

1,962 · 0,5 · 0,5 · 1200 1152,48


𝑛= = = 291,18 → 292 𝑠𝑢𝑗𝑒𝑡𝑜𝑠
0,052 · (1200 − 1) + (1,962 · 0,5 · 0,5) 3,9578
Interpretación: Si de los 1200 alumnos y alumnas de la asignatura se seleccionan de forma aleatoria a
292 y se les pregunta si están a favor de un examen tipo test y por ejemplo están a favor el 80% de sujetos,
entonces con un 95% de confianza se puede afirmar que, en el conjunto de los alumnos, esa posición de a
favor, está entre el 75% y el 85%.

Ejemplo 1

La población total de alumnos matriculados en la asignatura de ‘Técnicas e Instrumentos’ es de N =


1.200 alumnos. Se quiere saber qué porcentaje del alumnado está a favor de cambiar el modelo de examen
a un tipo test, para lo cual se va a encuestar-entrevistar a una muestra de dicha población. ¿Qué tamaño
(n) debe tener la muestra para que el resultado de la encuesta tenga un error máximo de estimación (e) del
±5% con un nivel de confianza del 99%?

Si aumentamos el nivel de confianza el tamaño de la muestra también aumenta.


(𝑧2· 𝑝 · 𝑞 · 𝑁)
Tamaño de la muestra para poblaciones finitas → 𝑛 =
𝑒2 (𝑁−1) +(𝑧2· 𝑝 · 𝑞)

n = ? | e = ±5% = 0,05 | n.c = 99% → z = 2,58 | p = q = 50% = 0,5

2,582 · 0,5 · 0,5 · 1200 1996,92


𝑛= 2 2
= = 428,37 → 429 𝑠𝑢𝑗𝑒𝑡𝑜𝑠
0,05 · (1200 − 1) + (2,58 · 0,5 · 0,5) 4,6616
La horquilla que se establezca se puede establecer con mayor confianza, es decir, con menor riesgo
de error.

Apuntes de Marcos Román 9


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 5

Ejemplo 3

La población total de alumnos matriculados en la asignatura de ‘Técnicas e Instrumentos’ es de N =


1.200 alumnos. Se quiere saber qué porcentaje del alumnado está a favor de cambiar el modelo de examen
a un tipo test, para lo cual se va a encuestar-entrevistar a una muestra de dicha población. ¿Qué tamaño
(n) debe tener la muestra para que el resultado de la encuesta tenga un error máximo de estimación (E) del
±5% con un nivel de confianza de 2s? (Tema 5, p.194)
(𝑧2· 𝑝 · 𝑞 · 𝑁)
Tamaño de la muestra para poblaciones finitas → 𝑛 =
𝐸2 (𝑁−1) +(𝑧2· 𝑝 · 𝑞)

n = ? | e = ±5% = 0,05 | 2s → z | p = q = 50% = 0,5


22 · 0,5 · 0,5 · 1200 1200
𝑛= = = 300,18 → 301 𝑠𝑢𝑗𝑒𝑡𝑜𝑠
0,052 · (1200 − 1) + (22 · 0,5 · 0,5) 3,9975

4.3. El trabajo de campo


El trabajo de campo es aquella etapa del proyecto de investigación durante
la cual los encuestadores se ponen en contacto con los encuestados, administran
los cuestionarios para recoger información, registran los datos, y devuelven los
cuestionarios para su posterior control y procesamiento.

Errores habituales en el trabajo de campo [Encuestas personales y


telefónicas]

 Falta de armonía entre el encuestador y el encuestado.


 Formulación incorrecta de las preguntas
o →SOLUCIÓN: El encuestador debe estar previamente familiarizado con el cuestionario;
formular todas y cada una de las preguntas exacta y ordenadamente; y utilizar técnicas de
indagación.
 Errores en el registro de las respuestas
 Falseamiento de las encuestas
o →SOLUCIÓN: Se pueden utilizar sistemas de control directo (volver a contactar con alguno
de los sujetos supuestamente encuestados) e indirecto (someter a las respuestas de las
encuestas proporcionadas por un determinado encuestador a un análisis estadístico para
comprobar si hay algún patrón raro y compararlas con las respuestas proporcionadas por
otros encuestadores).

4.4. El análisis estadístico


Una vez recogida la información en el trabajo de campo, entonces es necesario analizar toda esa
información, generalmente abundante, para convertirla en conclusiones y respuestas a tus preguntas
iniciales de investigación.

Etapas del análisis:

 Revisión de los cuestionarios para detectar y depurar errores de registro.


 Codificación y tabulación de los cuestionarios hasta llegar a una matriz de datos sólida.
 Análisis estadísticos propiamente dichos.
 Seguimiento y evolución a través de aplicaciones sucesivas del cuestionario.
 Anticipación y predicción a través del cuestionario.

Apuntes de Marcos Román 10


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 5

4.5. El informe de resultados


La última etapa de una investigación la constituye la redacción final del
‘informe de investigación’ o ‘informe de resultados’, que es un documento
escrito, organizado y coherente, que incluye las diferentes etapas cubiertas
durante el proceso de la investigación, los resultados obtenidos, y las conclusiones
extraídas.

La información que se incluye en el informe ha de ser muy clara, incluyéndose únicamente aquella
que sea relevante para la audiencia destinataria del mismo, y para las decisiones que haya que tomar
posteriormente.

Algunas recomendaciones para la redacción del “informe de investigación” (p.189):

 Diferenciar claramente resultados de interpretaciones.


 Lenguaje sencillo y claro.
 No dar información redundante.
 Siempre que sea posible, dar los resultados en forma gráfica.
 En caso de dar resultados numéricos, aportar sólo los estrictamente necesarios y con no más de un
decimal.
 Seguir el esquema-índice básico IMRyD

IINFORMES TÉCNICOS
vs.
INFORMES DIVULGATIVOS

Formato IMRyD desarrollado

Portada

Índice de contenidos

Introducción
• Fundamentación teórica
• Antecedentes
• Pregunta de investigación
Metodología
• Participantes
• Materiales e instrumentos
• Procedimiento

Apuntes de Marcos Román 11


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 5

Resultados

Discusión

Conclusiones

Implicaciones y Recomendaciones

Limitaciones y Amenazas a la Validez del Estudio

Referencias

Anexos

4.6. Ayudas informáticas para el tratamiento de encuestas

https://www.google.com/forms/about/ https://es.surveymonkey.com/

https://surveyplanet.com/

4.7. Conclusiones

Apuntes de Marcos Román 12


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 5

Conclusiones y Síntesis de repaso en las páginas 192 y 193.

5. Un ejemplo de encuesta

Un ejemplo de encuesta en las páginas 194-200.


Apuntes de Marcos Román 13
Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 5

PROBLEMAS DE LAS AUTOEVALUACION TEMA 5

POBLACION FINITA (MENOR DE 100.000)


N=800
n?
e=4% (0’04) expresado en proporción
p=0’5 (sino lo dan es 0’5 por descarte)
q=1-p=1 - 0’5=
q=0’5
α=99% →0’01
z=2’57 (Apuntes al final del ejercicio)

𝑧 2 .𝑝 . 𝑞 . 𝑁
n= 2
[𝑒 (𝑁−1)]+(𝑧 2 .𝑝 . 𝑞 )

(2′57)2 .0′5 . 0′5 . 800 (6′ 6049).0′ .0′ .800


n=
[(0′04)2 (800−1)]+((2′57)2 .0′5 . 0′5)
=[0′ 0016.(799).6′ .0′ .0′5] =
1320′98 1320′98
n= 1′ 2784+1′651225 = 2′929625 = 450’90

Respuesta c)

e=4% (0’04) expresado en proporción


α=95% →0’05
z=1’96 (Apuntes al final del ejercicio)
Apuntes de Marcos Román 14
Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 5

𝑧 2 .𝑝 . 𝑞 . 𝑁
n= 2
[𝑒 (𝑁−1)]+(𝑧 2 .𝑝 . 𝑞 )

(1′96)2 .0′5 . 0′5 . 800 (3′ 8416).0′ 5.0′ 5.800


n=
[(0′04)2 (800−1)]+((1′96)2 .0′5 . 0′5)
= =
1′ 2784+0′9604
768′32
n= 2′2388 = 343’18 RESPUESTA B)

α=95% →0’05 = n= 343’18


α=99% →0’01 =n= 450’90 Por estos datos podemos deducir que aun mayor alfa el
tamaño de la muestra es mayor.
RESPUESTA A)

n?
e= 2’5% = 0’025
α=95% →0’05
z = 1’96

𝑧 2 .𝑝 . 𝑞
n=
𝑒2
(1′ 96)2 .0′5 . 0′5
n= = 1536’64 sujetos
(0′ 025)2
RESPUETA A)

Apuntes de Marcos Román 15


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 5

CALCULAR Z PARA LOS PROBLEMAS

Calcularemos z como zα/2 (zeta alfa medios).

99% → (0’01)/2 = 0’005 4ª columna y de allí a la 1ª


columna = 2’57
zα/2
95% → (0’05)/2 = 0’025 4ª columna y de allí a la 1ª
columna = 1’96

Estos son los valores que le corresponden a esos zeta


alfa medios, es decir, al del 95% y al del 99%

Apuntes de Marcos Román 16


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 6

Tema 6 La entrevista

Objetivos

• Conocer las distintas variantes de entrevista y sus limitaciones.


• Saber elegir el modelo de entrevista más apropiado a un contexto concreto.
• Diseñar una entrevista.
• Realizar los controles técnicos apropiados para controlar la calidad de la entrevista.
• Saber implementar una entrevista.
• Recoger y analizar los datos recogidos de una entrevista.

1. Introducción
La entrevista es una conversación verbal entre dos o más personas con
una finalidad.

Como instrumento, es un proceso de recogida de información con dos


componentes: el entrevistador y el entrevistado.

Son muchos los posibles fines de una entrevista:

• Servir de medio de evaluación de personas en procesos de selección de personal.


• Servir de medio terapéutico o de orientación, como la entrevista psiquiátrica o
entrevista de orientación que sirve para ayudar a los sujetos.
• Servir de medio para reunir datos en una investigación.

Una entrevista se suele conformar con una serie de preguntas que se


plantean al entrevistado pensando en un objetivo concreto.
Para ello, se preparan de antemano una serie de preguntas que se
formularán posteriormente en la entrevista.

La entrevista como técnica diferenciada de investigación puede servir a tres fines


Como técnica complementaria a otras técnicas
Técnica exploratoria. (p.e., complementar a una encuesta que ha utilizado
Recogida de
Identificar variables y cuestionarios)
información Cuestionario: mucha gente poca profundidad
plantearse hipótesis
Entrevista: poca gente mucha profundidad

2. Características de la entrevista
La entrevista como técnica de investigación es considerada como una de las
formas de los métodos de encuesta.

La entrevista comprende la reunión de datos a través de una interacción oral


directa entre individuos.

Permite una mayor profundidad que el cuestionario.

La entrevista se caracteriza por ser… (Cohen, 1990)

• Un medio potente de transferencia de información: el entrevistado tiene


la capacidad de informar de todos los aspectos de su vida.
• Un medio no acotado de información que el entrevistador debe modular
para no introducir subjetividad en la misma.
• Un encuentro que comparte muchos de los rasgos de las interacciones
de la vida diaria.
Apuntes de Marcos Román 1
Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 6

3. Fases de la entrevista
La entrevista se puede dividir en varias fases…

Registro y
Producción Realización Informe
montado

•Elegir al entrevistado. •Cumplir fórmulas de •Video, audio, •Si la entrevista es el


Escoger a una persona cortesía y establecer anotaciones a lápiz… elemento primario de
que pueda aportar rapport (conexión con con consentimiento recogida de
alguna experiencia o el entrevistado). del entrevistado. información, su
idea valiosa. •El entrevistador guía •Montado de la contenido vendrá
•Recoger información la conversación. entrevista: reflejado de forma
sobre el entrevistado. seleccionando lo literal en los anexos
•Elaborar las preguntas fundamental y de la investigación y
(se pueden someter a manteniendo el tono servirá de base para el
juicio de expertos). general de la misma. tratamiento
estadístico de la
información (análisis
de contenido).

4. Tipos de entrevista

Entrevista
individual

Entrevista dirigida o Entrevista no dirigida o


estructurada no estructurada

Entrevista
grupal
(Tema 9)

4.1. La entrevista estructurada


Las entrevistas estructuradas tienen como misión sondear las opiniones de un
individuo o grupo con el propósito de describirlo (recoger información descriptiva)

Se pueden asimilar a un cuestionario en forma oral.

En la entrevista estructurada el entrevistador…

• Controla la secuencia de las preguntas siguiendo un patrón previamente


establecido.
• Enuncia las preguntas siguiendo un esquema prefijado.
• No altera el orden ni la formulación de las preguntas.
• Nunca añade preguntas nuevas.

Apuntes de Marcos Román 2


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 6

• No expresa su opinión personal y se mantiene imparcial.


• Adopta un estilo de equilibrio en el trato pero siempre impersonal.
• Mantiene un grado de empatía normal respecto al entrevistado.

Modos de respuesta y tipo de dato

Pregunta Modo de respuesta Tipo de dato Ventajas Inconvenientes


Dime cuáles crees que Abierto / Para Nominales Gran flexibilidad Dificultad para
son las razones de la cumplimentar (cualitativos) en la respuesta. puntuar la
violencia en el centro espacios en blanco respuesta.
¿Es violento tu De selección o de Nominales Fácil de responder Proporciona
centro? ¿sí o no? lista categórica (cuantitativos) y puntuar. menores
opciones.
Dime los niños de tu De rango Ordinales Fácil de puntuar; Difícil de
clase de menor a fuerza la responder y
mayor agresividad. discriminación. completar.
De 0 a 10, ¿cómo De escala De intervalos Fácil de puntuar. Puede haber
de violento es tu parcialidad en la
centro? respuesta.

Ventajas: Inconvenientes:
• Facilita la elaboración de • Los entrevistados se pueden molestar
informes. por la rigidez de la entrevista.
• Fácil de administrar y valorar. • Alto coste en la preparación de la
• Evaluación objetiva. entrevista.
• Se necesita poco • Se reduce la posibilidad de respuestas
entrenamiento del espontáneas o de abrir líneas
entrevistador. adicionales de investigación.
• El alto nivel de estructuración acota el
campo de posibles aplicaciones.

4.2. La entrevista no estructurada


En relación con la entrevista no estructurada, el ejemplo más representativo
en investigación educativa lo tenemos en la entrevista etnográfica.

La entrevista etnográfica se caracteriza por su


carácter conversacional. Se realiza con un objetivo amplio,
no con el deseo de contrastar una teoría, modelo o
supuestos (pre)determinados; sino más bien tratando de
acceder al modo de interpretar el mundo del entrevistado (…) el entrevistado debe
expresarse con naturalidad, en su propio lenguaje (…)

En la entrevista no estructurada el entrevistador…

• Controla la secuencia de las preguntas en función de las


contestaciones del entrevistado.
• Enuncia las preguntas sin un esquema prefijado.
• Añade preguntas si es preciso según las circunstancias de la
entrevista.
• Puede explicar sus sentimientos y posicionamiento.
• Explica las preguntas cuando se precise.

Apuntes de Marcos Román 3


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 6

• Establece un punto de equilibrio entre familiaridad y profesionalidad.


• Intenta conseguir un alto grado de empatía con el entrevistado.

Tipologías de preguntas en una entrevista etnográfica

• Demográficas o de identificación (¿qué edad tienes?)


• Descriptivas (¿qué haces cuándo te levantas?)
• Estructurales (¿cómo os repartís las tareas domésticas?)
• De contraste o de confrontación (¿a qué te refieres cuándo dices que la vida en la ciudad es
estresante?)
• De opinión / valoración (¿Crees que hay violencia en los colegios?)
• De sentimientos (¿Te gusta cocinar en casa?)

Ventajas: Inconvenientes:
• El entrevistador tiene mayor • El entrevistador puede introducir sus
flexibilidad al poder realizar la sesgos en las contestaciones debido a la
pregunta que crea oportuna no acotación.
en cada momento. • Puede introducirse información extraña
• El entrevistador puede que genere “ruido”.
explorar áreas que surjan • El análisis e interpretación de los
sobre la marcha. resultados resulta más laborioso.
• Puede producir información • Alarga el tiempo de tratamiento de los
de temas que a priori se datos, al tener que separar “grano” y
consideraron irrelevantes. “paja”.

4.3. La entrevista de grupo o grupal (Tema 9)


El entrevistador debe manejar el grupo de manera que todos participen…

Papel del Formato de las


Tipo Construcción Propósito
entrevistador cuestiones
Grupo de Formal-prefijada Directivo Estructurada Exploratorio
discusión pretest
Brainstorming Formal o informal No directivo No estructurada Exploratorio
Grupo Nominal / Formal Directivo Estructurada Pretest
Delphi exploratorio
Campo, natural Informal, Semi directivo No estructurada Exploratorio,
espontánea fenomenológico
Campo, formal Prefijada Semi directivo Semi estructurada Fenomenológico

5. Análisis de datos
Tanto en la entrevista estructurada como la no estructurada, si se quiere realizar un análisis estadístico
de datos, se necesita previamente la categorización de los mismos.

• Reproducir todos los comentarios o, al menos, los más importantes.


• En las entrevistas grupales, anotar los nombres de las personas que los han hecho.
• Organizar los comentarios por temas y subtemas (etiquetado por categorías).
• Ordenar los temas según su importancia.
• Crear un reflejo exacto y equilibrado de lo que en realidad se dijo.

Apuntes de Marcos Román 4


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 6

EJEMPLO

¿Consideras importante la ‘programación informática’ (‘coding’) para tu formación personal, como


ciudadano del siglo XXI? ¿Sí, No? ¿Por qué?

5.1. El tamaño de la muestra

Entrevista •El tamaño de la muestra se calcula de manera similar al procedimiento


estructurada visto para la encuesta (Tema 5) (ver ejemplos siguientes)

•El objetivo no es la generalización sino lacomprensión.


•No se busca la representatividad de la muestra sino su relevancia.
Entrevista no
estructurada •Procedimiento; ir realizando entrevistas hasta que la diversidad de
respuestas de los informantes deja de ser significativa y empiezan a
repetirse los datos.

6. Un ejemplo de entrevista estructurada

https://youtu.be/BbM3EspBCRo

Apuntes de Marcos Román 5


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 7

Tema 7 Las escalas

Objetivos

 Valorar la utilidad de las escalas en las investigaciones sociales.


 Conocer las distintas variantes de escalas y sus limitaciones.
 Saber elegir el modelo de escala más apropiado a un contexto concreto.
 Diseñar una escala.
 Realizar los controles técnicos apropiados para controlar la calidad de cada escala.
 Saber implementar una escala en el contexto de una investigación.
 Recoger y analizar los datos recogidos de una escala.

1. Las escalas
El término ‘escala’ tiene un significado diverso…

Escala de medida Niveles de medición (Tema 1) Instrumento de medida

Las escalas son una serie de indicadores a partir del cual el sujeto indica en qué grado o frecuencia está
de acuerdo con un determinado enunciado. Se distingue de las listas de control, que se utilizan mucho en
evaluación en infantil y primaria, en que estas últimas lo que determinan es sólo la presencia o ausencia del
rasgo, característica o conducta, ya que en las escalas hay graduación o gradación, y éstas determinan el
grado o frecuencia o el nivel de intensidad en la cual se da una determinada circunstancia o en la cual un
sujeto indica en qué grado un enunciado se puede aplicar a sí mismo.

Las escalas se utilizan para determinar el grado o frecuencia con que se da una característica, rasgo
o conducta. Por lo general, una escala consta de una serie de ítems y un conjunto de categorías que
representan el grado de variación de la característica, rasgo o conducta que representa el ítem.
Categorías
“Tolerancia con los compañeros”
Nº INDICADORES TA PA NA/ND PD TD
01 Pienso que siempre tengo la razón
02 Me gusta participar en debates
03 Facilito el diálogo cuando hay opiniones diferentes
04 Considero que normalmente mi opinión es la más correcta
05 Me molesta cuando alguien piensa distinto a mí TA: Totalmente de acuerdo
06 Me desagrada que otros tengan la razón PA: Parcialmente de acuerdo
07 Escucho con atención la opinión de otros
Ítems

NA/ND: Ni acuerdo/Ni desacuerdo


08 Critico negativamente la opinión de los demás
09 Me gusta que me escuchen PD: Parcialmente en desacuerdo
10 Compartiría con los demás, aunque no aceptaran mi opinión TD: Totalmente en desacuerdo
11 Me ofrezco como mediador ante conflictos
12 Creo que hago mejor aporte de ideas que los otros
13 Me agrada cuando hay opiniones divergentes
14 Respeto las opiniones de los demás, aunque no tengan razón

Apuntes de Marcos Román 1


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 7

Criterios de clasificación de las escalas


Entidad a escalar / dimensionar: ver en qué grado
Número de dimensiones de la escala se puede dar una cierta característica. Depende de
lo que se pretende graduar
Escalamiento multidimensional.
Múltiples ejes o dimensiones. Métodos
Escalamiento
Ej. Actitud hacia el deporte: se centrados en Métodos Métodos
unidimensional
crea un grupo de indicadores los sujetos centrados en centrados en
Dimensiona en
hacia los deportes a motor; otro Tipo Likert los estímulos las respuestas
un solo eje. Está
hacia deportes colectivos… y en Más sencillas Tipo Thurstone Tipo Guttman
midiendo solo
cada eje se pude dar una El sujeto se Se gradúan la Combinación
una dimensión.
actitud diferente. Muy gradúa con intensidad de de los dos tipos
Ej. Actitud hacía
favorable hacia los deportes a respecto a un los enunciados anteriores
el fútbol.
motor; poco favorable a los enunciado
colectivos…

Los “métodos centrados en los sujetos” estudian las diferencias individuales en las actitudes que se
producen en los sujetos ante determinados estímulos (un ejemplo dentro de este tipo de métodos son las
escalas de Likert). Los “métodos centrados en los estímulos” miden y ordenan los diferentes estímulos u
objetos propuestos (un ejemplo dentro de este tipo de métodos son las escalas de Thurstone). Los “métodos
centrados en las respuestas” escalan conjuntamente a los sujetos y a los estímulos, es decir, escalan las
respuestas (un ejemplo dentro de este tipo de métodos son las escalas de Guttman).

Clasificación de las escalas


Escalas de Escalas de Diferencial
Escalas de actitudes
estimación producción escolar semántico
Escalas Escalas Escalas
sumativas diferenciales acumulativas
(Likert) (Thurstone) (Guttman)

2. Escalas de estimación
Cuando la escala se aplica en el contexto de la observación, se la conoce por el nombre de escala de
estimación ('rating scales'); a través de la cual el observador aprecia el grado en que una característica o
conducta se da en el sujeto observado.

UD: Sesión: Fecha:


Nombre y Apellidos: Curso:
Aspectos a observar Escala
Siempre A veces Casi nunca Nunca
Participa con interés
Tiene iniciativas y aporta ideas nuevas
Presenta una buena predisposición al trabajo
Colabora con los compañeros/as
Acepta y respeta las opiniones de los compañeros/as
Se muestra activo y con ganas de superarse

¡Ojo! Con el 'efecto halo'... Una sola característica del sujeto que se está valorando (observando)
arrastra la valoración de todas las demás características. Ej. Considerar como inteligente a un alumno que
tiene buena presencia.

Apuntes de Marcos Román 2


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 7

Efecto Halo
“Sesgo cognitivo que nos lleva a valorar a las
personas generalizando en ellas un rasgo que nos
parece particularmente positivo o negativo”
Edward L. Thorndike

...y con el efecto 'tendencia central' Marcar siempre las categorías centrales, es decir, la predisposición
del investigador a una valoración central. Ej. Marcar siempre “A veces”

3. Escalas de actitudes
Actitud = se refiere a la predisposición para actuar de una cierta forma o
manera, en contra o a favor, respecto a un objeto (p.e. 'actitud ante el alcohol').
Algunos autores distinguen tres componentes (dimensiones) de la actitud:
cognitivo, afectivo y conductual. (p.e. Cognitiva: ‘el consumo de alcohol afecta al
hígado’ (este ítem se refiere a los conocimientos que posee el sujeto sobre el
objeto que se está valorando); Afectiva: ‘cuando veo a alguien borracho me da
asco’ (parte de la actitud que tiene que ver con los sentimientos o afectos);
Conductual: ‘solo pruebo el alcohol en Navidad’ (tiene que ver con la conducta del
sujeto hacia el objeto). Las escalas de actitudes en general tienen que tener ítems
que recojan estas tres dimensiones.

Las escalas de actitudes (o de opinión), intentan medir la actitud de los sujetos a través de la valoración
que cada sujeto asigna a cada ítem que compone la escala. No hay respuestas correctas e incorrectas.

Tradicionalmente se suelen distinguir tres tipos de escala de actitud: sumativas (Likert), diferenciales
(Thurstone), y acumulativas (Guttman).

3.1. Escalas de Likert


En las Escalas de Likert o 'sumativas':
 Los sujetos responden indicando su grado de acuerdo o desacuerdo con el ítem, es decir, su juicio
de valor del ítem.
 Todos los ítems tienen el mismo valor y las mismas respuestas, dadas a ítems distintos, tienen
idéntico valor.
 Cada sujeto tiene como puntuación global la suma de las puntuaciones asignadas a cada ítem (por
eso se llama escala sumativa).
 La escala Likert es, en sentido estricto, una medición ordinal; sin embargo, se suele trabajar con ella
como si fuera de intervalo.

Apuntes de Marcos Román 3


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 7

El proceso de elaboración de una escala de Likert tiene los siguientes pasos...

Preparación Asignación de Análisis de los Evaluación de Fiabilidad y


de los ítems puntuaciones ítems iniciales la escala validez de la
iniciales a los ítems para su selección definitiva escala

PASO 1: Preparación de los ítems iniciales

En primer lugar, se debe estudiar la dimensión de la actitud a medir y las conductas relacionadas con
la misma. De este proceso se recogerán un conjunto de ítems, mayor que los que compondrán la escala final.
El número de ítems elegido permitirá cubrir todo el rango de conductas que refleja la actitud de estudio.

Definir que se quiere medir/evaluar para hacer una tabla de especificación para que los ítems recojan
todo lo que se pretende medir con la escala.

Por ejemplo: Escala de Actitud ante la Lectura


Dimensiones de la actitud

Cognitiva Afectiva Conductual


Partes del objeto

Libros
Prensa ‘Compro el periódico
todos los días’
Cómics ‘Cuando veo una viñeta me
pongo de buen humor’

Apuntes de Marcos Román 4


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 7

Consejos:

 La redacción del ítem provoca la emisión de juicio por parte del sujeto, sin inducirle.
 El orden de presentación de las preguntas debe ser aleatorio para no provocar sesgos por la
presencia de rachas de preguntas que reflejen actitudes favorables seguidas de rachas de preguntas
que reflejen actitudes desfavorables.
Para evitar el efecto de aquiescencia, el sujeto empieza contestando una determinada categoría en
un ítem y continúa contestando al resto de ítems con la misma categoría indistintamente, hay que
poner ítems en sentido directo (redactados en sentido favorable a la actitud que se está midiendo)
e ítems en sentido inverso.
P.e. Actitud hacia la lectura:
1. Tengo muchos libros en casa. 1 2 3 4 5 → (está a favor de la lectura)
Para evitar que todos los ítems estén redactados en este sentido y evitar que los sujetos continúen
contestando 4 o 5, se debe alternar, de forma aleatoria, ítems que vayan al revés, enunciados en
sentido inverso (evitar las rachas de preguntas que reflejen actitudes solo favorables):
2. Odio los cómics. 1 2 3 4 5
Estos ítems inversos se deben puntuar al revés a la hora de hacer la suma total, se deben recodificar
en espejo: 1 → 5; 2 → 4; 3 se queda igual; 4 → 2 y 5 → 1.
 Se administrará este conjunto inicial de ítems a una muestra piloto de individuos, para desechar
ítems mal formulados o de baja discriminación en la escala.

Paso 2: Asignación de puntuaciones a los elementos y a los sujetos

Por ejemplo: A continuación encontrarás una serie de afirmaciones acerca del consumo diario de café
con leche en el desayuno. Por favor, indica en qué grado estás de acuerdo con cada afirmación...

Versión de 5 puntos…

(menos habitual)

(más habitual)

Versión de 7 puntos…

Versión gráfica

Apuntes de Marcos Román 5


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 7

PASO 3: Análisis de los ítems iniciales para su selección

Para estudiar el poder discriminatorio de cada ítem en la escala, Likert propuso dos procedimientos:

 Grado o índice de homogeneidad (IH) del ítem = coeficiente de correlación entre las puntuaciones
de los sujetos en el ítem y en el total de la escala (descontando el ítem). Los ítems con IH < 0,2 se
desechan.
 Grado de discriminación del ítem = Likert propone estudiar si hay diferencias significativas en la
puntuación al ítem, comparando el 25% superior y el 25% inferior de los sujetos en el total de la
escala.

PASO 4: Evaluación de la escala. Interpretación de puntuaciones

La escala de Likert es una escala sumativa, en consecuencia, para obtener la puntuación de un


individuo se suman las puntuaciones en todos los ítems de la escala. No obstante, como el objetivo de la
escala Likert es observar las diferencias individuales, entonces interesa conocer cómo se comporta el
individuo en relación con su grupo.

Para este fin se aconseja obtener las puntuaciones tipificadas o normalizadas (z), para entonces
calcular el porcentaje de personas cuya puntuación es inferior a un determinado z (percentil)

PASO 5: Fiabilidad y validez de la escala

Los métodos más utilizados para las escalas de Likert:

 Fiabilidad: método de las dos mitades con la correlación de Spearman-Brown o Alfa de Cronbach.
 Validez: validez de constructo, factorial, predictiva...

EJEMPLO 1 – Examen de Febrero 2013

Ítem 1 Ítem 2 Ítem 3 Ítem 4 → si fuera inverso habría que recodificar las Ítem 5
puntuaciones
Sujeto 1 4 3 5 6→2 4
Sujeto 2 3 4 7 7→1 2
Sujeto 3 4 3 6 6→2 1
Sujeto 4 4 3 7 5→3 2
Sujeto 5 2 4 8 7→1 1

a) Calcular la valoración de cada sujeto en la escala Likert de 5 ítems

La puntuación total puede variar entre 5 y 35

S1 = 4 + 3 + 5 + 6 + 4 = 22 → se encuentra en la parte alta de puntuación

Sujeto 1 Sujeto 2 Sujeto 3 Sujeto 4 Sujeto 5


22 23 20 21 22

Apuntes de Marcos Román 6


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 7

3.2. Escalas de Thurstone


En las escalas diferenciales (Thurstone) los ítems se analizan y seleccionan para cubrir todo el espectro
de la variable que se desea medir (desde ítems muy desfavorables a ítems neutros a ítems muy favorables);
y cada uno de los ítems tiene un valor distinto y, por lo tanto, las mismas respuestas a ítems diferentes
tienen un peso distinto en la puntuación final, de ahí que se las llame ‘escalas diferenciales’. En la aplicación
de la escala, los sujetos se limitan a señalar las afirmaciones con las que están de acuerdo o en desacuerdo.

Escalas centradas en los estímulos, es decir, son los estímulos los que están graduados. Hay ítems más
o menos intensos con respecto a aquello que se está valorando.

Las escalas son más difíciles de construir, es decir, construir ítems que estén graduados en intensidad,
pero son más fáciles de contestar por parte de los sujetos.

Tabla 1. Ejemplo de cuestionario tipo Thurstone


Sobre el tema aspiraciones de los padres respecto del logro educativo de sus hijos:
Lograr el éxito es tan sólo una forma de que mis hijos compensen mis esfuerzos como padre
De acuerdo… Descuerdo…
Ir a una buena escuela y obtener un buen trabajo son importantes, pero no esenciales, para
la felicidad de mis hijos
De acuerdo… Desacuerdo…
La felicidad no tiene nada que ver con lograr hitos educativos o materiales
De acuerdo… Desacuerdo…

El proceso de construcción de la escala de Thurstone comprende…

Definir la variable de actitud que se quiere medir


•Revisión teórica-bibliográfica de la actitud objeto, que permita definir un continuo unidimensional en el
cual situaremos distintos grados de la actitud.

Preparación de los ítems iniciales


•Se cogerán cuantos ítems ( ≈ 100) sean necesarios para cubrir todo el espectro de la actitud (desde
posiciones muy negativas a muy positivas, pasando por indiferentes).

Clasificación de los ítems en categorías: Prueba de jueces (≈ 200) → (≈ 20). Se pide a cada juez que
valore los 100 ítems y los clasifique en qué punto del 1 al 11 sitúa cada ítem según su opinión.
• Ordenación de los enunciados en un continuo de 11 niveles, desde el nivel de actitud más desfavorable
(1) al de actitud más favorable (11), pasando por la actitud neutra (6)

Criterios para la selección de los elementos de 100 ítems a 25-40 ítems.


• La idea que se persigue es conseguir un conjunto de elementos que formen una escala graduada de la
actitud estudiada.
•Valor escalar de los elementos: el valor de un ítem en la escala será igual a la mediana de las valoraciones
de los jueces → seleccionar como mínimo 2-3 ítems por cada uno de los 11 niveles de actitud.
• Criterio de ambigüedad (C.A.) → eliminar los ítems con C.A. > 2 (falta de consenso entre los jueces).
• Criterio de irrelevancia → eliminar ítems que incluyan connotaciones que queden fuera de la actitud.

Obtención de la escala definitiva


• 25-40 ítems en orden aleatorio, y con dos alternativas de respuesta (“de acuerdo” o “en desacuerdo”).
•La puntuación total del sujeto es la media de los valores escalares asociados a los elementos
seleccionados “de acuerdo”
Fiabilidad y validez

Apuntes de Marcos Román 7


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 7

EJEMPLO 5 – Página 235 del Libro - ¿Criterio de Ambigüedad del ítem?


𝑛
−𝑁𝑖−1
𝑄1 = 𝑙𝑖−1 + 4 · 𝑎 𝑖con Q cuartil
1 primero
𝑛𝑖

li-1: es el extremo inferior de la clase en la que se


supera la cuarta parte (25%) de las observaciones

ai: es la amplitud de la clase mencionada

Ni-1: es la frecuencia acumulada de la clase anterior


a la clase citada

Ni: es el número de observaciones en la clase Q1


3𝑛
4 −𝑁𝑖−1
𝑄3 = 𝑙𝑖−1 + · 𝑎 𝑖con Q cuartil
3 tercero
𝑛𝑖

li-1: es el extremo inferior de la clase en la que se


superan las tres cuartas partes (75%) de las
observaciones

ai: es la amplitud de la clase mencionada

Ni-1: es la frecuencia acumulada de la clase anterior


a la clase citada

Ni: es el número de observaciones en la clase Q3

Estas fórmulas no son necesarias para el examen ya que se facilitan directamente los datos del cuartil
1 y el cuartil 3.

C.A. = Q3 – Q1 → si hay mucho consenso, la diferencia entre los dos cuartiles es pequeña, las
puntuaciones están concentradas alrededor de un valor.

Si es > 2 se considera que no hay consenso suficiente y no se conserva el ítem

Si es < 2 se conserva el ítem

Q1 = 4,64

Q3 = 5,47

C.A. = 5,47 – 4,64 = 0,83 < 2 se acepta el ítem

Apuntes de Marcos Román 8


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 7

3.3. Escalas de Guttman


En las escalas acumulativas (Guttman) todos los ítems deben medir lo mismo, aunque en grados
distintos de intensidad. Son escalas con muy pocos ítems (cinco o seis), de confección laboriosa y útiles para
medir objetivos muy limitados. Son escalas unidimensionales.

El Escalograma de Guttman se basa en la idea de que si un sujeto responde favorablemente a un


determinado estímulo, lo hará también a todos aquellos que estén por debajo de él en la escala de
inclusión construida, de ahí que a las escalas de Guttman se les llame ‘acumulativas’.

Tabla 3. Ejemplo de cuestionario tipo Guttman


¿Mide usted más de 1,80 metros? Sí No
¿Mide usted más de 1,70 metros? Sí No
¿Mide usted más de 1,60 metros? Sí No

Esta tabla es un ejemplo de una escala de


Guttman perfecta donde, sabiendo la posición de Ítems
Sujetos P. Escala
un sujeto, se sabe automáticamente su 1 2 3 4 5
puntuación total y qué preguntas ha acertado. S1 1 1 1 1 1 5
S2 1 1 1 1 0 4
Como se puede intuir, resulta muy difícil S3 1 1 1 0 0 3
construir una escala de Guttman perfecta, por S4 1 1 0 0 0 2
tanto, la cuestión es qué grado de desviación de S5 1 0 0 0 0 1
la escala perfecta se permite para considerar a S6 0 0 0 0 0 0
una escala como ‘de Guttman’ → Coeficiente de P. Ítem 5 4 3 2 1
Reproductividad.

Por convenio, se considera que un conjunto de ítems constituye una escala de Guttman, si su coeficiente
de reproductividad es mayor que 0,90.

CR > 0,90 → Escala de Guttman

EJEMPLO 6 – Página 239 del Libro - ¿Coeficiente de Reproductividad (C.R.) de la escala?

Escala imperfecta: se va a comprobar si esta escala se aproxima suficientemente a una escala perfecta
para afirmar que es una escala de Guttman

Ítems
Sujetos P. Escala
1 2 3 4 5
S1 1 1 1 1 0 4
S2 1 1 0 1 0 3
S3 1 1 1 0 1 4
S4 1 0 0 1 0 2
S5 1 0 0 0 1 2
S6 0 1 0 1 0 2
S7 1 1 1 1 1 5
S8 1 0 1 0 0 2
S9 0 0 0 0 1 1
P. Ítem 7 5 4 5 4

Coeficiente de reproductividad:
𝑛º 𝑑𝑒 𝑒𝑟𝑟𝑜𝑟𝑒𝑠 𝑛º 𝑑𝑒 𝑒𝑟𝑟𝑜𝑟𝑒𝑠
𝐶. 𝑅. = 1 − =1−
𝑛º 𝑑𝑒 𝑟𝑒𝑠𝑝𝑢𝑒𝑠𝑡𝑎𝑠 𝑛º 𝑑𝑒 𝑠𝑢𝑗𝑒𝑡𝑜𝑠 · 𝑛º 𝑑𝑒 í𝑡𝑒𝑚𝑠

Los errores son desviaciones con respecto al patrón perfecto.


Apuntes de Marcos Román 9
Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 7

Se ordenan los sujetos y los ítems, con la opción que presente menos errores, dando como resultado
la tabla:

Ítems
Sujetos P. Escala Errores
1 4 2 3 5
S7 1 1 1 1 1 5 -
S1 1 1 1 1 0 4 -
S3 1 0→1 1 1 1→0 4 2
S2 1 1 1 0 0 3 -
S4 1 1 0 0 0 2 -
S5 1 0→1 0 0 1→0 2 2
S6 0→1 1 1 →0 0 0 2 2
S8 1 0→1 0 1→0 0 2 2
S9 0→1 0 0 0 1→0 1 2
P. Ítem 7 5 5 4 4 10

Teniendo en cuenta que el sujeto 3 obtuvo una puntuación de 4, para ajustarse al patrón (1,1,1,1,0),
en el ítem 4 debería haber puntuado 1 y en el ítem 5 debería haber puntuado 0, por lo tanto, cuenta con dos
errores.

10
𝐶. 𝑅. = 1 − = 0,77
9·5
Como 0,77 < 0,90 en este caso no es una escala de Guttman, se aparta demasiado.

4. Escalas de producción escolar


Las escalas de producción escolar constituyen una serie graduada de trabajos o proyectos tipo, que
sirven como punto de comparación para apreciar los trabajos similares realizados por cualquier sujeto.

Ejemplos de las mismas son las escalas de ortografía, de redacción, de dibujo y de composición…

…o más recientemente, las que hemos desarrollado para graduar el aprendizaje infantil de la
programación informática con Scratch

https://scratch.mit.edu/

Apuntes de Marcos Román 10


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 7

Nivel 1
https://scratch.mit.edu/projects/99612654/

Nivel 2
https://scratch.mit.edu/projects/124827092/

Nivel 3
https://scratch.mit.edu/projects/99330902/

5. Diferencial semántico
El diferencial semántico (o de Osgood) es un instrumento de recogida de información, a través del
cual se pretende conocer los significados connotativos, afectivos o subjetivos, que tienen los objetos,
fenómenos, hechos o situaciones para los sujetos.

Mediante este instrumento se pide a un sujeto que evalúe un ‘objeto’ en función de varios criterios,
cada uno de los cuales presentado como una pareja de adjetivos bipolares (bueno-malo, blanco-negro,
cálido-frío, etc.).

Se supone que las escalas tipo Osgood pueden tratarse estadísticamente como de intervalo.

Osgood comprobó que las personas tienden a valorar las cosas en función de los adjetivos que
utilizamos en el lenguaje.

Tabla 2. Ejemplo de cuestionario tipo Osgood


Cómo definiría las amistades de sus hijos:
Estudiosos/ / / / / / No estudiosos
Puntuación: 7 6 5 4 3 2 1
Desobedientes/ / / / / / Obedientes
Puntuación: 7 6 5 4 3 2 1
Tímidos/ / / / / / Descarados
Puntuación: 7 6 5 4 3 2 1

Ejemplos…

Apuntes de Marcos Román 11


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 7

Para construir el diferencial semántico será necesario el siguiente proceso…

Definir el Definir las Aplicar el Analizar los


‘objeto’ a escalas diferencial datos
medir bipolares semántico

PASO 1: Definir el ‘objeto’ a medir

El ‘objeto’ a medir deberá ser definido con precisión para evitar ambigüedades.

El estímulo u ‘objeto’ puede ser muy variado, incluyendo conceptos verbales (palabras) o no verbales
(imágenes, estímulos físicos).

PASO 2: Definir las escalas bipolares

Cada uno de los ‘objetos’ se evalúa mediante las escalas bipolares. Éstas representan una reacción de
tipo afectivo (subjetivo, connotativo) hacia el concepto. Las escalas bipolares se representan en un continuo,
dividido normalmente en 7 categorías, cuyos extremos son los adjetivos mencionados.

Apuntes de Marcos Román 12


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 7

 ¿Cuántas escalas bipolares se utilizan para definir un ‘objeto’?


Previamente, se coge una muestra de sujetos y se les pide que detallen todos los adjetivos que se les
ocurran para el ‘objeto’ presentado; luego se analizan dichos adjetivos y se seleccionan aquellos con mayor
frecuencia de aparición.

 ¿Qué son los ‘factores subyacentes’ a las escalas?


Normalmente, el conjunto de las escalas bipolares puede reducirse a un número más pequeño de
‘factores subyacentes’ (p.e. que todas las escalas sobre el ‘vino’ queden reducidas a los factores: ‘sabor’,
‘precio’ y ‘apariencia’).

PASO 3: Aplicar el diferencial semántico

Una vez elaborado el diferencial semántico, su aplicación se suele hacer en cuadernillos, donde
aparecen los diferentes ‘objetos’ evaluados junto con sus escalas bipolares (1 ‘objeto’ por página del
cuadernillo). Se suele pedir a los sujetos que contesten de forma rápida, ya que se prima la espontaneidad
de la respuesta afectiva.

Normalmente, para la valoración de cada escala bipolar, el número más pequeño (1 ó -3) corresponde
a la categoría más próxima al adjetivo con connotaciones negativas; mientras que el número más grande
(7 ó +3) corresponde a la categoría más próxima al adjetivo con connotaciones positivas.

PASO 4: Analizar los datos

Con las respuestas obtenidas se pueden realizar análisis estadísticos como…

Con las puntuaciones escalares


• La media de la muestra en cada una de las escalas bipolares.La media de todas las escalas que evalúan
un ‘objeto’ determinado, tanto para el individuo como para el grupo.
• La media de todas las escalas que evalúan un ‘objeto’ determinado, tanto para el individuo como para
el grupo.
Puntuaciones factoriales
• Puntuaciones en cada uno de los factores en que quedan agrupadas las escalas.

Análisis de perfiles
• Distancias/diferencias entre grupos o individuos en las puntuaciones factoriales sobre el ‘objeto’

Ejemplo 7 – Examen de Septiembre 2013

1) Se está construyendo una escala tipo Osgood y recoge datos de cuatro factores relativos a tres
conceptos:

Apuntes de Marcos Román 13


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 7

Valoración media de un grupo de sujetos de tres vinos:

Conceptos Factores
c1: Rioja f1: precio
c2: Valdepeñas f2: sabor
c3: Ribera del Duero f3: color
f4: embotellado

En una escala de 1 a 7 puntos. 1 → valoración más negativa | 7 → valoración más positiva

Calcular cuál es la distancia entre cada uno de los vinos, cuanto menor sea la distancia quiere decir que
son más parecidos entre sí y cuanto mayor sea la distancia quiere decir que son más diferentes.

Queremos saber cuál es la distancia entre cualquier pareja de vinos. También pueden preguntar entre
qué pareja está la distancia más pequeña.

Factores
f1 f2 f3 f4
Conceptos

c1 5 3 4 4
c2 2 5 4 5
c3 4 4 3 5

Construir la matriz de distancias euclídeas…

Distancia euclídea 𝐷(𝑎, 𝑏) = √∑ 𝑑2(𝑎, 𝑏)

(a, b) = dos objetos cualesquiera

∑d2 = sumatorio de las diferencias de los dos objetos en cada uno de los factores al cuadrado

𝐷(𝑐1, 𝑐2) = √(5 − 2)2 + (3 − 5)2 + (4 − 4)2 + (4 − 5)2 = 3,74

Si se calcularan todas las distancias D(c1, c2); D(c2, c3) y D(c1, c3) se podría ver en qué caso la distancia
es más pequeña y así ver cuales son los vinos más parecidos.

Apuntes de Marcos Román 14


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 7

EJERCICIOS AUTOEVALUACIONES TEMA 7

Sujeto 1= sumar puntuaciones del mismo en da ítem (4+5+3+3+2+1) = 18

Respuesta c)

C.A. = coeficiente de ambigüedad


C.A. = Q3 – Q1
n=150 jueces
Ítem K = 11 niveles de actitud
Percentil 25 = 6’8 = Q1
Percentil 75 = 10’2 = Q3
C.A. = Q3 – Q1
C.A. = 10’2 – 6’8 = 3’4
Como es > 2 no se conserva el ítem RESPUESTA b)

IMPORTANTE
Si es > 2 se considera que no hay consenso (no se conserva el ítem)
Si es < 2 se considera que si hay consenso (si se conserva el ítem)

Apuntes de Marcos Román 15


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 7

5 items
n=6
errores= 3

𝒏º 𝒅𝒆 𝒆𝒓𝒓𝒐𝒓𝒆𝒔
C.R. = 1 – 𝒏º 𝒅𝒆 𝒓𝒆𝒔𝒑𝒖𝒆𝒔𝒕𝒂𝒔

𝒏º 𝒅𝒆 𝒆𝒓𝒓𝒐𝒓𝒆𝒔
C.R. = 1 - 𝒏º 𝒅𝒆 𝒔𝒖𝒋𝒆𝒕𝒐𝒔∗𝒏º 𝒅𝒆 𝒊𝒕𝒆𝒎𝒔

𝒏º 𝒅𝒆 𝒆𝒓𝒓𝒐𝒓𝒆𝒔 𝟑
C.R. = 1 - 𝒏º 𝒅𝒆 𝒔𝒖𝒋𝒆𝒕𝒐𝒔∗𝒏º 𝒅𝒆 𝒊𝒕𝒆𝒎𝒔 = 1 - 𝟔∗𝟓 = 0’9

RESPUETA c)

SI, se considera que un conjunto de ítems constituyen una escala de


Guttman si su coeficiente de Reproductividad es mayor que 0’90,
por lo que en nuestro supuesto que tenemos 0’91 se prodria
considerar una escala de Guttman.

Apuntes de Marcos Román 16


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 7

7 categorias
4 vinos
3 factores
Vino A y vino C

d2 = ∑ de las diferencias de los dos objetos en cada uno de los factores del cuadro.

D(a,b) = √∑𝒅𝟐 (𝒂, 𝒃)

D(a,b) = √( 𝟔 − 𝟒 )𝟐 + (𝟒 − 𝟔)𝟐 + (𝟕 − 𝟒)𝟐 = 4’12

RESPUESTA a)

Apuntes de Marcos Román 17


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 8

Tema 8 Pruebas criteriales

Objetivos

 Valorar la utilidad de las pruebas criteriales en las investigaciones sociales.


 Conocer las distintas variantes de las pruebas criteriales y sus limitaciones.
 Saber elegir el modelo de prueba criterial más apropiado a un contexto concreto.
 Diseñar una prueba criterial.
 Realizar los controles técnicos apropiados para controlar la calidad de las pruebas criteriales.
 Saber implementar una prueba criterial en el contexto de una investigación.
 Recoger y analizar los datos recogidos de una prueba criterial.

1. Pruebas criteriales
Un grupo de test que merecen una mención aparte por sus implicaciones educativas
es el de los test referidos al criterio o test de referencia criterial (TRC). Son test que están
pensados para ver si un sujeto domina o no un contenido o un conocimiento concreto. Se
suelen utilizar para certificar o acreditar a una persona en ese conocimiento. P.e: un test
para certificar que un sujeto puede ser piloto de aviones. Son pruebas de evaluación
conductual con ítems de ejecución conductual en situaciones reales.

Los TRC tienen su origen en un artículo de Robert Glaser (1963). Berk (1998) define
los test de referencia al criterio como “construidos para evaluar el nivel de ejecución de un sujeto con
respecto a un dominio de conductas bien definidas”. Indican si el sujeto es apto o no apto. Si es apto significa
que domina todas las conductas, no solo una parte.

Test clásicos o test • Intentan medir y escalar a las personas en función del grupo normativo
referidos a una de referencia
norma (TRN) • Responden a la pregunta “¿En qué percentil se encuentra el sujeto?”
Temas 2 y 4

• Intentan medir y escalar a las personas en función de su grado


Test referidos a un dedominio del criterio de interés
criterio (TRC) • Responder a la pregunta “¿El sujeto?” domina suficientemente el
contenido

Apuntes de Marcos Román 1


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 8

Consecuencias y efectos positivos derivados de los TRC…

Obligan a definir con mayor claridad y operatividad los objetivos o criterios de interés, en la línea de la
evaluación conductual.

Obligan a muestrear exhaustivamente los objetivos a evaluar (validez de contenido) y exigen sumo
cuidado al confeccionar los ítems: aparecen en consecuencia gran variedad de formatos de ítems.

Potencian formas alternativas de evaluar la fiabilidad y la validez.

Obligan a desarrollar técnicas para establecer adecuadamente los puntos de corte, para determinar
quién pasa y quién no pasa el TRC. El punto de corte debe establecerse en función del contenido, no
de las personas evaluadas.

Al centrarse operativamente en objetivos muy específicos, son muy útiles para detectar puntos fuertes
(dominio) y puntos débiles (deficiencias) de los estudiantes, en vez de simplemente analizar las
diferencias entre ellos; y así tomar decisiones de enseñanza.

2. Tipos de pruebas criteriales

Test de certificación o Test de nivel o de


Test de diagnóstico (“detección”)
admisión (“consecución”) dominio (“promoción”)
Test de aula o de clase Test individualizado

Los test de certificación o admisión acreditan si el sujeto ha conseguido o no el dominio instruccional


correspondiente a un determinado nivel-etapa educativo (y/o necesario para acceder al nivel-etapa educativo
superior).

Los test de nivel o de dominio determinan si el sujeto ha conseguido el nivel instructivo necesario
para promocionar de un curso a otro.

Los test de diagnóstico pretenden detectar la existencia de problemas relacionados con el aprendizaje,
aportando información sobre su origen y características.

3. Elaboración de pruebas criteriales


Centrándonos en las pruebas criteriales de aula (muy similares a las pruebas objetivas del Tema 4),
por ser las de mayor aplicación por el profesorado, la secuencia de elaboración de las mismas sería…

Especificación Análisis de Determinación Estudio de las


del dominio ítems de estándares y características
educativo puntos de corte técnicas de la prueba

Apuntes de Marcos Román 2


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 8

3.1. Especificación del dominio educativo

“El conocimiento del dominio instruccional es crucial porque está relacionado con la validez de
contenido y constructo (…) por dominio de instrucción se entiende el conjunto de todos aquellos elementos
(objetivos, acciones, tareas…) que representan el propósito de la instrucción…

…las unidades que definen el dominio no deben solaparse y deben cubrir el dominio en su totalidad
(mutua exclusión y exhaustividad) …

…por tanto, el profesor ante una unidad didáctica o lección debe proponer ítems que recojan todos
los objetivos, contenidos y actividades relativos a la unidad a evaluar”

3.2. Análisis de los ítems

Los ítem generados se pueden analizar desde dos perspectivas…

Revisión lógica: correspondencia entre los ítems y la operativización del dominio de contenidos; se
realiza mediante el juicio de expertos.
• Congruencia ítem-objetivo (representatividad).
• Calidad técnica
• Ausencia de sesgo (neutralidad respecto a los sujetos o grupos).
Revisión empírica: se estudia la aplicación de la prueba y su funcionamiento; en varias etapas:
• Formulación de hipótesis en relación con la dificultad y poder discriminativo esperados en cada
ítem.
• Aplicación a una muestra de alumnos.
• Análisis de los resultados para determinar el nivel de dificultad, discriminación y validez de cada
ítem.
• Interpretación y toma de decisiones respecto a los ítems analizados.

En relación con la revisión empírica de los ítems, pueden obtenerse varios índices…

Índice de dificultad (pi): proporción de personas que contestan correctamente el ítem.

Índices de discriminación: los ítems de los TRC deben maximizar la discriminación de los individuos de
los grupos experimental y control, y minimizar la discriminación dentro del propio grupo. Son los
llamados índices de sensibilidad a la instrucción.
• DISGN o ganancia neta
• DISCI-SI o diferencia entre los grupos ‘con’ y ‘sin’ instrucción

Índice de homogeneidad: tiene como propósito que los ítems que cubren un mismo objetivo se
comporten de forma similar (tanto en una aplicación del test como en sucesivas). Se puede calcular con
la correlación ítem-total.

Apuntes de Marcos Román 3


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 8

EJEMPLO 1 – Página 255 del Libro

DISGN o ganancia neta. Proporción de sujetos que responden al ítem incorrectamente en el pretest y
correctamente en el postest, menos la proporción de sujetos que responden incorrectamente en el pretest
y en el postest. Su rango de variación es [-1,1].

Sujetos (todos Pretest Postest Ítem 1


‘experimentales’ = 3 3
Ítem 1 Ítem 2 Ítem 1 Ítem 2 𝐷𝐼𝑆𝐺𝑁 =
‘con instrucción’) 10 ∗− 10
=0
1 0X 1 0X 1
2 0 -- 0 -- 1 -- 1 -- No es sensible a la instrucción. No
3 1 0 -- 1 1 -- discrimina bien.
4 0 -- 0 -- 1 -- 1 -- Ítem 2
5 1 0 -- 1 1 -- 6 2
6 0X 0 X 0 X 0 X 𝐷𝐼𝑆𝐺𝑁 = − = 0,4
10 10
7 0 -- 1 1 -- 1
8 1 0 X 1 0 X Es más sensible a la instrucción.
9 0X 0 -- 0X 1 --
*Se divide por el total de sujetos.
10 1 0 -- 1 1 --

En el ítem 2 → 6 sujetos (2,3,4,5,9 y 10) contestan mal en el pretest y bien en el postest y 2 sujetos (6
y 8) contestan mal en las dos ocasiones. Se divide por el total de sujetos.

DISCI-SI o diferencia entre los grupos con instrucción y sin instrucción. Diferencia entre la proporción de
sujetos que aciertan el ítem en el grupo con instrucción menos la proporción de individuos que aciertan el
ítem en el grupo sin instrucción.

Grupo Ítem 1
Sujetos (todos en Grupo Control –
Experimental – 7 4
condición Sin instrucción 𝐷𝐼𝑆𝐶𝐼−𝑆𝐼 = − = 0,3
Con instrucción ∗
10 10
‘postest’)
Ítem 1 Ítem 2 Ítem 1 Ítem 2
1 0 1 0 1 Ítem mejorable.
2 0 0 1 1
Ítem 2
3 1 0 1 1 8 2
4 0 0 1 1 𝐷𝐼𝑆𝐶𝐼−𝑆𝐼 = − = 0,6
10 10
5 1 0 1 1
6 0 0 0 0 Es más sensible a la instrucción.
7 0 1 1 1
*Se divide por el total de sujetos.
8 1 0 1 0
9 0 0 0 1
10 1 0 1 1
Suma de aciertos 4 2 7 8

3.3. Determinación de estándares y puntos de corte

En la correlación de una prueba criterial se necesita determinar una puntuación que


sirva para diferenciar a los alumnos que han alcanzado o no el nivel mínimo de
competencia exigible en la aplicación de la prueba. Esta puntuación determina el estándar
o punto de corte.

El punto de corte se fija en función de los contenidos o el tipo de cuestión que se va


a certificar o acreditar.
Apuntes de Marcos Román 4
Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 8

Para determinar los estándares o puntos de corte se utiliza de nuevo el juicio de los expertos (los
mismos que han definido el dominio e intervenido en la revisión lógica de los ítems propuestos)

3.4. Estudio de las características técnicas de la prueba

Fiabilidad y validez

La fiabilidad se mide por el grado de estabilidad de los resultados en aplicaciones sucesivas de la


prueba; es decir, por la fiabilidad-estabilidad de las clasificaciones establecidas mediante el TRC en
aplicaciones sucesivas. Para decir que una prueba es fiable se pasa una primera vez a un conjunto de
candidatos y se identifica a los suejetos que superan la prueba. Transcurrido un determinado tiempo se
vuelve a pasar la prueba al mismo conjunto de candidatos y si los sujetos que vuelven a superar la prueba
son los identificados la vez anterior, la prueba es fiable, o por el contrario, si los sujetos que superan la
prueba, esta segunda vez, fueran otros distintos, se podría decir que la prueba está acreditando al azar.

La validez viene indicada por la adecuación de la prueba a los objetivos de la misma (de contenido, de
criterio, y de constructo) Validez de contenido: los ítems o las situaciones de evaluación conductual reflejan
los objetivos de la instrucción.

4. Un ejemplo de prueba criterial

Apuntes de Marcos Román 5


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 8

https://repositorio.uam.es/handle/10486/4717

Apuntes de Marcos Román 6


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 8

AUTOEVALUACIONES TEMA 8

DISGN (Ganancia neta).

Su calculo se realiza con dos fracciones que luego se restan


entre si:

Primera fracción:

𝑠𝑢𝑗𝑒𝑡𝑜𝑠 𝑐𝑜𝑛 𝑝𝑟𝑒𝑡𝑒𝑠𝑡 𝑖𝑛𝑐𝑜𝑟𝑟𝑒𝑐𝑡𝑜 𝑦 𝑒𝑙 𝑝𝑜𝑠𝑡𝑒𝑠𝑡 𝑐𝑜𝑟𝑟𝑒𝑐𝑡𝑜 (0 𝑦 1)


𝑛𝑢𝑚𝑒𝑟𝑜 𝑑𝑒 𝑠𝑢𝑗𝑒𝑡𝑜𝑠 𝑡𝑜𝑡𝑎𝑙𝑒𝑠

Segunda fracción:

𝑠𝑢𝑗𝑒𝑡𝑜𝑠 𝑐𝑜𝑛 𝑝𝑟𝑒𝑡𝑒𝑠𝑡 𝑦 𝑝𝑜𝑠𝑡𝑒𝑠𝑡 𝑖𝑛𝑐𝑜𝑟𝑟𝑒𝑐𝑡𝑜𝑠 (0 𝑦 0)


𝑛𝑢𝑚𝑒𝑟𝑜 𝑑𝑒 𝑠𝑢𝑗𝑒𝑡𝑜𝑠 𝑡𝑜𝑡𝑎𝑙𝑒𝑠

𝟕 𝟑
DISGN = - = 0’33 Respuesta c)
𝟏𝟐 𝟏𝟐

Apuntes de Marcos Román 7


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 8

DISCI-SI (Diferencia entre los grupos con instrucción y sin instruccion).

Su calculo se realiza con dos fracciones que luego se restan


entre si:

Primera fracción:

𝑎𝑐𝑖𝑒𝑟𝑡𝑜𝑠 𝑑𝑒𝑙 𝑔𝑟𝑢𝑝𝑜 𝑐𝑜𝑛 𝑖𝑛𝑠𝑡𝑟𝑢𝑐𝑐𝑖𝑜𝑛


𝑛𝑢𝑚𝑒𝑟𝑜 𝑑𝑒 𝑠𝑢𝑗𝑒𝑡𝑜𝑠 𝑡𝑜𝑡𝑎𝑙𝑒𝑠

Segunda fracción:

𝑎𝑐𝑖𝑒𝑟𝑡𝑜𝑠 𝑑𝑒𝑙 𝑔𝑟𝑢𝑝𝑜 sin 𝑖𝑛𝑠𝑡𝑟𝑢𝑐𝑐𝑖𝑜𝑛


𝑛𝑢𝑚𝑒𝑟𝑜 𝑑𝑒 𝑠𝑢𝑗𝑒𝑡𝑜𝑠 𝑡𝑜𝑡𝑎𝑙𝑒𝑠

𝟔 𝟏
DISCI-SI = - = 0’625 Respuesta a)
𝟖 𝟖

Apuntes de Marcos Román 8


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 9

Tema 9 Técnicas grupales de recogida de información

Objetivos

 Valorar la utilidad de técnicas grupales en las investigaciones sociales.


 Conocer las distintas variantes de técnicas grupales y sus limitaciones.
 Saber elegir el modelo de técnicas grupales más apropiado a un contexto concreto.
 Diseñar las distintas técnicas grupales.
 Realizar los controles técnicos apropiados para controlar la calidad de las técnicas grupales.
 Saber implementar una técnica grupal en el contexto de una investigación.
 Recoger y analizar los datos recogidos de una técnica grupal.

1. Introducción
Las técnicas grupales de recogida de información tratan de
identificar las conductas de los sujetos cuando éstos se
encuentran dentro de un grupo.

Las técnicas grupales proporcionan una información más


holística que otras técnicas, dado que recogen las aportaciones
de todos los miembros del grupo en interacción (lo cual, es más
rico que la suma de las aportaciones de cada uno de los sujetos por separado).

2. Tipos
Las técnicas grupales se pueden clasificar en…

 Técnicas de grupo focal → un moderador introduce un tema de discusión a un grupo de individuos.


 Técnicas de grupo nominal → reunión grupal de un grupo pequeño fomentando la participación de todos.
 Entrevista en profundidad → proceso de comunicación mediante instrucción dinámica entre dos personas.
 Tormenta de ideas o Brainstorming → técnica de creatividad desarrollada en un grupo seleccionado.
 Técnicas Delphi → distribución de cuestionarios en varias rondas a un grupo de expertos que puntúan en una
escala cuantitativa.
 Técnicas sociométricas → en ellas se concentra la atencion en el grupo y en las interacciones sociales que se
presentan en él.

3. Grupos focales
El grupo focal es una técnica en la que un moderador introduce un tema de
discusión a un grupo de individuos, dándoles la oportunidad de que interactúen
con sus comentarios y opiniones dirigidos en todo momento hacia los objetivos de
análisis (“foco”).

Apuntes de Marcos Román 1


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 9

Los grupos focales tienen 2 usos básicos en evaluación educativa…

Obtener más información sobre percepciones, ideas, actitudes, experiencias, o creencias. Son útiles
para la recopilación de la perspectiva propia de las partes interesadas / afectadas en un proceso (o
‘públicos audiencias objetivo’ en marketing)
• Ejemplo: en una evaluación de un programa de prevención de la violencia escolar, se hacen grupos
focales con estudiantes procedentes de centros violentos.

Obtener información adicional (de carácter interpretativo) como complemento a los datos
cuantitativos recogidos.
• Ejemplo: como complemento a una encuesta sobre integración cultural aplicada al profesorado de
un barrio con población inmigrante, se realizan grupos focales con algunos de dichos profesores para
interpretar mejorar algunos de los resultados de la encuesta.

Los grupos focales tienen ventajas y desventajas…

Ventajas: Desventajas:
 Relativamente fáciles de  El facilitador puede caer en sesgos.
configurar.  La discusión puede quedar
 Dinámica de grupo que da más monopolizada o desviada por unos
información que individuos por pocos.
separado.  El análisis de datos es muy costoso.
 Útil para el conocimiento más
profundo de un tema.

4. Grupo nominal
Se denomina grupo nominal a una reunión grupal de grupo pequeño (y
‘natural’), en la que se fomenta la participación de todos los miembros del
grupo, evitando la monopolización de la reunión por los ‘dirigentes’, sobre todo
ante causas de inhibición como jerarquía, inseguridad, timidez…

Apuntes de Marcos Román 2


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 9

El grupo nominal sigue el siguiente proceso…

Se plantea una Individualmente y en En una reunión Puesta en


pregunta al grupo. silencio, cada plenaria, cada común y posible
 De forma participante escribe miembro expone y votación de
sus ideas al respecto. defiende sus ideas prioridades e
verbal o por
 Unos 10 minutos.  15 minutos por ideas.
escrito.
exposición.

El grupo nominal se utiliza para…

 Generar ideas creativas.


 Lograr consensos.
 Garantizar la libre expresión de todos los miembros del grupo.
 Resolver conflictos y divergencias en el grupo.
 y especialmente cuando se sospecha que algún miembro del grupo no tiene la suficiente libertad de
expresar sus ideas.


5. Entrevista en profundidad
La entrevista en profundidad es el proceso de
comunicación mediante interacción dinámica entre dos
personas, entrevistador y entrevistado, bajo control del
primero.

La entrevista en profundidad se suele utilizar para…

 Conseguir información muy compleja.


 Conseguir información confidencial o delicada (tabú).
 Conseguir información experta de profesionales, y los cuestionarios estructurados son insuficientes.
 Servir de paso previo, identificando aspectos relevantes, para la posterior elaboración de
cuestionarios estructurados.

Apuntes de Marcos Román 3


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 9

La entrevista en profundidad sigue el proceso…

Fase introductoria: Desarrollo:


El entrevistador comunica al  De lo genérico a lo específico, de
Elaboración entrevistado: lo superficial a lo comprometido.
del guion.  Finalidad de la entrevista y uso  Uso de antecedentes y
posterior de la información. respuestas previas, para buscar
 Confidencialidad y anonimato. coherencia.
 Tipo de colaboración  Evitar preguntas tendenciosas y
esperada. sesgos.

6. El Brainstorming
El Brainstorming (o ‘tormenta de ideas’) es una técnica de creatividad
desarrollada en una reunión de grupo con personas seleccionadas (…) es una
técnica efectiva para generar cúmulos de ideas sobre un asunto específico, para
luego determinar qué idea o ideas presentan la mejor solución.

El Brainstorming resulta más provechoso


cuando se realiza en grupos de personas heterogéneas, de entre 8 y 12
personas (…) y en un ambiente relajado que expanda las mentes y favorezca
la creatividad.

6.1. Requisitos de una sesión de Brainstorming

Una sesión de Brainstorming requiere de un facilitador, espacio libre y


algo donde ir anotando las ideas (p.e. un panel grande a la vista de todos) … el
facilitador: guía y dinamiza la sesión, alienta la participación de todos, y toma
notas de las ideas sin analizaras o juzgarlas inicialmente.

6.2. Brainstorming paso a paso


 Definir el problema o asunto como un desafío creativo.
 Fijar un tiempo límite (y/o un número límite de ideas).
 Comenzado el Brainstorming: los participantes dan propuestas y el facilitador toma nota (en panel,
a vista de todos); de ninguna manera se critican las ideas (aunque sean descabelladas o imposibles),
todas se apuntan. Se fomenta la risa, no la crítica.
 Seleccionar las 5 ideas de mayor consenso.

 Escribir 5 criterios para juzgar cuáles ideas solucionan mejor el desafío.


 Valorar cada idea en función de los criterios anteriores de 0 a 5 puntos.
 Seleccionar la idea con valoración más alta (pero guardar siempre todo el listado de ideas para más
adelante).

Apuntes de Marcos Román 4


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 9

7. El método Delphi
El método Delphi se realiza mediante la distribución de una serie de
cuestionarios (o ‘documentos’) en varias rondas (o ‘circulaciones’) a un grupo de
expertos (o ‘panel’). En cada ronda, los panelistas reciben realimentación sobre las
respuestas del resto del grupo y tienen la oportunidad de revisar y cambiar las suyas
propias si lo desean. El proceso termina cuando el
investigador (o ‘moderador’) considera que se ha llegado a un
determinado nivel de consenso o que la información
obtenida es suficiente.

Es el método que consiste en la selección de un grupo de expertos a los que


se les pregunta su opinión sobre cuestiones referidas a acontecimientos del futuro con la ayuda de
cuestionarios sucesivos y de manera anónima.

Ventajas: Inconvenientes:
 Es anónimo: ningún miembro del  Intercambio de información
panel de expertos conoce quiénes limitado, puesto que los expertos
son los otros miembros; y las no llegan a interactuar nunca entre
respuestas de cada ronda se ellos.
recirculan de manera anónima.  Se reduce la motivación de los
 Se evita la presión de los expertos, al no existir recompensa
miembros dominantes. social por su contribución.

Características:

 ANONIMATO: no debe existir contacto entre los participantes, pero el administrador/gestor de la


encuesta sí puede identificar a cada participante.
 INTERACCIÓN: se pueden manejar tantas rondas como sean necesarias.

Apuntes de Marcos Román 5


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 9

 RETROALIMENTACIÓN CONTROLADA: los resultados totales de la ronda previa no son entregados a


los participantes, sólo una parte seleccionada de la información circula.
 RESULTADOS ESTADÍSTICOS: la respuesta del grupo puede ser presentada estadísticamente
(promedio y grado de dispersión).

7.1. Fases del método Delphi

7.2.Un ejemplo de método Delphi

Apuntes de Marcos Román 6


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 9

http://www.uax.es/publicacion/aplicacion-del-metododelphi--para-identificar-los-factores-clave-
defidelizacion.pdf
8. Técnicas sociométricas
A diferencia de las técnicas de observación, cuya atención se
concentra en el estudiante como individuo, las técnicas sociométricas
concentran su atención en el grupo y las interacciones sociales que se
presentan en él (…) en otras palabras, hablamos de
la repercusión que la situación del grupo tiene en
cada uno de sus miembros.

Los principales instrumentos que utilizan las técnicas sociométricas son: el


sociograma, la escala de distancia social, y los inventarios de personalidad.

8.1. El sociograma
El sociograma es una técnica que pretende poner de manifiesto los lazos de
influencia y de preferencia que existen en el grupo (…) para un docente es de gran
utilidad conocer la presencia de lazos de vínculo entre sus estudiantes con el fin de
utilizarlos a favor de la promoción del grupo.

El sociograma tiene varias utilidades en educación…

Detección de problemas de inadaptación social en el aula.

• Detectar sujetos 'aislados'.


• Detectar sujetos 'rechazados'.
• Detectar 'subgrupos' o 'bandos' antagónicos.

Determinar estrategias metodológicas en el aula a la hora de conformar grupos de trabajo.


• Si la clase está bien cohesionada, formar grupos que se ajusten a los aparecidos en el sociogramas.
• Si hay sujetos ‘aislados’ o ‘rechazados’, integrarlos a través de los sujetos ‘puente’.
• Si hay ‘bandos’, conciliarlos a través de sus ‘líderes’.

Ejemplos de preguntas que dan pie al sociograma…

1) ¿Cuáles de tus compañeros consideras que dan opiniones muy acertadas en la mayoría de los casos?
2) ¿Con cuáles de tus compañeros prefieres convivir ya sea en el estudio o en la diversión? ¿Y a cuáles
rechazas?

Una vez el profesor cuenta con las respuestas (…) una forma muy práctica de visualizar los resultados
es representar gráficamente cada estudiante por medio de un círculo (o triángulo, según el sexo), y de allí
trazar flechas hacia los círculos (o triángulos) de los compañeros que ha seleccionado. Por tanto, los
sociogramas se caracterizan por la representación gráfica de las elecciones y rechazos de los individuos de
un grupo.

Apuntes de Marcos Román 7


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 9

Para realizar un sociograma se parte de una matriz de doble entrada, o ‘matriz sociométrica’, en la
cual normalmente se ponen los ‘electores’ en las filas, y los ‘elegidos’ en las columnas.

Ejemplo 1 – Examen de Febrero 2013

2) Un profesor forma parejas entre los 6 alumnos de su tutoría (2 niños y 4 niñas) para realizar unas
dinámicas grupales. Para ello, les formula las siguientes preguntas:

¿Con quién de tus compañeros prefieres estudiar? ¿Con quién de tus compañeros no quieres estudiar?

El profesor recoge las siguientes respuestas: Elegidos


Alumno 1: Prefiero estudiar con 2; No quiero estudiar con 4. 1 2 3 4 5 6
Alumno 2: Prefiero estudiar con 5; No quiero estudiar con 1. 1 A R

Electores
Alumno 3: Prefiero estudiar con 5; No quiero estudiar con 6. 2 R A
Alumno 4: Prefiero estudiar con 5; No quiero estudiar con 2. 3 A R
Alumno 5: Prefiero estudiar con 4; No quiero estudiar con 3. 4 R A
Alumno 6: Prefiero estudiar con 5; No quiero estudiar con 3. 5 R A
6 R A

c) Indica quién de los alumnos tendría tipología de líder

El nº 5; recibe muchas elecciones y pocos rechazos.

A la hora de interpretar el sociograma hay dos cuestiones a tener en cuenta: a) la posición


sociométrica, y b) las configuraciones sociométricas.

Posiciones sociométricas (ver ejemplo p. 274)

 El líder: recibe muchas elecciones y pocos (o ningún) rechazo.


 La eminencia gris: sujeto casi aislado, que casi sólo posee una relación de elección mutua
con el líder.
 El aislado/a: no recibe elecciones y tampoco elige a nadie (para detectarlo, deben permitirse
respuestas en blanco).
 El marginado/a: elige a otros, pero no es elegido por nadie.
 El rechazado/a parcial: recibe menos elecciones que rechazos.
 El rechazado/a total: solamente recibe rechazos.
 El normal: recibe algunas elecciones y algunos rechazos.
 El polémico/a: recibe muchas elecciones y muchos rechazos.

Apuntes de Marcos Román 8


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 9

Configuraciones sociométricas (ver ejemplo p.274)


 La pareja o relación diádica: Dos individuos, A y B, se eligen mutuamente.
 El triángulo o relación triádica: Tres individuos, A, B y C, se eligen entre sí (A a B, B a C, y C a
A).
 La cadena: A elige a B, B a C, C a D, …
 La estrella: Se da este tipo cuando un sujeto concentra muchas elecciones (‘líder’).

8.2. Escala de distancia social


Hay grupos de clase que reaccionan de forma unánime ante alguna
propuesta de los profesores, y otros donde las opiniones son dispares al
existir sub-grupos a menudo enfrentados y en donde casi nunca una
propuesta recibe el apoyo o el rechazo por unanimidad (…) para comprobar
la existencia de estas situaciones se pueden utilizar los llamados ‘índices de
integración y cohesión’.

Integración

 Un sujeto está ‘integrado’ en su grupo cuando mantiene una red de interrelaciones con otros
miembros del grupo, que le generan la sensación de dependencia-pertenencia al mismo.
 La ‘integración’ se define como una relación particular de cada sujeto respecto al grupo.

Cohesión

 Un grupo está ‘cohesionado’ cuando el sistema de interrelaciones que funciona entre sus miembros
mantiene a estos satisfactoriamente ligados al grupo.
 La ‘cohesión’ no es, por tanto, una cuestión de cada miembro del grupo por separado, sino algo
inherente al grupo en su conjunto.

Escalas de distancia social:

Las ‘escalas de distancia social’ nos permiten conocer la opinión y actitud afectiva de cada estudiante
respecto de sus compañeros. Para dicho objetivo se redactan proposiciones que van desde la mayor
cercanía a la mayor lejanía (pasando por distintos grados de proximidad); posteriormente cada estudiante
enjuicia la situación en que se encuentra cada compañero respecto a él.

El ‘índice de integración’ de cada sujeto es la suma de las puntuaciones emitidas sobre él por sus
compañeros. Puede tomar valores entre:

(𝑛 - 1) ≤ Índice de Integración ≤ (nº de categorías de la escala) ∙ (𝑛 - 1)

Siendo:

n = número total de sujetos que forman el grupo.

(OJO! En las matrices de distancia social, a diferencia de las matrices sociométricas, en las filas están
los ‘enjuiciados’ (valorados) y en las columnas los ‘enjuiciadores’ (valoradores))

Apuntes de Marcos Román 9


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 9

El ‘índice de cohesión’ se calcula como la media de los índices de integración de los sujetos del grupo.
Nos da una información muy valiosa y de conjunto sobre el grupo, que se puede comparar con otros grupos
o con sí mismo a lo largo del tiempo.

∑ í𝑛𝑑𝑖𝑐𝑒 𝑑𝑒 𝑖𝑛𝑡𝑒𝑔𝑟𝑎𝑐𝑖ó𝑛
Í𝑛𝑑𝑖𝑐𝑒 𝑑𝑒 𝑐𝑜ℎ𝑒𝑠𝑖ó𝑛 =
𝑁ú𝑚𝑒𝑟𝑜 𝑑𝑒 𝑚𝑖𝑒𝑏𝑟𝑜𝑠
Ejemplo 4 – Examen de Septiembre 2013

1) Un pedagogo quiere trabajar en un grupo con sus alumnos y necesita valora la relación existente
entre María, Susana, Francisco y Sara. Para llevarlo a cabo, les solicita a cada uno de ellos que
complete la siguiente frase con el nombre de un compañero: “Prefiero que ........... estuviera en mi
grupo”

El Pedagogo obtiene los siguientes resultados:

Valoradores
María Susana Francisco Sara Total
Valorados

María -- 3 2 1 6
Susana 3 -- 3 3 9
Francisco 3 1 -- 3 7
Sara 2 3 3 -- 8

Siendo:
1.- Nada; 2.- Poco; 3.- Mucho.

a) Calcular los índices de Integración y Cohesión del grupo.

ÍNDICES DE INTEGRACIÓN:

Escala (n-1) y 3(n-1). Los índices de integración se situarían en una escala de 3 al 9.


Siendo: 6, 9, 7 y 8

ÍNDICE DE COHESIÓN: Índices de integración/Número de alumnos

(6+9+7+8)/4=7,5

c) Interprete la integración del grupo


7,5
3 6 7 8 9
M F Sa Su
I.C.
Los cuatro alumnos mantienen buena integración y cohesión entre ellos.

Apuntes de Marcos Román 10


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 9

Ejemplo 3 – Examen de Febrero 2014

En un estudio sobre las relaciones grupales entre cuatro miembros de una clase, se han obtenido los
siguientes resultados, como respuesta a la pregunta “Prefiero compartir mi tiempo libre con…”. Siendo estas
las opciones de repuestas ofrecidas:
A B C D
4. Siempre A -- 3 1 4
3. Muchas veces B 2 -- 3 2
2. Pocas veces C 1 3 -- 4
1. Nunca
D 3 2 4 --

 ¿Entre qué valores oscilará la escala que permite valorar el índice de integración de cada alumno?
Calcule e interprete el índice de integración de cada uno de los miembros del grupo.
 Realice la representación gráfica de los índices de integración.
 Calcule e interprete el índice de cohesión grupal.

a) El índice de integración en este caso con una escala de 4 categorías, oscila entre 4*(n-1) y (n-1) donde
n es el número de casos. Luego oscilará entre 4*3 y 3, es decir, entre 12 y 3. Los valores de integración
son: 8, 7, 8 y 9 respectivamente para A, B, C y D, por lo cual, D es el más integrado del grupo y B el
menos integrado, no obstante, todos tienen un nivel medio de integración.
b)

c) Índice de cohesión = (8+7+8+9)/4=8. Por la variación de la escala (12,3) el índice de cohesión se


sitúa en un punto central.

Ejemplo 5 – Examen de Febrero 2012

Un profesor quiere valorar la relación en un grupo de cinco estudiantes para lo cual realiza una
pregunta entre los mismos: ¿valore el interés que tiene en sentarse junto a …… para realizar un trabajo
grupal? Los resultados fueron los siguientes:

Juan Pedro Luis Enrique Carlos Total


Juan ---- 3 4 2 5 14
Pedro 4 ---- 5 3 1 13
Luis 3 2 ---- 4 2 11
Enrique 4 3 2 ---- 2 11
Carlos 4 4 3 5 ---- 16

5.- Tiene mucho interés 4.- Prefiere que esté en su grupo 3.- Le es indiferente
2.- Prefiere no formar parte de su grupo 1.- No quiere que esté en su grupo

Se pide:
Apuntes de Marcos Román 11
Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 9

a) Calcular el índice de integración del grupo.


b) Calcular el índice de cohesión del grupo.
c) Valorar la integración del grupo.
d) Situar en un plano las relaciones en el grupo.

a) El índice de integración va desde 5(n-1) y (n-1), es decir, entre 20 y 4.


b) El índice de cohesión será:
14+13+11+11+16 65
Í𝑛𝑑. 𝑐𝑜ℎ𝑒𝑠𝑖ó𝑛 = = = 13, como se puede ver prácticamente en el centro de la
5 5
escala.

c) La integración en el grupo es media al situarse en el centro de la escala.


d) La representación gráfica en el plano de las relaciones es:

Un ejemplo real…

Apuntes de Marcos Román 12


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 9

http://redc.revistas.csic.es/index.php/redc/article/view/792/930

Software específico de análisis de redes…

https://sites.google.com/site/ucinetsoftware/home http://www.tucows.com/preview/295919/Agna

8.3. Los inventarios de personalidad


Los ‘inventarios de personalidad’ (aplicados como técnica sociométrica)
consisten en poner al estudiante en una situación ficticia en relación a una
conducta social (…) para que explique qué haría o dejaría de hacer en esas
circunstancias; todo esto con el fin de que proyecte su actitud en relación con
conductas sociales específicas.

Por ejemplo: ¿Qué harías tú si llegara un niño nuevo a clase y durante su


primera semana en el colegio no jugara con nadie en el recreo?

Apuntes de Marcos Román 13


Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 9

AUTOEVALUACION TEMA 9

COLUMNAS = ELEGIDOS
FILAS = ELECTORES

El LIDER será el sujeto 5 pues le escogen 4 sujetos.

TOTAL

16

14

19

15

17

Se suman las filas del sujeto = Índice de integración


La respuesta seria Irene pues su total es de 19 `puntos.
Apuntes de Marcos Román 14
Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 9

∑𝐼𝑛𝑑𝑖𝑐𝑒 𝑑𝑒 𝑖𝑛𝑡𝑒𝑔𝑟𝑎𝑐𝑖𝑜𝑛
INDICE DE COHESION =
𝑛

n=5
(16+14+19+15+17)
INDICE DE COHESION = = 16’20
5
Respuesta c)

Índice de integración

Calcular la escala:

La escala será de 5 categorías.

Oscila entre n * (n – 1) y (n - 1) donde n es el nº de casos.


5 * (5 – 1) y (5 – 1)
(20 y 4)

En el punto anterior el Índice de cohesión del grupo = 16’2

4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
BAJO MEDIO ALTO
(4 A 9) (10 A 14) (15 A 20)
16’2 es nuestro grupo
Respuesta c) Cohesión alta
Apuntes de Marcos Román 15
Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 9

Apuntes de Marcos Román 16


CAPITULO 10 ANALISIS DE DOCUMENTOS
1.- ANALISIS DE DOCUMENTOS.
El análisis de documentos es la base de la investigación histórica y el fundamento de toda
investigación que pretenda estar incluida en la realidad del momento en que se desarrolla.
Además, el análisis de documentos es el primer paso a dar después de plantearse el
problema de investigación.

Existen dos formas de abordar el análisis de documentos………

P.ej.: la crítica literaria o el análisis de textos mediante el


método histórico.
Se produce mediante dos tipos de análisis:
METODOS Interno: se analiza el contenido del texto (calidad y
CLASICOS veracidad).
Externo: se analiza el contexto del texto (autenticidad y
resonancia).

• No pretenden sustituir a los métodos clásicos, sino


complementarios.
• Con estos métodos se intenta eliminar el subjetivismo
METODOS de la persona que analiza los documentos.
CUANTITATIVOS Algunos de ellos son:
 La semántica cuantitativa.
 Análisis de contenido.
 Documentación bibliográfica.

2.- ANALISIS DE CONTENIDO.


El análisis de contenido es una técnica de investigación para la descripción objetiva,
sistemática y cuantitativa del contenido manifiesto de la comunicación.
En síntesis, se trata de transformar un documento escrito en datos cuantitativos.
El análisis de contenido conlleva el cumplimiento de ciertas condiciones:
 OBJETIVIDAD.
El proceso de análisis puede ser replicado por otro investigador, llegando a los mismos
resultados.

1
 SISTEMATIZACION.
El análisis se realiza según unas pautas ordenadas, que se aplican sobre la totalidad del
contenido recogido.

 CUANTIFICABLE.
El análisis se traduce en datos cuantitativos, que pueden ser sometidos a tratamiento
estadístico.

 MANIFIESTO.
El análisis se aplica sobre el contenido manifiesto de la comunicación, dejando fuera los
aspectos implícitos o soterrados.

El análisis de contenido para su aplicación, suele llevar los siguientes pasos:

Decidir si se analiza todo el documento o una muestra.

Definir la unidad de analisis: palabras, frases, parrafos o temas.

Categorizacion: identificar, seleccionar y estructurar las categorias de


analisis.

Fiabilidad: correlacion entre las categorizaciones de varios codificadores.

Analisis estadisticos: frecuencias, tablas de contingencias, medidas de


asociacion...

EL ANALISIS DE CONTENIDO TIENE:

VENTAJAS INCONVENIENTES

 Técnica no intrusiva.  Escritos no homogéneos, con diferentes


propósitos.
 Información de bajo coste.
 Disposición de los documentos limitada.

2
3.- TIPOS DE DOCUMENTOS.
Los tipos de documentos que se pueden someter a un análisis de contenido son muy variados:

ACTAS, CIRCULARES
INFORMES, PROGRAMAS
CARTAS, DIARIOS,
DISCURSOS
REVISTAS, PERIODICOS,
LIBROS.
E-MAILS, POSTS, TWEETS
DOCUMENTOS
AUDIVISUALES

4.- PROCEDIMIENTO A SEGUIR EN EL ANALISIS DE CONTENIDO.

Objetivo
y
contexto

Unidades de
analisis

Reglas de
numeracion
y recuento

OBJETIVO Y CONTEXTO
Determinar los objetivos perseguidos por la investigación, el universo objeto de estudio,
la elección del tipo de documento y las unidades de contenido dentro del documento.
Ejemplo: estudiar los materiales escolares durante la Segunda República, a través de los
libros de textos y cuadernillos escolares publicados en España desde 1931 a 1939.

3
UNIDADES DE ANALISIS
Son los objetos de estudio para realizar con ellos clasificaciones o recuentos.
Se pueden clasificar en:
 Unidades de muestreo: porciones del universo observado que serán objeto de estudio.
 Unidades de contexto: sirve para dar significado a las unidades de registro.
 Unidades de registro: elemento primario del texto que hace referencia a una categoría,
pueden ser de distintos tipos:

 Léxicas (términos y palabras)


 Proposicionales (oraciones y proposiciones)
 Narrativas (acciones de personajes en un tiempo y un espacio)
 Temáticas (conceptos, referencias, valoraciones)
 Argumentativas (fruto de enunciaciones)
 Discursivas (fruto de discursos de sujetos)

REGLAS DE NUMERACIÓN Y RECUENTO


 Presencia o ausencia de un código.
 Frecuencia de aparición de un código.
 Frecuencia ponderada, según sea la importancia del código.
 Orden de aparición de los códigos.
 Densidad de un texto.
 Nivel de concentración.

Categorización

Codificacion

Fiabilidad y validez

Analisis de los datos

4
a) CATEGORIZACION.

Es la clasificación de los elementos del texto a partir de los criterios previamente


establecidos.

Las categorías deben ser:

 Exhaustivas.
 Mutuamente excluyentes.
 Homogéneas.
 Productivas.
 Significativas y replicables.

b) CODIFICACIÓN.
Traducir la categorización a valores numéricos según reglas predefinidas (libro de
códigos), para su posterior tratamiento estadístico.

c) FIABILIDAD Y VALIDEZ.

La fiabilidad se estima por el grado de acuerdo entre codificadores independientes.

La validez se relaciona con la exhaustividad y productividad del sistema de categorías.

d) ANALISIS DE DATOS.

Nos encontramos de varios tipos:

Descriptivos. Se analizará la frecuencia de aparición de las categorías y sus relaciones


internas o externas con otras variables.
Inferenciales. Una fase inferencial donde se intentara sacar conclusiones, es decir, el
poder de generalización.
Multivariantes. Se analizará las estructuras complejas de las categorías y las
relaciones de los bloques de contenido con estas.

5.- PROCEDIMIENTO A SEGUIR EN EL ANALISIS DE CONTENIDO.

Análisis de
contenido temático

- Se centra en la presencia de términos o conceptos con independencia de las relaciones


entre los mismos.
- Se utilizan como técnicas: recuento de palabras, identificación y clasificación temática, y
búsqueda de palabras en contexto.

5
Análisis de
contenido
semántico

- Pretende estudiar las relaciones entre los temas tratados en un texto; se han de definir los
patrones de relaciones que se tomaran en cuenta.
- La técnica más utilizada en la “matriz semántica” matriz “problema-solución”.

Análisis de redes

- Se centra en la ubicación relativa de los distintos componentes.


- Se puede realizar a partir de la representación bidimensional o tridimensional de múltiples
matrices semánticas interrelacionadas.

También podría gustarte