Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Introducción
No existe ciencia sin medición = No hay pedagogía sin medida educativa
https://youtu.be/7RlCVhWWlhs
La medida en educación
“Si pongo en una báscula dos personas de 80 kilos, la báscula marcará 160 kilos (…), pero si pongo
dos personas con CI=100 a resolver juntas un test de inteligencia, no puedo asegurar que obtengan una
puntuación CI=200”
Medidas Aditividad y
Nivel de Razón Cero absoluto
proporcionalidad
físicas
Medidas Ordenación y
distancia -
Nivel Ordinal y De Orden.
de Intervalo
psicológicas proximidad Cero relativo.
“La evaluación no es una medida simple, sino que lleva inmerso un proceso de emitir juicio de valor sobre
las mediciones realizadas”
Cuando es posible establecer un orden o rango dentro de las categorías de acuerdo con un criterio,
tenemos medidas ordinales…
…los valores sólo indican “mayor que o menor que” (orden), pero no determinan distancia o
proximidad (no hay una unidad constante entre ellos)
y = cx (c≠0)
Ej.: 1 kilo = 2,2 libras
T
“En investigación educativa las variables que manejamos llegan, en el mejor de los casos, a ser de
intervalo. Sólo determinadas variables físicas de los sujetos (pero sin relevancia o con poca relevancia desde
el aspecto educativo, como el peso, la altura, etc.) alcanzan la medida de nivel de razón”
m
e
un modelo de alguna propiedad del mundo (y las posteriores medidas se
deben referir y ajustar a dicho modelo).
a
Como toda modelización, se quiere establecer una relación de
isomorfismo entre un sistema relacional empírico (la realidad) y un sistema
relacional formal (modelo).
El modelo de teoría de respuesta al ítem (TRI) o rasgo latente de Rasch se fundamenta en la idea de
que la respuesta a un ítem sólo depende de la capacidad del sujeto y la dificultad intrínseca del ítem.
2
“Si los datos no se ajustan al modelo, son los datos los que deben cambiarse, no el modelo” (dicho
de otra forma, el axioma es el modelo; si los datos no se ajustan, entonces se desecha el instrumento)
1, 1, 3, 5, 8, 10, 17
“No obstante, aunque el significado empírico de los números no afectara a la validez de las
manipulaciones realizadas sobre ellos; sí afecta a las conclusiones extraídas de los resultados de esas
manipulaciones”
Ejemplo: utilizar una medida de razón (p.ej. “tiempo de comunicación con los compañeros”) como
indicador de una medida ordinal (p.ej. “integración escolar”); y aplicar erróneamente las propiedades de la
primera sobre la segunda.
Técnica
• p.e. Técnica de cuestionario - Encuesta
Instrumento
• p.e. Cuestionario CAE de adaptación escolar (cuestionario cerrado)
Recurso
• p.e. El ordenador como medio para aplicar el instrumento
6 grandes técnicas:
La observación
La entrevista
El cuestionario
Las pruebas objetivas y tests
Las técnicas grupales y sociométricas
El análisis de documentos
Para evaluar la calidad de los ítems los indicadores más utilizados son:
Dificultad.
Discriminación / Homogeneidad
Análisis de los distractores (alternativas incorrectas de un
utilizados son:
Fiabilidad
Validez
Unidimensionalidad
TCT - Dificultad
El grado de dificultad de un ítem está en función del número de personas que conteste de forma
correcta al mismo.
El Índice de Dificultad (ID) no es una propiedad intrínseca del ítem, pues su valor depende de la
muestra de sujetos a la que se aplique (…) el ID sólo tiene sentido en tests o pruebas objetivas donde
hay respuestas correctas e incorrectas.
Ejemplo 2: Se supone un ítem de evocación (sin alternativas) que es contestado erróneamente por 25 estudiantes
y acertadamente por 7 estudiantes. Todos los estudiantes han contestado al ítem. ¿ID del ítem?
E=25
A= 7
E+A= N
13+17=32 𝐴 17
N= 32 ID = = = 0’56 → ITEM FÁCIL
𝑁 30
Ejemplo 3: Se supone un ítem de 3 alternativas de respuesta, que es acertado por 26 estudiantes en una
clase de 39 alumnos. ¿ID’ del ítem?
K=3
A= 26
N–A=E 𝐸 13
39 – 26 = 13 𝐴− 26−
𝐾−1 3−1
E = 13 ID’ = = = 0’5 ítem normal
𝑁 39
N=39
IMPORTANTE:
Al construir un test es aconsejable que la mayor parte de los
ítems sean de dificultad normal y una pequeña cantidad a
partes iguales, de ítems de dificultad baja y dificultad alta.
TCT – DISCRIMINACIÓN
Este índice determina la potencia del ítem para discriminar el grupo de sujetos que tiene
mayor cantidad de aciertos en la prueba, frente al de menos aciertos (…).
Es decir, un ítem discrimina bien cuando existe correlación positiva entre la puntuación
obtenida en el ítem con la puntuación obtenida en el test (…).
Índice de discriminación.
Índice de homogeneidad.
INDICE DE DISCRIMINACION
Dividida la muestra en dos grupos extremos: a) una parte donde está el 27% de personas con
mayor puntuación en el test (extremo superior) y b) otra parte con el 27% de menor puntuación (extremo
inferior).
𝐷 = 𝑝+ − 𝑝−
p+ representa la proporción de individuos del extremo superior que aciertan el ítem
p- representa la proporción de individuos del extremo inferior que aciertan el ítem
EJEMPLO:
Pasamos un test a un grupo de 500 personas, ordenamos sus resultados de mejor a peor puntuación.
De las 135 personas (27 % de 500) con mejor puntuación, 112 aciertan el ítem X, mientras que, de las 135
personas con peor puntuación, lo aciertan 50. ¿calcula su índice de discriminación?
Ítem X = 27 % de 500 = 135 sujetos
112
P+ = 112 de 135 =
135
50
P- = 50 de 135 =
135
112 50
D = p+ - p- = − = 0’46
135 135
El ítem X discrimina muy bien por tener un índice de discriminación superior al límite de 0’25 a 0’35 o
superior.
A continuación, vamos a probar con el ítem Y, donde han acertado 80 individuos del extremo
superior y 68 individuos del extremo inferior.
Ítem X = 27 % de 500 = 135 sujetos
80
P+ = 80 de 135 =
135
68
P- = 68 de 135 =
135
80 68
D = p+ - p- = − = 0’08
135 135
El ítem Y carece de utilidad para discriminar.
Ejemplo 4: Tenemos un test que aplicamos a 600 estudiantes. De los 162 estudiantes con peor
puntuación total en el test, 30 han acertado el ítem 1; y de los 162 con mejor puntuación total, 95 han
acertado dicho ítem. ¿Cuál es el índice D de discriminación del ítem 1?
95 30
𝐷 = 𝑝+ − 𝑝− = 162 − 162 = 0,40 → Índice de discriminación alto
INDICE
HOMOGENEIDAD
𝑁 ∑ 𝑥𝑦−∑ 𝑥 ∑ 𝑦
𝑟=
√[𝑁 ∑ 𝑥2−(∑𝑥)2][𝑁 ∑ 𝑦2−(∑ 𝑦)2]
r puede ir desde -1 ↔ 0 ↔ +1
NO LA VAMOS A USAR
Ejemplo 5: Tenemos los resultados de las respuestas de 4 sujetos a una prueba de 4 ítems (“1” =
acierto; “0” = fallo) ¿IH del ítem 4? Examen septiembre 2016
𝑁 ∑ 𝑥𝑦 − ∑ 𝑥 ∑ 𝑦
𝑟=
√[𝑁 ∑ 𝑥2 − (∑ 𝑥)2][𝑁 ∑ 𝑦2 − (∑ 𝑦)2]
(4 · 2) − (1 · 7) 8−7 1 1 1
r= = = = = = 0,174
√[(4 · 1) − 12] · [(4 · 15) − 72] √[4 − 1] · [60 − 49] √3 · 11 √33 5,74
La siguiente tabla indica los resultados (0=error, 1=aciertos) de 5 sujetos en un test compuesto por
4 ítems ¿Cuál es el índice de homogeneidad IH del ítem 1 calculado “correlación ítem-total
(descontando el ítem)?
ITEMS
SUJETOS
1 2 3 4
ID1 1 0 1 1
X = ítem 1 (aciertos/errores)
ID2 1 1 1 0
Y = ítems 2,3 y 4 (aciertos/errores)
ID3 0 0 1 0
ID4 0 0 0 0
ID5
1 0 1 0
PREPARAMOS LA TABLA DE LA X e Y
ítems x y x*y x2 y2
1 1 2 2 1 4
2 1 2 2 1 4
3 0 1 1 0 1
4 0 0 0 0 0
5 1 1 1 1 1
𝑵∑𝒙𝒚− ∑𝒙∑𝒀
IH = r =
√[𝑵∑𝒙𝟐 − (∑𝒙)𝟐 ][𝑵∑𝒚𝟐 − (∑𝒚)𝟐 ]
𝟓∗𝟓−𝟑∗𝟔 𝟐𝟓−𝟏𝟖 𝟕 𝟕
IH = r = = = = 𝟗′𝟏𝟔𝟓 =
√[𝟓∗𝟑− (𝟑)𝟐 ][𝟓∗𝟏𝟎− (𝟔)𝟐 ] √[𝟏𝟓−𝟗][𝟓𝟎−𝟑𝟔] √[𝟔][𝟏𝟒]
Ejemplo 6: Se supone que 400 individuos contestan a un ítem con 5 alternativas (A, B, C, D y E), y que
la E es la respuesta correcta. Las respuestas de los 276 sujetos que fallan en las distintas alternativas son:
A B C D
91 42 66 77 Empírica
69 69 69 69 Teórica
¿Se puede afirmar, con un nivel de confianza del 95%, que hay equiprobabilidad en los distractores?
Ji-cuadrado mide la discrepancia entre la distribución empírica y la teórica, si éstas son iguales el
resultado de ji-cuadrado es 0
(𝑓𝑜 − 𝑓𝑒)2
𝑓𝑜 → frecuencia observada → empírica χ2 = ∑
𝑓𝑒
𝑓𝑒 → frecuencia esperada → teórica
(91 − 69)2 + (42 − 69)2 + (66 − 69)2 + (77 − 69)2
χ2 = = 18,63
69
Nivel de confianza
EJEMPLO:
Tenemos un ítem de 4 alternativas, que se ha pasado a 500 personas. De las que aciertan 320 y
fallan 180 sujetos. De los 180 fallos, se reparten entre las alternativas erróneas de la siguiente
manera:
(𝒇𝒐−𝒇𝒆)𝟐
Χ2 = ∑
A B C 𝒇𝒆
fo=datos de la tabla (75,65 y 40)
fe=dividir los fallos entre las alternativas de
75 65 40 180
respuesta ( =60)
3
k=3 alternativas de respuestas erróneas
2
Vamos a la tabla del X y con los grados de libertad y el alfa miramos su valor = 5’991
Enfrentamos los dos valores:
Tenemos 200 sujetos que han contestado a un ítem de elección múltiple con cuatro alternativas de
respuesta (opciones A, B, C Y D) de las cuales solo hay una correcta (la opción D) y tres incorrectas o
distractores (opciones A, B y C). En la siguiente tabla, se muestra como se distribuyen las respuestas
de los 120 sujetos que contestan erróneamente al ítem entre los tres distractores. Con un nivel de
confianza del 95 % (α=0’05) ¿los distractores son equiprobables?
TCT – Fiabilidad
Suponemos el modelo lineal clásico de medida: Error aleatorio e independiente
X=V+e
Aunque un instrumento de medida no es bueno por el hecho de ser fiable (…) sin tal propiedad la
medición no es aceptable (…) esto es, podemos afirmar que la fiabilidad es una condición necesaria, aunque
no suficiente, de un instrumento de medida de calidad.
Se calcula la correlación que existe entre las puntuaciones obtenidas por un mismo
grupo de sujetos en 2 aplicaciones sucesivas de una misma prueba en 2 momentos
diferentes.
Entre ambas aplicaciones debe transcurrir un tiempo ni muy corto (por el entrenamiento) ni muy
largo (por la maduración). Algunos autores lo fijan en 20 ó 25 días.
Ejercicios de – Fiabilidad
Ejemplo 7. Procedimiento de las dos mitades: ¿Cuál es la fiabilidad de un test que tiene como
correlación entre sus ítems pares e impares rxx = 0,79?
𝑅 fórmula de Spearman-Brown
2 · 0,79 1,58
𝑅𝑥𝑥 = = = 0,88
1 + 0,79 1,79
Ejemplo 8. Alfa de Cronbach: En un test compuesto por 8 ítems, la suma de las varianzas individuales
del conjunto de ítems fue 16. Si la varianza del test vale 54, ¿cuánto vale el coeficiente de Cronbach?
Examen febrero 2015
n = número de ítems
∑ 𝑆𝑗2 = sumatorio de las varianzas de los ítems
𝑆𝑥2 = varianza de la puntuación total en el test
8 16 8
α= (1 − )= (1 − 0,29) = 1,14 · 0,703 = 0,804
8−1 54
Ejemplo 10. Fiabilidad y longitud. Dada una prueba que consta de 30 ítems, cuya fiabilidad es rxx = 0,93,
¿cómo repercutiría en la fiabilidad de la misma un aumento de 10 nuevos ítems paralelos a los originales?
(página 160 del libro de Estadística de 1º curso)
𝑅 con:
1 2 3 4 5 6 7 8 9 10
PARES 1 1 0 1 0 0 1 1 0 1
IMPARES 1 1 1 0 1 0 1 1 1 0
Hallada la correlación de ambas aplicaciones en Excel (o correlación de Pearson r), nos da un resultado
de rxx = -0’09
𝟐.𝒓𝒙𝒙
Rxx =
𝟏+ 𝒓𝒙𝒙
VALOR DE LA FIABILIDAD
El valor correcto para una buena fiabilidad,
debe ser un valor lo + cercano a 1, el óptimo y
el mínimo 0.
¿Cuál es la correlación de un test que tiene como correlación entre sus ítems pares e impares
rxx= 0’69?
𝟐.𝒓𝒙𝒙
Rxx =
𝟏+ 𝒓𝒙𝒙
EJEMPLO
Se pasa un test de 5 ítems a 6 sujetos obteniendo los siguientes datos explicados en
la tabla.
(la varianza en Excel se calcula con = VAR.S (rango de datos)
ELEMENTOS
1 2 3 4 5 X
1 4 4 3 3 4 18
2 5 5 4 5 4 23
SUJETOS 3 3 3 3 3 3 15
4 1 1 1 2 1 6
5 2 1 2 2 2 9
6 4 4 4 4 4 20
S2 1’81 2’33 1’14 1’14 1’33 35’81
S2 = VARIANZA n= elementos
∑𝒏 𝟐
𝒏 𝒋 =𝟏𝑺𝑱
α= (1- )
𝒏−𝟏 𝑺𝟐𝑿
𝟓 𝟕′𝟕𝟓
α= (1- )= 1’25 * 0’78 = 0’98
𝟓−𝟏 𝟑𝟓′𝟖𝟏
La fiabilidad es buena por tener un valor cercano a 1.
FIABILIDAD Y LONGITUD
Se puede decir que la fiabilidad de un test aumenta a medida que aumenta su longitud, es decir, su
número de ítems.
𝑛∗𝑟𝑥𝑥
Rxx= 1+(𝑛−1)𝑟𝑥𝑥
también
𝑅𝑥𝑥(1−𝑟𝑥𝑥)
n=𝑟𝑥𝑥(1−𝑅𝑥𝑥)
siendo:
𝑛º 𝑑𝑒 𝑖𝑡𝑒𝑚𝑠 𝑓𝑖𝑛𝑎𝑙𝑒𝑠
n=número de veces que se alarga el test =
𝑛º 𝑑𝑒 𝑖𝑡𝑒𝑚𝑠 𝑖𝑛𝑖𝑐𝑖𝑎𝑙𝑒𝑠
n= 18 ítems iniciales
rxx=0’74
Rxx=0’80
𝑛º 𝑑𝑒 𝑖𝑡𝑒𝑚𝑠 𝑓𝑖𝑛𝑎𝑙𝑒𝑠
n= → 1’405*18=número ítems finales
𝑛º 𝑑𝑒 𝑖𝑡𝑒𝑚𝑠 𝑖𝑛𝑖𝑐𝑖𝑎𝑙𝑒𝑠
25’29=número de ítems finales
por aproximación 26 ítems finales
TCT – Validez
“La fiabilidad de un instrumento es condición necesaria pero no suficiente para una valoración
positiva de éste; necesita el concurso de la validez para completar dicha valoración”
𝒓𝒙𝒚
Rxy =
𝟏−𝒓𝒙𝒙
√ +𝒓𝒙𝒙
𝒏
𝑛º 𝑑𝑒 𝑖𝑡𝑒𝑚𝑠 𝑓𝑖𝑛𝑎𝑙𝑒𝑠
Siendo: n=número de veces que se alarga el test =
𝑛º 𝑑𝑒 𝑖𝑡𝑒𝑚𝑠 𝑖𝑛𝑖𝑐𝑖𝑎𝑙𝑒𝑠
Rxy=coeficiente de validez del test alargado o extendido
rxy=coeficiente de validez del test original.
rxx=coeficiente de fiabilidad del test original.
EJEMPLO:
Tenemos 5 ítems con una fiabilidad de 0’98 supongamos que su validez era de o’56.
Podemos decidir una nueva validez y calcular cuántos ítems necesitamos o podemos
añadir un número determinado de ítems y calcular cuál será su nueva validez.
Añadimos 5 ítems a la prueba.
n=5
rxy=0’56
rxx=0’98
𝒓𝒙𝒚 𝟎′𝟓𝟔
Rxy = = = 0’57
𝟏−𝒓𝒙𝒙 𝟏−𝟎′𝟗𝟖
√ +𝒓𝒙𝒙 √ +𝟎′𝟗𝟖
𝒏 𝟓
La validez apenas aumenta si alargamos la prueba:
rxy1=0’56
rxy2=0’57
Referida a cuestiones de ‘aspecto externo’ del instrumento
Tabla de especificación
(se estudia en el tema 4)
Si las dos medidas se toman en el mismo periodo temporal se habla de validez concurrente del
instrumento con respecto al criterio
Si la medida del criterio se toma con posterioridad a nuestro instrumento, hablamos de validez
predictiva del instrumento con respecto al criterio.
Ejemplo 12. ¿Validez del test? ¿Índice de validez del ítem I? Examen septiembre 2016
N → número de sujetos = 4 𝑁 ∑ 𝑥𝑦 − ∑ 𝑥 ∑ 𝑦
𝑟=
X Y
√[𝑁 ∑ 𝑥2 − (∑ 𝑥)2][𝑁 ∑ 𝑦2 − (∑ 𝑦)2]
Ítems
Sujetos 1 2 3 4 Criterio X Y X·Y X2 Y2
A 1 0 1 1 4 3 4 12 9 16
B 0 1 1 0 2 2 2 4 4 4
C 0 1 1 1 4 3 4 12 9 16
D 1 0 0 0 1 1 1 1 1 1
∑X = 9 ∑ Y = 11 ∑ X · Y = 29 ∑ X2 = 23 ∑ Y2 = 37
X Y
Ítems
Sujetos 1 2 3 4 Criterio X Y X·Y X2 Y2
A 1 0 1 1 4 1 4 4 1 16
B 0 1 1 0 2 0 2 0 0 4
C 0 1 1 1 4 0 4 0 0 16
D 1 0 0 0 1 1 1 1 1 1
∑X = 2 ∑ Y = 11 ∑X·Y=5 ∑ X2 = 2 ∑ Y2 = 37
(4 · 5) − (2 · 11) 20 − 22 −2 −2 −2
r= = = = = = −0,192
√[(4 · 2) − 22] · [(4 · 37) − 112] √[8 − 4] · [148 − 121] √4 · 27 √108 10,39
TEORIA DE
RESPUESTA AL
ITEM (TRI)
En la Teoría de Respuesta al Ítem la muestra sólo se utiliza para comprobar si un ítem se ajusta a un
modelo de funcionamiento que está definido a priori, es el modelo de rasgo latente y se trata de una curva
exponencial que es como se supone se tiene que comportar un ítem para medir un determinado constructo
unidimensional. En la TRI los resultados son invariantes a la muestra. Estudiaremos los modelos de Rasch.
“La Teoría de Respuesta al Ítem (TRI) intenta brindar una fundamentación probabilística al problema
de medir constructos latentes (no observables) y considera al ítem como unidad básica de medición (…)
(…) La puntuación de una prueba en el modelo clásico (TC) estima el nivel de un atributo (aptitud, rasgo
de personalidad, interés, etc…) como la sumatoria de respuestas a ítems individuales, mientras que la TRI se
centra exclusivamente en el ítem”
En la TRI se supone que cada ítem es capaz de medir por sí solo el rasgo.
Teoría Clásica de los Test (TCT) vs. Teoría de Respuesta al Ítem (TRI)
Tanto la TCT como la TRI abordan el mismo problema: tratar de calcular el error cometido al medir
variables de naturaleza psicopedagógica, pero…
TCT TRI
Puntaje Verdadero (V) Aptitud (θ) (nivel de aptitud del sujeto en un
Lineal → X = V + e constructo/rasgo que está midiendo un ítem)
Las características métricas Exponencial
(fiabilidad y validez) son del test Las características métricas son de cada ítem,
en su conjunto, y están referidas y son invariantes a la muestra elegida. Basta
al grupo normativo comprobar el ajuste al modelo con una
A posteriori muestra grande (n>300). (Sí el ítem no se
ajusta es que éste no funciona)
A priori.
→100%
Probabilidad de acertar el ítem
→50%
Pueden haber curvas más a la derecha → b = 1 → el ítem sería más difícil porque hay que tener más
aptitud para tener una probabilidad de acierto del 50%.
Ejercicio 1. Supuesto un modelo TRI de Rasch de un solo parámetro, y dado un ítem con b=0. ¿Cuál es
la probabilidad de acertar dicho ítem para un sujeto con una aptitud θ = -1? ¿Y con θ = 0? ¿Y con θ = 2?
[Tomamos D=1,7]
0,96
𝑒𝐷(𝜃−𝑏)
𝑃(𝜃) = 0,5
1 + 𝑒𝐷(𝜃−𝑏)
0,154
𝑒1,7·(0−0) 𝑒1,7·0 𝑒0 1 1
𝑃(0) = = = = = = 0,5
1 + 𝑒1,7·(0−0) 1 + 𝑒1,7·0 1 + 𝑒0 1+1 2
θ = -1 →
𝑒1,7·(−1−0) 𝑒1,7·(−1) 𝑒−1,7 0,18 0,18
𝑃(−1) = = = = = = 0,154
1 + 𝑒1,7·(−1−0) 1 + 𝑒1,7·(−1) 1 + 𝑒−1,7 1 + 0,18 1,18
Ejercicio 2. Supuesto un modelo TRI de Rasch de un solo parámetro. La CCI de la izquierda corresponde
al “ítem 1”, y la CCI de la derecha corresponde al “ítem 2”. ¿Cuál de los dos ítems tiene un mayor índice de
dificultad?
Ítem 1
b2 > b1 → El ítem 2 tiene mayor
Ítem 2
índice de dificultad
b1 ≈ – 0,75 b2 ≈ + 1
Cuando observamos a un sujeto con mayor aptitud (por ejemplo con 1,5) en la gráfica de la izquierda
su probabilidad de acierto del ítem aumenta muy poco, sin embargo, en la gráfica de la derecha aumenta
tanto que se aproxima bastante a 1, ya que la pendiente de la curva es más pronunciada, y por lo tanto el
ítem de la gráfica de la derecha discrimina más que el ítem de la gráfica de la izquierda.
Ejercicio 3. Supuesto un modelo TRI de Rasch de dos parámetros. Para un sujeto con un nivel de aptitud
θ = 1 ¿Cuál es la probabilidad de acertar el ítem de la izquierda? ¿Y el ítem de la derecha? [Tomamos D=1,7]
𝑒𝐷𝑎(𝜃−𝑏)
𝑃(𝜃) =
1 + 𝑒𝐷𝑎(𝜃−𝑏)
Izquierda:
𝑃(1) = = = = = = 0,542
1 + 𝑒1,7·0,4(1−0,75) 1 + 𝑒0,68·0,25 1 + 𝑒0,17 1 + 1,18 2,18
Derecha:
𝑃(1) = = = = = = 0,734
1 + 𝑒1,7·2,4(1−0,75) 1 + 𝑒4,08·0,25 1 + 𝑒1,02 1 + 2,77 3,77
Ejercicio 4. ¿Cuál de los tres ítems cuyas CCI se representan tiene una mayor probabilidad de ser
acertado por azar?
cÍtem 3 ≈ 0
cÍtem 2 ≈ 0,18
cÍtem 3 = 0,40
Ítem 1
El ítem 1 es el que tiene una mayor
probabilidad de acierto por azar. Ítem 2
Ítem 3
–∞ θ
Ejercicio 5. Supuesto un modelo TRI de tres parámetros. Dado un sujeto con un nivel de aptitud θ=0,
¿cuál es su probabilidad de acertar un ítem si a=1,5; b=0,5; y c=0,1? ¿y si “c” se eleva hasta c=0,3?
[Tomamos D=1,7]
(1 − 𝑐)𝑒𝐷𝑎(𝜃−𝑏)
𝑃(𝜃) = 𝑐 +
1 + 𝑒𝐷𝑎(𝜃−𝑏)
c = 0,1
1
P(θ) 0,5
0,1
θ=0 b =0,5
c = 0,3
Aplicaciones de la TRI
PROBABILIDAD
MIRAMOS EN EL EJE DE Y
X
Recuerda al interpretar los datos tomaremos las líneas siempre desde donde salen o comienzan,
no donde se cortan.
ÍNDICE DE DIFICULTAD/DISCRIMINACIÓN
Y
MIRAMOS EN EL EJE DE X
X
+ DIFICIL=MAYOR INDICE DE DIFICULTAD O DISCRIMINACÓN
UN PARAMETRO
Tenemos el primer ítem de un test P1 cuyo índice de dificultad es 15 (b1), el rasgo
latente (⊖) es 2, y se supone una D=2. Hallar la probabilidad de que ese sujeto acierte
el ítem:
b1=15=1
𝒆𝑫(⊖−𝒃𝟏 ) D=2
Pi(⊖)=
𝟏+𝒆𝑫(⊖−𝒃𝟏 ) ⊖=2
𝒆𝟐(𝟐−𝟏) 𝟕′𝟑𝟖𝟗
Pi(⊖)=𝟏+𝒆𝟐(𝟐−𝟏) =𝟏+𝟕′𝟑𝟖𝟗 = 0’88
La probabilidad de que el sujeto acierte un ítem con un índice de dificultad de 1, es el 88%
____________________________________________________________________________________
CALCULAR 𝒆𝑫(⊖−𝒃𝟏 ) CON LA CALCULADORA
SHIFT INe
cuando sale la e introducir su valor después de poner los distintos
Valores de sus incógnitas en este caso 2x(2-1) y dar a igual= 7’389
____________________________________________________________________________________
DOS PARAMETROS
La nueva variable que se incluye es el índice de discriminación del ítem,
representado por a. Hagamos una prueba para el ítem 2 de un test cuyo
índice de dificultad es 0’7 (b1), el índice de discriminación es 0’9 (a1), el
rasgo latente (⊖) es 3, y se supone una D=1. Hallamos la probabilidad de
que ese sujeto acierte el ítem:
b1=0’7
a1=0’9 𝒆𝑫𝑎(⊖−𝒃𝟏 )
Pi(⊖)=
⊖=3 𝟏+𝒆𝑫𝑎(⊖−𝒃𝟏 )
D=1
Apuntes de Marcos Román 27
Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 2
′
𝒆(1∗0 9)(3−0′7) 𝒆(0′9)(3−0′7) 7′924
P2(3)= ′ (3−0′7) = ′ (3−0′7) = 1+7′924 = 0’89
𝟏+𝑒 (1∗0 9) 𝟏+𝑒 (0 9)
La probabilidad de acertar un ítem de dificultad 0’7 e índice de discriminación de 0’9,
será del 89 %
TRES PARAMETROS
Este modelo añade la probabilidad que tienen las personas sin conocimiento del tema
de acertar el ítem c. Seguimos con el ejemplo anterior, pero añadimos esta variable
suponiendo que esta probabilidad es de 0’1 (c1).
D=1
⊖=3 (1−𝑐1 )𝒆𝑫𝑎(⊖−𝒃𝟏 )
Pi(⊖)=𝑐1 +
b1=0’7 𝟏+𝒆𝑫𝑎(⊖−𝒃𝟏 )
a1=0’9
c1=0’1
′
(1−0′1)𝒆(1∗0 9)(3−0′7) 0’9∗7′924
P2(3)=0′1 + ′ = 0’1 + =
𝟏+𝒆(1∗0 9)(3−0′7) 8′924
7′1316
P2(3)= 0’1+ = 0′ 89
8′924
AUTOEVALUACIONES TEMA 2
18.- Supuesto un modelo TRI de Rasch de un solo parámetro, y dado un ítem con b=1
¿Cuál es la probabilidad de acertar dicho ítem para un sujeto con una aptitud
⊖=0’5(tomamos D=1’7)
b1=1
D=1’7
⊖=0’5
𝒆𝑫(⊖−𝒃𝟏 )
Pi(⊖)=𝟏+𝒆𝑫(⊖−𝒃𝟏 )
𝒆𝟏′𝟕(𝟎′𝟓−𝟏) 𝟎′𝟒𝟐𝟕
Pi(0’5)=𝟏+𝒆𝟏′𝟕(𝟎′𝟓−𝟏) =𝟏+𝟎′𝟒𝟐𝟕 = 0’299
Respuesta (a)
19.- Supuesto un modelo TRI de Rasch de dos parámetros, y dado un ítem con a=2 y
b=0 ¿Cuál es la probabilidad de acertar dicho ítem para un sujeto con una aptitud
⊖=1?
b1=0
𝒆𝑫𝑎(⊖−𝒃𝟏 )
a1=2 Pi(⊖)=
𝟏+𝒆𝑫𝑎(⊖−𝒃𝟏 )
⊖=1
D=1’7
Respuesta (a)
20.- Supuesto un modelo TRI de Rasch de tres parámetros, y dado un ítem con a=0’5 y
b=-1, y c=0’2 ¿Cuál es la probabilidad de acertar dicho ítem para un sujeto con una
aptitud ⊖=0? Tomamos D=1’7
D=1’7
⊖=0 (1−𝑐1 )𝒆𝑫𝑎(⊖−𝒃𝟏 )
b1=1
Pi(⊖)=𝑐1 +
𝟏+𝒆𝑫𝑎(⊖−𝒃𝟏 )
a1=0’5
c1=0’2
′
(1−0′2)𝒆(1′7∗0 5)(0−(−1)) 0′ 8∗2′3346
P1(0)=0′2 + ′ = 0’2 + =
𝟏+𝒆(1′7∗0 5)(0−(−1)) 1+2′3346
1′86768
P1(0)= 0’2+ = 0′76
3′3396
Respuesta (b)
Tema 3 La observación
Objetivos
La observación
Uno de los actos innatos del ser humano es la observación, de esta manera
construye el conocimiento de su entorno.
Mientras que la mayoría de las variables del dominio cognitivo se miden a través de pruebas; las
variables que mejor se prestan a la observación como técnica de medida son…
Tipos de observación
Unidades de observación
Las unidades de observación son el conjunto de eventos de conducta que se pueden adoptar a la hora
de realizar un proceso de observación…
Molares (Global)
Unidades de medida
A continuación se presentan un conjunto de posibles medidas que se pueden extraer de un registro
observacional…
Registro anecdótico
Sistema de rasgos
Sistema de categorias
Codificación
El proceso de observar
c1 c2 c3 c3 ni.
c1 0 1 2 0 3
c2 4 2 3 1 10
c3 2 0 4 2 8
c4 1 2 0 3 6
n.i 7 5 9 6 27
Pe es la proporción de ocasiones en las que éste se habría dado de forma fortuita. Donde
Ejemplo 2: Complete la tabla, calcule el coeficiente Kappa (π) e interprételo (Examen Septiembre
2013)
c1 = agresivo c2 = asertivo c3
= pasivo c4 = tímido
Observador 1 Observador 2
Sujeto 1 c1 c3
Sujeto 2 c4 c4
… … …
Sujeto 18 c3 c3
Observador 2
ni. Los acuerdos entre los dos
c1 c2 c3 c4
observadores se
Observador 1
c1 1 3 0 0 4 encuentran en la diagonal.
c2 2 3 0 0 5 Cuantos más casos se
c3 1 0 2 1 4 encuentren en la diagonal
c4 1 2 0 2 5 es mayor el acuerdo.
n.i 5 8 2 3 18
Sumatorio de los
N → Número de sujetos
valores en la diagonal
Sumatorio de los
P0 → Proporción de acuerdos observados.
productos marginales
(INTER-OBSERVADORES)
OBS.2
ni
C1 C2 C3 C4
C1 3 0 0 2 5
C2 1 4 4 1 10
Obs.1
C3 2 0 3 2 7
C4 1 2 0 5 8
7 6 7 10 10
ni
𝟏
Po= 𝟑𝟎 (𝟑 + 𝟒 + 𝟑 + 𝟓) = 𝟎′𝟓
∑ni * ni = (7*5)+(6*10)+(7*7)+(10*8)
𝟏
Pe= 𝑵𝟐 ∑𝒏𝒊∗ 𝒏𝒊∗
𝟏
Pe= 𝟑𝟎𝟐 (𝟑𝟓 + 𝟔𝟎 + 𝟒𝟗 + 𝟖𝟎) = 𝟎′𝟐𝟒𝟖
4)CALCULAR YA LA FIABILIDAD
Po=0’5
Pe=0’248
𝟎′ 𝟓−𝟎′𝟐𝟒𝟖
∏= = 0’336
𝟏−𝟎′𝟐𝟓
𝟏
Po= 𝟐𝟓 (𝟑 + 𝟒 + 𝟒 + 𝟓) = 𝟎′𝟔𝟒
∑ni * ni = (4*5)+(6*7)+(7*6)+(8*7)
𝟏
Pe= 𝑵𝟐 ∑𝒏𝒊∗ 𝒏𝒊∗
𝟏
Pe= 𝟐𝟓𝟐 (𝟐𝟎 + 𝟒𝟐 + 𝟒𝟐 + 𝟓𝟔) = 𝟎′𝟐𝟓𝟔
Apuntes de Marcos Román 1
0
Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 3
4)CALCULAR YA LA FIABILIDAD
Po=0’64
Pe=0’256
𝟎′ 𝟔𝟒−𝟎′𝟐𝟓𝟔
∏= = 0’516 RESPUESTA ©
𝟏−𝟎′𝟐𝟓𝟔
(INTRA-OBSERVADOR)
D D2
0 0
-3 9
-1 1
6∗26 156
1 1 rs = 1 - =1 - =1-0’1575
10(102 −1) 10(99)
1 1
rs=0’8424
1 1
Respuesta ©
2 4
-1 1
2 4
-2 4
∑D2 =26
D= diferencia entre las dos observaciones, respetando los signos
Ejemplo 4: Un observador, a partir de una grabación de vídeo, ordena a 8 sujetos de una clase de
más a menos agresivo tras una primera observación A; y vuelve a hacerlo tras una segunda observación B
¿Cuál es la fiabilidad entre observaciones (intra-observador)?
Calculamos la correlación entre las dos columnas. Con el coeficiente de correlación ordinal de
Spearman (rs)
Siendo:
D = diferencia de rangos o posiciones que ocupa un mismo sujeto en dos observaciones distintas.
D D2
-2 4
0 0
-2 4
-1 1
2 4
0 0
0 0
3 9
2
∑ D = 22
6 · 22 132 132
Diagrama de dispersión
Análisis de datos
En el análisis de datos será necesario recoger la información de las unidades de medida con lo que se
pueden realizar una gran variedad de análisis cuantitativos. El tipo de análisis a utilizar depende en primera
instancia de los objetivos e hipótesis de investigación planteadas y en segundo lugar de las posibilidades
informativas de los datos registrados (sólo frecuencia, duración, secuencia de categorías, ...
Objetivos
Los test están dirigidos a la medida de aptitudes, capacidades y/o habilidades. (Inteligencia,
aptitud visoespacial, aptitud numérica, razonamiento… Los test se pueden aplicar aunque no haya
habido un proceso de enseñanza-aprendizaje explícito. Las capacidades ya las posee el individuo
y se aplica el test para ver en qué medida se da una determinada capacidad).
Las pruebas objetivas están dirigidas a la medida de conocimientos. (Las pruebas se suelen
aplicar una vez se ha acometido un proceso de enseñanza-aprendizaje).
2. Test
Con el nombre de “test” se engloba todo un conjunto de instrumentos que se vienen utilizando
en la investigación educativa con la intención de recoger información sobre las aptitudes,
capacidades y/o habilidades de los sujetos.
Los test son reactivos, al sujeto se le presenta una serie de ítems, que son problemas o
situaciones problemáticas, y se pide al sujeto que reaccione ante ellos emitiendo una respuesta.
Los ítems muchas veces reciben el nombre de reactivos, ya que son el elemento de estímulo que
provoca la respuesta en el sujeto y a partir de esa respuesta se puede inferir el nivel que el sujeto
tiene de esa capacidad que se está midiendo.
Características de los test:
Apuntes de Marcos 1
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4
3. Pruebas objetivas
Las pruebas objetivas están dirigidas a la medida de conocimientos.
Conocimiento
Comprensión
s
Aplicación
Total
Apuntes de Marcos 2
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4
Clasificación de Bloom
En el ámbito cognitivo…
Cuando hablamos de ‘longitud’ de una prueba, nos referimos al número de ítems que la forman. A
este respecto, una prueba debe contener como mínimo 1 ítem procedente de cada una de las celdas
de la tabla de especificación. De hecho, algunos autores elevan esta exigencia hasta 2 ítems por
celda.
Pruebas de velocidad: tienen un tiempo limitado, pensadas para que no se puedan realizar
enteras. Se mide no solo si se hacen los ítems sino la velocidad haciéndolos.
Apuntes de Marcos 3
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4
Pruebas de potencia: sin límite de tiempo. Calcular la potencia máxima, rendimiento
máximo del sujeto.
Las características métricas deseadas marcarán finalmente el reparto de los ítems porque
si la prueba está orientada para un nivel de conocimientos se debe saber el nivel de dificultad de
los ítems y la discriminación de los mismos…
Reglas generales:
Apuntes de Marcos 4
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4
Confección de la prueba…:
LAS INSTRUCCIONES
Las instrucciones de aplicación de la prueba tendrán como objetivo la comprensión de la
mecánica de la misma para que no se produzca ningún error por desconocimiento de ésta (…) Si se
necesita, vendrá ilustrada con algún ejemplo aclaratorio y tendrá distinta redacción según se realice
la prueba por correo, web o de forma presencial (más instrucciones en los formatos en los que no
hay un aplicador presente)
FORMATO DE PRESENTACIÓN DE LA PRUEBA
Es importante el orden en que se incluyen las preguntas en la prueba, ya que la secuencia
de los
ítems puede influir en el rendimiento del sujeto…
Pautas generales:
Colectiva (todos lo hacen a la vez, Prueba escrita o Personal (el aplicador está
pero prueba presente), por correo o por
cada uno hace su prueba) o en la web teléfono
Individual
Apuntes de Marcos 5
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4
En las pruebas cognitivas de elección múltiple se puede dar el caso que los sujetos
contesten a los ítems por azar → fórmula de corrección.
Apuntes de Marcos 6
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4
Apuntes de Marcos 7
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4
Modalidad de aplicación Orales
Papel y
lápiz
Manipulativos o de
ejecución Situacionales o
simulaciones
Computerizados
Objetivos
Demandas exigidas al sujeto Velocidad o rapidez
Potencia o dificultad
Modelo estadístico de base Teoría clásica de los test
Teoría de la
generalizabilidad
Teoría de respuesta al ítem
Modelo conceptual Teoría referida al criterio
Procesamiento de la
información
Rasgo latente
Tipo Ejemplos
Apuntes de Marcos 8
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4
Ejercicio II (Examen Septiembre 2014)
1) Un test de inteligencia general tiene una media de 20 y una desviación típica de 5
puntos. Una persona que tiene una puntuación de 30 puntos en el test
Datos =20
Grupo s=5
Sujeto Xi=30
z
0
-3 +3
z = +2
Apuntes de Marcos 9
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4
La tabla nos indica para cada z el porcentaje, expresado en tanto por 1, que queda por debajo.
Segundo
decimal de
la
puntuación
típica
Apuntes de Marcos 10
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4
Ejercicio I (Examen Febrero 2012)
Un profesor tiene los resultados de una prueba objetiva que realiza a sus estudiantes y sabe
que Sara ha obtenido 20 puntos, pero los padres de la niña quieren saber la calificación de la misma
en relación a un grupo normativo cuyas puntuaciones se han obtenido a nivel nacional. La media
de dicho grupo es 22,4 y su desviación típica 4,2.
Datos =22’4
Grupo s=4’2
Sujeto Xi=20
Observando estos datos podemos deducir que la puntuación típica va a ser negativa y el
percentil va a estar por debajo de 50
Se pide:
e) Calcular e interpretar la puntuación típica de Sara
20 − 22,4
z= = −0,57
4,2
f) Calcular el percentil donde estaría la niña
La tabla solo recoge puntuaciones positivas por lo que debemos hacer una
simetría. 1º buscamos la z = + 0,57
71,5% 28,5%
z
-∞ 0 +∞
-3 +3
z = +0,57
Apuntes de Marcos 11
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4
28,5% 71,5
%
z
-∞ 0 +∞
-3 +3
z = -0,57
Pc = 28
g) Transformar la puntuación a la escala normal (50,10)
Pasar una z a una escala que siempre tenga un valor positivo y entero.
Escala t:
t = 50 + 10z
t = 50 + 10 · (−0,57) = 44,28
En esta escala normalmente también se da el número entero solamente → t = 44
9′ 1−6′3
Z= = 1’866 Respuesta c)
1′5
Z=1’87
Apuntes de Marcos 12
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4
z= 1’87
t=50 + 10z
t=50 +10 (1’87)
t=68’7 Respuesta b)
Necesitamos la tabla de la z.
Sabiendo esto nos vamos a la tabla de la z con su valor, en nuestro supuesto es z=1’87,
que esta por encima de la , asi que buscaremos en la 3ªcolumna (area mayor).
El dato es 0’9693 que es lo que esta en es columna y en la fila de nuestra z, pero lo
tenemos en proporción tenemos que pasarlo a % haremos: 0’9693 x 100 = 96 %
Respuesta c)
18. Has aplicado una prueba estandarizada de rendimiento lector a los/as 80 alumnos/as de
6º de Primaria de tu colegio. En el manual de la prueba aparece que ésta ha sido baremada a nivel
nacional con una muestra suficiente y representativa de sujetos de 6º Primaria. Dice el manual que
la puntuación en la prueba, que puede variar entre 0 y 100 puntos, se distribuyó normalmente en la
muestra nacional de baremación; con una media de 50 puntos y una desviación típica de 16 puntos.
Ahora quieres seleccionar a un subgrupo de tus alumnos/as de 6º de Primaria, de rendimiento lector
excelente, bajo la condición de que estén en un percentil 85 o superior (tomando la muestra nacional
como referencia).
¿Qué puntuación típica (z) en la prueba debe tener como mínimo un alumno de tu centro
para ser seleccionado?
a. 0,68
b. 0,82
c. 1,04
Para ser seleccionado, un sujeto debe tener al menos una puntuación típica en la prueba z=1,04. Tal y
como puede verse en la tabla de la curva normal, dicha puntuación típica deja por debajo de sí
al 85,08% de los sujetos; lo cual se corresponde al percentil 85.
Apuntes de Marcos 13
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4
- Columna = 0’04
- Fila = 1’00
Nos dara 1’04 Respuesta c)
19. Siguiendo con los mismos datos, ¿qué puntuación directa en la prueba debe tener
como mínimo un/a alumno/a para ser seleccionado?
a. 55,5
b. 66,6
c. 77,7
Para ser seleccionado, un sujeto debe tener como mínimo una puntuación directa en la
prueba Xi = 66,6. Se detalla a continuación:
Apuntes de Marcos 14
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - Tema
UNED - 2019/2020 4
𝑥−50
1’04= → 1’04 *16 = x – 50
16
16’64= x – 50
16’64 + 50 = x
X= 66’64
Respuesta b)
20. Siguiendo con los mismos datos, y bajo el supuesto de que el rendimiento lector de tus
alumnos/as sea análogo al de la muestra nacional de referencia, ¿cuántos de los estudiantes de
6º Primaria de tu centro serán seleccionados para el subgrupo de rendimiento excelente?
a. 8
b. 10
c. 12
Respuesta c)
Apuntes de Marcos 15
Román
Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 5
Objetivos
Ventajas: Inconvenientes:
Información de (casi) cualquier No analiza en profundidad temas
población. complejos (se suele complementar
Información sobre hechos con la técnica de entrevista).
pasados.
Gran capacidad para estandarizar
datos.
Relativamente barata.
2. Tipos de encuestas
Tipo de encuestas
Por la forma de Por su Por su naturaleza Por sus fines
Por su finalidad
realizarse contenido temporal científicos
Cara a cara Hechos Transversales (una vez Exploratorias Político-sociales
Postal Opiniones en un momento dado) Descriptivas Comerciales
Telefónica Actitudes Longitudinales (ver la Explicativas Fines específicos
Ordenador evolución en varios Predictivas
On-line momentos temporales) Evaluativas
Ventajas: Inconvenientes:
Mayor índice de respuesta. Coste elevado en dinero y tiempo.
Son fiables, evitan influencias de Posible influencia del entrevistador.
terceras personas. Se deben controlar los datos de los
Respuestas menos evasivas e entrevistadores para evitar
inconcretas. falseamiento.
Permiten la utilización de
materiales auxiliares.
Pueden obtenerse datos
secundarios del entrevistado.
Ventajas: Inconvenientes:
Se puede o btener información con Falta de representatividad muestral,
mayor rapidez. pues deben tener teléfono.
Coste másreducido que la Brevedad obligada de la encuesta
‘encuesta personal’ (máximo15 minutos).
Permite ac ceder a personas más No se puede utilizar material
ocupadas. auxiliar (fotografías, bocetos…)
El índice de respuesta suele ser
bastante elevado (aunque en los
últimos años ha descendido por la
presión deltelemarketing)
Ventajas: Inconvenientes:
Coste aún más reducido que la Baja tasa de respuesta (10 20%).
‘encuesta telefónica’. Conviene incentivarla con premios.
Sistema flexible para el La identidad del encuestado es una
encuestado, que elige en qué variable incontrolada.
momento responder (respuestas Debe contarse con un directorio postal
más meditadas). completo.
Se evitan sesgos procedentes del Se obtiene poca cantidad de información.
entrevistador. Problemas con la representatividad de la
muestra respondiente.
Apuntes de Marcos Román 2
Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 5
Se ha comprobado que más del 75% de encuestados on-line que contestan, lo hacen
en las primeras 48 horas tras la recepción del ‘link’.
Error de medida → derivado de que las respuestas no sean fiables → este error se recude en las
encuestas on-line por la ausencia del sesgo del entrevistador.
Error de no-cobertura → en este caso, derivado de que no toda la población tiene acceso a
Internet.
Error de muestreo → derivado de no enviar el cuestionario on-line a una muestra suficiente y
representativa de la población que se desea encuestar.
Error de no-respuesta → derivado de que haya un sesgo sistemático del tipo de sujetos que no
llegan a contestar el cuestionario on-line.
VERSATILIDAD
• La ‘encuesta personal’ es la más versátil.
TIEMPO
COSTE
• La ‘encuesta postal’ es la más económica. (on-line)
PRECISIÓN
• La ‘encuesta personal’ es la más precisa porque es la que permite ejercer mayor control
sobre la identidad del entrevistado y asegurar su cooperación.
Selección de la muestra
La calidad de una investigación mediante encuesta viene determinada en gran medida por lo
acertado que sea el diseño de las preguntas del cuestionario.
Por tanto, el elemento básico del cuestionario son las preguntas. Es por ello que la bondad de un
cuestionario depende de la clase de preguntas empleadas en él y de su adecuada formulación.
Según la contestación
Preguntas abiertas
que admitan
Preguntas semi-
abiertas
De respuesta
Dicotómicas
espontánea
Preguntas cerradas
De respuesta
De respuesta sugerida
categorizada
De valoración
Por tanto, el elemento básico del cuestionario son las preguntas. Es por ello que la bondad de un
cuestionario depende de la clase de preguntas empleadas en él y de su adecuada formulación.
De introducción o
de contacto Identificación
Según su función en el
Según su contenido
De filtro Acción
cuestionario
Intención
De control
Opinión
Baterías o "embudo
de preguntas" Información
Amortiguadoras Motivos
Las preguntas de filtro se realizan para establecer si a un determinado encuestado le afectan o no las
preguntas posteriores y, por tanto, si el encuestador se las debe o no formular. En definitiva, las preguntas
de filtro establecen puntos de bifurcación en la realización del cuestionario.
Las preguntas de control se utilizan para comprobar la veracidad de las respuestas de los
encuestados. Para ello, lo que se suele hacer es colocar la misma pregunta, pero redactada de forma
Apuntes de Marcos Román 6
Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 5
distinta en distintas partes del cuestionario. Si las respuestas a ambas son contradictorias, entonces la
sinceridad del encuestado queda bajo sospecha, y sus respuestas deberían ser excluidas del posterior
análisis.
Batería: todas las preguntas tratan sobre un mismo tema. Siempre deben ir juntas en el cuestionario
en forma de batería, empezando por las más sencillas y luego las más complejas.
Amortiguadoras: se refiere a que cuando estamos preguntando temas escabrosos o pensamos que
serán reticentes a contestar, hay que preguntar suavizando la pregunta y no preguntar de modo brusco y
directo.
Hay que tener también especial cuidado en el orden en que se incluyen las preguntas en el
cuestionario, ya que el modo en el que se secuencian las preguntas puede influir en la naturaleza de las
respuestas del encuestado y, por consiguiente, sesgarlas.
La finalidad de la codificación es facilitar la operación de contar y analizar las respuestas dadas por la
muestra que ha sido encuestada.
Un cuestionario bien codificado debe contener la información exacta con respeto a las variables. Por
tanto, la codificación permite saber, una vez recogidos los datos, el número total de variables a analizar y su
ubicación exacta en la matriz de datos. La matriz de datos viene determinada por N sujetos (filas) * P
variables (columnas)
Validez Fiabilidad
(ausencia de error sistemático) (ausencia de error aleatorio)
De De Factorial Longitud Muestra
contenido criterio
Muestreo aleatorio
• Se basa en el principio de la elección de los individuos al azar.
• Cada elemento de la población tiene probabilidad de ser elegido como parte de la muestra.
• Garantiza mejor la representatividad de la muestra respecto de la población.
Muestreo empírico
• La selección de la muestra se realiza a partir de los criterios o necesidades fijados por el propio
encuestador.
• Tiene riesgo de que no haya representatividad de la muestra respecto de la población.
Una vez elegido el tipo de muestreo, es necesario determinar el tamaño de la muestra necesario
para que nuestras estimaciones sobre la población sean suficientemente precisas.
Ejemplo 4
n=?
Interpretación (ejemplo):
En este caso podríamos decir con el 95% de confianza que entre 68% – 74% del conjunto de la
población catalana está a favor de la independencia.
Ejemplo 2
Ejemplo 1
Ejemplo 3
La información que se incluye en el informe ha de ser muy clara, incluyéndose únicamente aquella
que sea relevante para la audiencia destinataria del mismo, y para las decisiones que haya que tomar
posteriormente.
IINFORMES TÉCNICOS
vs.
INFORMES DIVULGATIVOS
Portada
Índice de contenidos
Introducción
• Fundamentación teórica
• Antecedentes
• Pregunta de investigación
Metodología
• Participantes
• Materiales e instrumentos
• Procedimiento
Resultados
Discusión
Conclusiones
Implicaciones y Recomendaciones
Referencias
Anexos
https://www.google.com/forms/about/ https://es.surveymonkey.com/
https://surveyplanet.com/
4.7. Conclusiones
5. Un ejemplo de encuesta
𝑧 2 .𝑝 . 𝑞 . 𝑁
n= 2
[𝑒 (𝑁−1)]+(𝑧 2 .𝑝 . 𝑞 )
Respuesta c)
𝑧 2 .𝑝 . 𝑞 . 𝑁
n= 2
[𝑒 (𝑁−1)]+(𝑧 2 .𝑝 . 𝑞 )
n?
e= 2’5% = 0’025
α=95% →0’05
z = 1’96
𝑧 2 .𝑝 . 𝑞
n=
𝑒2
(1′ 96)2 .0′5 . 0′5
n= = 1536’64 sujetos
(0′ 025)2
RESPUETA A)
Tema 6 La entrevista
Objetivos
1. Introducción
La entrevista es una conversación verbal entre dos o más personas con
una finalidad.
2. Características de la entrevista
La entrevista como técnica de investigación es considerada como una de las
formas de los métodos de encuesta.
3. Fases de la entrevista
La entrevista se puede dividir en varias fases…
Registro y
Producción Realización Informe
montado
4. Tipos de entrevista
Entrevista
individual
Entrevista
grupal
(Tema 9)
Ventajas: Inconvenientes:
• Facilita la elaboración de • Los entrevistados se pueden molestar
informes. por la rigidez de la entrevista.
• Fácil de administrar y valorar. • Alto coste en la preparación de la
• Evaluación objetiva. entrevista.
• Se necesita poco • Se reduce la posibilidad de respuestas
entrenamiento del espontáneas o de abrir líneas
entrevistador. adicionales de investigación.
• El alto nivel de estructuración acota el
campo de posibles aplicaciones.
Ventajas: Inconvenientes:
• El entrevistador tiene mayor • El entrevistador puede introducir sus
flexibilidad al poder realizar la sesgos en las contestaciones debido a la
pregunta que crea oportuna no acotación.
en cada momento. • Puede introducirse información extraña
• El entrevistador puede que genere “ruido”.
explorar áreas que surjan • El análisis e interpretación de los
sobre la marcha. resultados resulta más laborioso.
• Puede producir información • Alarga el tiempo de tratamiento de los
de temas que a priori se datos, al tener que separar “grano” y
consideraron irrelevantes. “paja”.
5. Análisis de datos
Tanto en la entrevista estructurada como la no estructurada, si se quiere realizar un análisis estadístico
de datos, se necesita previamente la categorización de los mismos.
EJEMPLO
https://youtu.be/BbM3EspBCRo
Objetivos
1. Las escalas
El término ‘escala’ tiene un significado diverso…
Las escalas son una serie de indicadores a partir del cual el sujeto indica en qué grado o frecuencia está
de acuerdo con un determinado enunciado. Se distingue de las listas de control, que se utilizan mucho en
evaluación en infantil y primaria, en que estas últimas lo que determinan es sólo la presencia o ausencia del
rasgo, característica o conducta, ya que en las escalas hay graduación o gradación, y éstas determinan el
grado o frecuencia o el nivel de intensidad en la cual se da una determinada circunstancia o en la cual un
sujeto indica en qué grado un enunciado se puede aplicar a sí mismo.
Las escalas se utilizan para determinar el grado o frecuencia con que se da una característica, rasgo
o conducta. Por lo general, una escala consta de una serie de ítems y un conjunto de categorías que
representan el grado de variación de la característica, rasgo o conducta que representa el ítem.
Categorías
“Tolerancia con los compañeros”
Nº INDICADORES TA PA NA/ND PD TD
01 Pienso que siempre tengo la razón
02 Me gusta participar en debates
03 Facilito el diálogo cuando hay opiniones diferentes
04 Considero que normalmente mi opinión es la más correcta
05 Me molesta cuando alguien piensa distinto a mí TA: Totalmente de acuerdo
06 Me desagrada que otros tengan la razón PA: Parcialmente de acuerdo
07 Escucho con atención la opinión de otros
Ítems
Los “métodos centrados en los sujetos” estudian las diferencias individuales en las actitudes que se
producen en los sujetos ante determinados estímulos (un ejemplo dentro de este tipo de métodos son las
escalas de Likert). Los “métodos centrados en los estímulos” miden y ordenan los diferentes estímulos u
objetos propuestos (un ejemplo dentro de este tipo de métodos son las escalas de Thurstone). Los “métodos
centrados en las respuestas” escalan conjuntamente a los sujetos y a los estímulos, es decir, escalan las
respuestas (un ejemplo dentro de este tipo de métodos son las escalas de Guttman).
2. Escalas de estimación
Cuando la escala se aplica en el contexto de la observación, se la conoce por el nombre de escala de
estimación ('rating scales'); a través de la cual el observador aprecia el grado en que una característica o
conducta se da en el sujeto observado.
¡Ojo! Con el 'efecto halo'... Una sola característica del sujeto que se está valorando (observando)
arrastra la valoración de todas las demás características. Ej. Considerar como inteligente a un alumno que
tiene buena presencia.
Efecto Halo
“Sesgo cognitivo que nos lleva a valorar a las
personas generalizando en ellas un rasgo que nos
parece particularmente positivo o negativo”
Edward L. Thorndike
...y con el efecto 'tendencia central' Marcar siempre las categorías centrales, es decir, la predisposición
del investigador a una valoración central. Ej. Marcar siempre “A veces”
3. Escalas de actitudes
Actitud = se refiere a la predisposición para actuar de una cierta forma o
manera, en contra o a favor, respecto a un objeto (p.e. 'actitud ante el alcohol').
Algunos autores distinguen tres componentes (dimensiones) de la actitud:
cognitivo, afectivo y conductual. (p.e. Cognitiva: ‘el consumo de alcohol afecta al
hígado’ (este ítem se refiere a los conocimientos que posee el sujeto sobre el
objeto que se está valorando); Afectiva: ‘cuando veo a alguien borracho me da
asco’ (parte de la actitud que tiene que ver con los sentimientos o afectos);
Conductual: ‘solo pruebo el alcohol en Navidad’ (tiene que ver con la conducta del
sujeto hacia el objeto). Las escalas de actitudes en general tienen que tener ítems
que recojan estas tres dimensiones.
Las escalas de actitudes (o de opinión), intentan medir la actitud de los sujetos a través de la valoración
que cada sujeto asigna a cada ítem que compone la escala. No hay respuestas correctas e incorrectas.
Tradicionalmente se suelen distinguir tres tipos de escala de actitud: sumativas (Likert), diferenciales
(Thurstone), y acumulativas (Guttman).
En primer lugar, se debe estudiar la dimensión de la actitud a medir y las conductas relacionadas con
la misma. De este proceso se recogerán un conjunto de ítems, mayor que los que compondrán la escala final.
El número de ítems elegido permitirá cubrir todo el rango de conductas que refleja la actitud de estudio.
Definir que se quiere medir/evaluar para hacer una tabla de especificación para que los ítems recojan
todo lo que se pretende medir con la escala.
Libros
Prensa ‘Compro el periódico
todos los días’
Cómics ‘Cuando veo una viñeta me
pongo de buen humor’
Consejos:
La redacción del ítem provoca la emisión de juicio por parte del sujeto, sin inducirle.
El orden de presentación de las preguntas debe ser aleatorio para no provocar sesgos por la
presencia de rachas de preguntas que reflejen actitudes favorables seguidas de rachas de preguntas
que reflejen actitudes desfavorables.
Para evitar el efecto de aquiescencia, el sujeto empieza contestando una determinada categoría en
un ítem y continúa contestando al resto de ítems con la misma categoría indistintamente, hay que
poner ítems en sentido directo (redactados en sentido favorable a la actitud que se está midiendo)
e ítems en sentido inverso.
P.e. Actitud hacia la lectura:
1. Tengo muchos libros en casa. 1 2 3 4 5 → (está a favor de la lectura)
Para evitar que todos los ítems estén redactados en este sentido y evitar que los sujetos continúen
contestando 4 o 5, se debe alternar, de forma aleatoria, ítems que vayan al revés, enunciados en
sentido inverso (evitar las rachas de preguntas que reflejen actitudes solo favorables):
2. Odio los cómics. 1 2 3 4 5
Estos ítems inversos se deben puntuar al revés a la hora de hacer la suma total, se deben recodificar
en espejo: 1 → 5; 2 → 4; 3 se queda igual; 4 → 2 y 5 → 1.
Se administrará este conjunto inicial de ítems a una muestra piloto de individuos, para desechar
ítems mal formulados o de baja discriminación en la escala.
Por ejemplo: A continuación encontrarás una serie de afirmaciones acerca del consumo diario de café
con leche en el desayuno. Por favor, indica en qué grado estás de acuerdo con cada afirmación...
Versión de 5 puntos…
(menos habitual)
(más habitual)
Versión de 7 puntos…
Versión gráfica
Para estudiar el poder discriminatorio de cada ítem en la escala, Likert propuso dos procedimientos:
Grado o índice de homogeneidad (IH) del ítem = coeficiente de correlación entre las puntuaciones
de los sujetos en el ítem y en el total de la escala (descontando el ítem). Los ítems con IH < 0,2 se
desechan.
Grado de discriminación del ítem = Likert propone estudiar si hay diferencias significativas en la
puntuación al ítem, comparando el 25% superior y el 25% inferior de los sujetos en el total de la
escala.
Para este fin se aconseja obtener las puntuaciones tipificadas o normalizadas (z), para entonces
calcular el porcentaje de personas cuya puntuación es inferior a un determinado z (percentil)
Fiabilidad: método de las dos mitades con la correlación de Spearman-Brown o Alfa de Cronbach.
Validez: validez de constructo, factorial, predictiva...
Ítem 1 Ítem 2 Ítem 3 Ítem 4 → si fuera inverso habría que recodificar las Ítem 5
puntuaciones
Sujeto 1 4 3 5 6→2 4
Sujeto 2 3 4 7 7→1 2
Sujeto 3 4 3 6 6→2 1
Sujeto 4 4 3 7 5→3 2
Sujeto 5 2 4 8 7→1 1
Escalas centradas en los estímulos, es decir, son los estímulos los que están graduados. Hay ítems más
o menos intensos con respecto a aquello que se está valorando.
Las escalas son más difíciles de construir, es decir, construir ítems que estén graduados en intensidad,
pero son más fáciles de contestar por parte de los sujetos.
Clasificación de los ítems en categorías: Prueba de jueces (≈ 200) → (≈ 20). Se pide a cada juez que
valore los 100 ítems y los clasifique en qué punto del 1 al 11 sitúa cada ítem según su opinión.
• Ordenación de los enunciados en un continuo de 11 niveles, desde el nivel de actitud más desfavorable
(1) al de actitud más favorable (11), pasando por la actitud neutra (6)
Estas fórmulas no son necesarias para el examen ya que se facilitan directamente los datos del cuartil
1 y el cuartil 3.
C.A. = Q3 – Q1 → si hay mucho consenso, la diferencia entre los dos cuartiles es pequeña, las
puntuaciones están concentradas alrededor de un valor.
Q1 = 4,64
Q3 = 5,47
Por convenio, se considera que un conjunto de ítems constituye una escala de Guttman, si su coeficiente
de reproductividad es mayor que 0,90.
Escala imperfecta: se va a comprobar si esta escala se aproxima suficientemente a una escala perfecta
para afirmar que es una escala de Guttman
Ítems
Sujetos P. Escala
1 2 3 4 5
S1 1 1 1 1 0 4
S2 1 1 0 1 0 3
S3 1 1 1 0 1 4
S4 1 0 0 1 0 2
S5 1 0 0 0 1 2
S6 0 1 0 1 0 2
S7 1 1 1 1 1 5
S8 1 0 1 0 0 2
S9 0 0 0 0 1 1
P. Ítem 7 5 4 5 4
Coeficiente de reproductividad:
𝑛º 𝑑𝑒 𝑒𝑟𝑟𝑜𝑟𝑒𝑠 𝑛º 𝑑𝑒 𝑒𝑟𝑟𝑜𝑟𝑒𝑠
𝐶. 𝑅. = 1 − =1−
𝑛º 𝑑𝑒 𝑟𝑒𝑠𝑝𝑢𝑒𝑠𝑡𝑎𝑠 𝑛º 𝑑𝑒 𝑠𝑢𝑗𝑒𝑡𝑜𝑠 · 𝑛º 𝑑𝑒 í𝑡𝑒𝑚𝑠
Se ordenan los sujetos y los ítems, con la opción que presente menos errores, dando como resultado
la tabla:
Ítems
Sujetos P. Escala Errores
1 4 2 3 5
S7 1 1 1 1 1 5 -
S1 1 1 1 1 0 4 -
S3 1 0→1 1 1 1→0 4 2
S2 1 1 1 0 0 3 -
S4 1 1 0 0 0 2 -
S5 1 0→1 0 0 1→0 2 2
S6 0→1 1 1 →0 0 0 2 2
S8 1 0→1 0 1→0 0 2 2
S9 0→1 0 0 0 1→0 1 2
P. Ítem 7 5 5 4 4 10
Teniendo en cuenta que el sujeto 3 obtuvo una puntuación de 4, para ajustarse al patrón (1,1,1,1,0),
en el ítem 4 debería haber puntuado 1 y en el ítem 5 debería haber puntuado 0, por lo tanto, cuenta con dos
errores.
10
𝐶. 𝑅. = 1 − = 0,77
9·5
Como 0,77 < 0,90 en este caso no es una escala de Guttman, se aparta demasiado.
Ejemplos de las mismas son las escalas de ortografía, de redacción, de dibujo y de composición…
…o más recientemente, las que hemos desarrollado para graduar el aprendizaje infantil de la
programación informática con Scratch
https://scratch.mit.edu/
Nivel 1
https://scratch.mit.edu/projects/99612654/
Nivel 2
https://scratch.mit.edu/projects/124827092/
Nivel 3
https://scratch.mit.edu/projects/99330902/
5. Diferencial semántico
El diferencial semántico (o de Osgood) es un instrumento de recogida de información, a través del
cual se pretende conocer los significados connotativos, afectivos o subjetivos, que tienen los objetos,
fenómenos, hechos o situaciones para los sujetos.
Mediante este instrumento se pide a un sujeto que evalúe un ‘objeto’ en función de varios criterios,
cada uno de los cuales presentado como una pareja de adjetivos bipolares (bueno-malo, blanco-negro,
cálido-frío, etc.).
Se supone que las escalas tipo Osgood pueden tratarse estadísticamente como de intervalo.
Osgood comprobó que las personas tienden a valorar las cosas en función de los adjetivos que
utilizamos en el lenguaje.
Ejemplos…
El ‘objeto’ a medir deberá ser definido con precisión para evitar ambigüedades.
El estímulo u ‘objeto’ puede ser muy variado, incluyendo conceptos verbales (palabras) o no verbales
(imágenes, estímulos físicos).
Cada uno de los ‘objetos’ se evalúa mediante las escalas bipolares. Éstas representan una reacción de
tipo afectivo (subjetivo, connotativo) hacia el concepto. Las escalas bipolares se representan en un continuo,
dividido normalmente en 7 categorías, cuyos extremos son los adjetivos mencionados.
Una vez elaborado el diferencial semántico, su aplicación se suele hacer en cuadernillos, donde
aparecen los diferentes ‘objetos’ evaluados junto con sus escalas bipolares (1 ‘objeto’ por página del
cuadernillo). Se suele pedir a los sujetos que contesten de forma rápida, ya que se prima la espontaneidad
de la respuesta afectiva.
Normalmente, para la valoración de cada escala bipolar, el número más pequeño (1 ó -3) corresponde
a la categoría más próxima al adjetivo con connotaciones negativas; mientras que el número más grande
(7 ó +3) corresponde a la categoría más próxima al adjetivo con connotaciones positivas.
Análisis de perfiles
• Distancias/diferencias entre grupos o individuos en las puntuaciones factoriales sobre el ‘objeto’
1) Se está construyendo una escala tipo Osgood y recoge datos de cuatro factores relativos a tres
conceptos:
Conceptos Factores
c1: Rioja f1: precio
c2: Valdepeñas f2: sabor
c3: Ribera del Duero f3: color
f4: embotellado
Calcular cuál es la distancia entre cada uno de los vinos, cuanto menor sea la distancia quiere decir que
son más parecidos entre sí y cuanto mayor sea la distancia quiere decir que son más diferentes.
Queremos saber cuál es la distancia entre cualquier pareja de vinos. También pueden preguntar entre
qué pareja está la distancia más pequeña.
Factores
f1 f2 f3 f4
Conceptos
c1 5 3 4 4
c2 2 5 4 5
c3 4 4 3 5
∑d2 = sumatorio de las diferencias de los dos objetos en cada uno de los factores al cuadrado
Si se calcularan todas las distancias D(c1, c2); D(c2, c3) y D(c1, c3) se podría ver en qué caso la distancia
es más pequeña y así ver cuales son los vinos más parecidos.
Respuesta c)
IMPORTANTE
Si es > 2 se considera que no hay consenso (no se conserva el ítem)
Si es < 2 se considera que si hay consenso (si se conserva el ítem)
5 items
n=6
errores= 3
𝒏º 𝒅𝒆 𝒆𝒓𝒓𝒐𝒓𝒆𝒔
C.R. = 1 – 𝒏º 𝒅𝒆 𝒓𝒆𝒔𝒑𝒖𝒆𝒔𝒕𝒂𝒔
𝒏º 𝒅𝒆 𝒆𝒓𝒓𝒐𝒓𝒆𝒔
C.R. = 1 - 𝒏º 𝒅𝒆 𝒔𝒖𝒋𝒆𝒕𝒐𝒔∗𝒏º 𝒅𝒆 𝒊𝒕𝒆𝒎𝒔
𝒏º 𝒅𝒆 𝒆𝒓𝒓𝒐𝒓𝒆𝒔 𝟑
C.R. = 1 - 𝒏º 𝒅𝒆 𝒔𝒖𝒋𝒆𝒕𝒐𝒔∗𝒏º 𝒅𝒆 𝒊𝒕𝒆𝒎𝒔 = 1 - 𝟔∗𝟓 = 0’9
RESPUETA c)
7 categorias
4 vinos
3 factores
Vino A y vino C
d2 = ∑ de las diferencias de los dos objetos en cada uno de los factores del cuadro.
RESPUESTA a)
Objetivos
1. Pruebas criteriales
Un grupo de test que merecen una mención aparte por sus implicaciones educativas
es el de los test referidos al criterio o test de referencia criterial (TRC). Son test que están
pensados para ver si un sujeto domina o no un contenido o un conocimiento concreto. Se
suelen utilizar para certificar o acreditar a una persona en ese conocimiento. P.e: un test
para certificar que un sujeto puede ser piloto de aviones. Son pruebas de evaluación
conductual con ítems de ejecución conductual en situaciones reales.
Los TRC tienen su origen en un artículo de Robert Glaser (1963). Berk (1998) define
los test de referencia al criterio como “construidos para evaluar el nivel de ejecución de un sujeto con
respecto a un dominio de conductas bien definidas”. Indican si el sujeto es apto o no apto. Si es apto significa
que domina todas las conductas, no solo una parte.
Test clásicos o test • Intentan medir y escalar a las personas en función del grupo normativo
referidos a una de referencia
norma (TRN) • Responden a la pregunta “¿En qué percentil se encuentra el sujeto?”
Temas 2 y 4
Obligan a definir con mayor claridad y operatividad los objetivos o criterios de interés, en la línea de la
evaluación conductual.
Obligan a muestrear exhaustivamente los objetivos a evaluar (validez de contenido) y exigen sumo
cuidado al confeccionar los ítems: aparecen en consecuencia gran variedad de formatos de ítems.
Obligan a desarrollar técnicas para establecer adecuadamente los puntos de corte, para determinar
quién pasa y quién no pasa el TRC. El punto de corte debe establecerse en función del contenido, no
de las personas evaluadas.
Al centrarse operativamente en objetivos muy específicos, son muy útiles para detectar puntos fuertes
(dominio) y puntos débiles (deficiencias) de los estudiantes, en vez de simplemente analizar las
diferencias entre ellos; y así tomar decisiones de enseñanza.
Los test de nivel o de dominio determinan si el sujeto ha conseguido el nivel instructivo necesario
para promocionar de un curso a otro.
Los test de diagnóstico pretenden detectar la existencia de problemas relacionados con el aprendizaje,
aportando información sobre su origen y características.
“El conocimiento del dominio instruccional es crucial porque está relacionado con la validez de
contenido y constructo (…) por dominio de instrucción se entiende el conjunto de todos aquellos elementos
(objetivos, acciones, tareas…) que representan el propósito de la instrucción…
…las unidades que definen el dominio no deben solaparse y deben cubrir el dominio en su totalidad
(mutua exclusión y exhaustividad) …
…por tanto, el profesor ante una unidad didáctica o lección debe proponer ítems que recojan todos
los objetivos, contenidos y actividades relativos a la unidad a evaluar”
Revisión lógica: correspondencia entre los ítems y la operativización del dominio de contenidos; se
realiza mediante el juicio de expertos.
• Congruencia ítem-objetivo (representatividad).
• Calidad técnica
• Ausencia de sesgo (neutralidad respecto a los sujetos o grupos).
Revisión empírica: se estudia la aplicación de la prueba y su funcionamiento; en varias etapas:
• Formulación de hipótesis en relación con la dificultad y poder discriminativo esperados en cada
ítem.
• Aplicación a una muestra de alumnos.
• Análisis de los resultados para determinar el nivel de dificultad, discriminación y validez de cada
ítem.
• Interpretación y toma de decisiones respecto a los ítems analizados.
En relación con la revisión empírica de los ítems, pueden obtenerse varios índices…
Índices de discriminación: los ítems de los TRC deben maximizar la discriminación de los individuos de
los grupos experimental y control, y minimizar la discriminación dentro del propio grupo. Son los
llamados índices de sensibilidad a la instrucción.
• DISGN o ganancia neta
• DISCI-SI o diferencia entre los grupos ‘con’ y ‘sin’ instrucción
Índice de homogeneidad: tiene como propósito que los ítems que cubren un mismo objetivo se
comporten de forma similar (tanto en una aplicación del test como en sucesivas). Se puede calcular con
la correlación ítem-total.
DISGN o ganancia neta. Proporción de sujetos que responden al ítem incorrectamente en el pretest y
correctamente en el postest, menos la proporción de sujetos que responden incorrectamente en el pretest
y en el postest. Su rango de variación es [-1,1].
En el ítem 2 → 6 sujetos (2,3,4,5,9 y 10) contestan mal en el pretest y bien en el postest y 2 sujetos (6
y 8) contestan mal en las dos ocasiones. Se divide por el total de sujetos.
DISCI-SI o diferencia entre los grupos con instrucción y sin instrucción. Diferencia entre la proporción de
sujetos que aciertan el ítem en el grupo con instrucción menos la proporción de individuos que aciertan el
ítem en el grupo sin instrucción.
Grupo Ítem 1
Sujetos (todos en Grupo Control –
Experimental – 7 4
condición Sin instrucción 𝐷𝐼𝑆𝐶𝐼−𝑆𝐼 = − = 0,3
Con instrucción ∗
10 10
‘postest’)
Ítem 1 Ítem 2 Ítem 1 Ítem 2
1 0 1 0 1 Ítem mejorable.
2 0 0 1 1
Ítem 2
3 1 0 1 1 8 2
4 0 0 1 1 𝐷𝐼𝑆𝐶𝐼−𝑆𝐼 = − = 0,6
10 10
5 1 0 1 1
6 0 0 0 0 Es más sensible a la instrucción.
7 0 1 1 1
*Se divide por el total de sujetos.
8 1 0 1 0
9 0 0 0 1
10 1 0 1 1
Suma de aciertos 4 2 7 8
Para determinar los estándares o puntos de corte se utiliza de nuevo el juicio de los expertos (los
mismos que han definido el dominio e intervenido en la revisión lógica de los ítems propuestos)
Fiabilidad y validez
La validez viene indicada por la adecuación de la prueba a los objetivos de la misma (de contenido, de
criterio, y de constructo) Validez de contenido: los ítems o las situaciones de evaluación conductual reflejan
los objetivos de la instrucción.
https://repositorio.uam.es/handle/10486/4717
AUTOEVALUACIONES TEMA 8
Primera fracción:
Segunda fracción:
𝟕 𝟑
DISGN = - = 0’33 Respuesta c)
𝟏𝟐 𝟏𝟐
Primera fracción:
Segunda fracción:
𝟔 𝟏
DISCI-SI = - = 0’625 Respuesta a)
𝟖 𝟖
Objetivos
1. Introducción
Las técnicas grupales de recogida de información tratan de
identificar las conductas de los sujetos cuando éstos se
encuentran dentro de un grupo.
2. Tipos
Las técnicas grupales se pueden clasificar en…
3. Grupos focales
El grupo focal es una técnica en la que un moderador introduce un tema de
discusión a un grupo de individuos, dándoles la oportunidad de que interactúen
con sus comentarios y opiniones dirigidos en todo momento hacia los objetivos de
análisis (“foco”).
Obtener más información sobre percepciones, ideas, actitudes, experiencias, o creencias. Son útiles
para la recopilación de la perspectiva propia de las partes interesadas / afectadas en un proceso (o
‘públicos audiencias objetivo’ en marketing)
• Ejemplo: en una evaluación de un programa de prevención de la violencia escolar, se hacen grupos
focales con estudiantes procedentes de centros violentos.
Obtener información adicional (de carácter interpretativo) como complemento a los datos
cuantitativos recogidos.
• Ejemplo: como complemento a una encuesta sobre integración cultural aplicada al profesorado de
un barrio con población inmigrante, se realizan grupos focales con algunos de dichos profesores para
interpretar mejorar algunos de los resultados de la encuesta.
Ventajas: Desventajas:
Relativamente fáciles de El facilitador puede caer en sesgos.
configurar. La discusión puede quedar
Dinámica de grupo que da más monopolizada o desviada por unos
información que individuos por pocos.
separado. El análisis de datos es muy costoso.
Útil para el conocimiento más
profundo de un tema.
4. Grupo nominal
Se denomina grupo nominal a una reunión grupal de grupo pequeño (y
‘natural’), en la que se fomenta la participación de todos los miembros del
grupo, evitando la monopolización de la reunión por los ‘dirigentes’, sobre todo
ante causas de inhibición como jerarquía, inseguridad, timidez…
6. El Brainstorming
El Brainstorming (o ‘tormenta de ideas’) es una técnica de creatividad
desarrollada en una reunión de grupo con personas seleccionadas (…) es una
técnica efectiva para generar cúmulos de ideas sobre un asunto específico, para
luego determinar qué idea o ideas presentan la mejor solución.
7. El método Delphi
El método Delphi se realiza mediante la distribución de una serie de
cuestionarios (o ‘documentos’) en varias rondas (o ‘circulaciones’) a un grupo de
expertos (o ‘panel’). En cada ronda, los panelistas reciben realimentación sobre las
respuestas del resto del grupo y tienen la oportunidad de revisar y cambiar las suyas
propias si lo desean. El proceso termina cuando el
investigador (o ‘moderador’) considera que se ha llegado a un
determinado nivel de consenso o que la información
obtenida es suficiente.
Ventajas: Inconvenientes:
Es anónimo: ningún miembro del Intercambio de información
panel de expertos conoce quiénes limitado, puesto que los expertos
son los otros miembros; y las no llegan a interactuar nunca entre
respuestas de cada ronda se ellos.
recirculan de manera anónima. Se reduce la motivación de los
Se evita la presión de los expertos, al no existir recompensa
miembros dominantes. social por su contribución.
Características:
http://www.uax.es/publicacion/aplicacion-del-metododelphi--para-identificar-los-factores-clave-
defidelizacion.pdf
8. Técnicas sociométricas
A diferencia de las técnicas de observación, cuya atención se
concentra en el estudiante como individuo, las técnicas sociométricas
concentran su atención en el grupo y las interacciones sociales que se
presentan en él (…) en otras palabras, hablamos de
la repercusión que la situación del grupo tiene en
cada uno de sus miembros.
8.1. El sociograma
El sociograma es una técnica que pretende poner de manifiesto los lazos de
influencia y de preferencia que existen en el grupo (…) para un docente es de gran
utilidad conocer la presencia de lazos de vínculo entre sus estudiantes con el fin de
utilizarlos a favor de la promoción del grupo.
1) ¿Cuáles de tus compañeros consideras que dan opiniones muy acertadas en la mayoría de los casos?
2) ¿Con cuáles de tus compañeros prefieres convivir ya sea en el estudio o en la diversión? ¿Y a cuáles
rechazas?
Una vez el profesor cuenta con las respuestas (…) una forma muy práctica de visualizar los resultados
es representar gráficamente cada estudiante por medio de un círculo (o triángulo, según el sexo), y de allí
trazar flechas hacia los círculos (o triángulos) de los compañeros que ha seleccionado. Por tanto, los
sociogramas se caracterizan por la representación gráfica de las elecciones y rechazos de los individuos de
un grupo.
Para realizar un sociograma se parte de una matriz de doble entrada, o ‘matriz sociométrica’, en la
cual normalmente se ponen los ‘electores’ en las filas, y los ‘elegidos’ en las columnas.
2) Un profesor forma parejas entre los 6 alumnos de su tutoría (2 niños y 4 niñas) para realizar unas
dinámicas grupales. Para ello, les formula las siguientes preguntas:
¿Con quién de tus compañeros prefieres estudiar? ¿Con quién de tus compañeros no quieres estudiar?
Electores
Alumno 3: Prefiero estudiar con 5; No quiero estudiar con 6. 2 R A
Alumno 4: Prefiero estudiar con 5; No quiero estudiar con 2. 3 A R
Alumno 5: Prefiero estudiar con 4; No quiero estudiar con 3. 4 R A
Alumno 6: Prefiero estudiar con 5; No quiero estudiar con 3. 5 R A
6 R A
Integración
Un sujeto está ‘integrado’ en su grupo cuando mantiene una red de interrelaciones con otros
miembros del grupo, que le generan la sensación de dependencia-pertenencia al mismo.
La ‘integración’ se define como una relación particular de cada sujeto respecto al grupo.
Cohesión
Un grupo está ‘cohesionado’ cuando el sistema de interrelaciones que funciona entre sus miembros
mantiene a estos satisfactoriamente ligados al grupo.
La ‘cohesión’ no es, por tanto, una cuestión de cada miembro del grupo por separado, sino algo
inherente al grupo en su conjunto.
Las ‘escalas de distancia social’ nos permiten conocer la opinión y actitud afectiva de cada estudiante
respecto de sus compañeros. Para dicho objetivo se redactan proposiciones que van desde la mayor
cercanía a la mayor lejanía (pasando por distintos grados de proximidad); posteriormente cada estudiante
enjuicia la situación en que se encuentra cada compañero respecto a él.
El ‘índice de integración’ de cada sujeto es la suma de las puntuaciones emitidas sobre él por sus
compañeros. Puede tomar valores entre:
Siendo:
(OJO! En las matrices de distancia social, a diferencia de las matrices sociométricas, en las filas están
los ‘enjuiciados’ (valorados) y en las columnas los ‘enjuiciadores’ (valoradores))
El ‘índice de cohesión’ se calcula como la media de los índices de integración de los sujetos del grupo.
Nos da una información muy valiosa y de conjunto sobre el grupo, que se puede comparar con otros grupos
o con sí mismo a lo largo del tiempo.
∑ í𝑛𝑑𝑖𝑐𝑒 𝑑𝑒 𝑖𝑛𝑡𝑒𝑔𝑟𝑎𝑐𝑖ó𝑛
Í𝑛𝑑𝑖𝑐𝑒 𝑑𝑒 𝑐𝑜ℎ𝑒𝑠𝑖ó𝑛 =
𝑁ú𝑚𝑒𝑟𝑜 𝑑𝑒 𝑚𝑖𝑒𝑏𝑟𝑜𝑠
Ejemplo 4 – Examen de Septiembre 2013
1) Un pedagogo quiere trabajar en un grupo con sus alumnos y necesita valora la relación existente
entre María, Susana, Francisco y Sara. Para llevarlo a cabo, les solicita a cada uno de ellos que
complete la siguiente frase con el nombre de un compañero: “Prefiero que ........... estuviera en mi
grupo”
Valoradores
María Susana Francisco Sara Total
Valorados
María -- 3 2 1 6
Susana 3 -- 3 3 9
Francisco 3 1 -- 3 7
Sara 2 3 3 -- 8
Siendo:
1.- Nada; 2.- Poco; 3.- Mucho.
ÍNDICES DE INTEGRACIÓN:
(6+9+7+8)/4=7,5
En un estudio sobre las relaciones grupales entre cuatro miembros de una clase, se han obtenido los
siguientes resultados, como respuesta a la pregunta “Prefiero compartir mi tiempo libre con…”. Siendo estas
las opciones de repuestas ofrecidas:
A B C D
4. Siempre A -- 3 1 4
3. Muchas veces B 2 -- 3 2
2. Pocas veces C 1 3 -- 4
1. Nunca
D 3 2 4 --
¿Entre qué valores oscilará la escala que permite valorar el índice de integración de cada alumno?
Calcule e interprete el índice de integración de cada uno de los miembros del grupo.
Realice la representación gráfica de los índices de integración.
Calcule e interprete el índice de cohesión grupal.
a) El índice de integración en este caso con una escala de 4 categorías, oscila entre 4*(n-1) y (n-1) donde
n es el número de casos. Luego oscilará entre 4*3 y 3, es decir, entre 12 y 3. Los valores de integración
son: 8, 7, 8 y 9 respectivamente para A, B, C y D, por lo cual, D es el más integrado del grupo y B el
menos integrado, no obstante, todos tienen un nivel medio de integración.
b)
Un profesor quiere valorar la relación en un grupo de cinco estudiantes para lo cual realiza una
pregunta entre los mismos: ¿valore el interés que tiene en sentarse junto a …… para realizar un trabajo
grupal? Los resultados fueron los siguientes:
5.- Tiene mucho interés 4.- Prefiere que esté en su grupo 3.- Le es indiferente
2.- Prefiere no formar parte de su grupo 1.- No quiere que esté en su grupo
Se pide:
Apuntes de Marcos Román 11
Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 9
Un ejemplo real…
http://redc.revistas.csic.es/index.php/redc/article/view/792/930
https://sites.google.com/site/ucinetsoftware/home http://www.tucows.com/preview/295919/Agna
AUTOEVALUACION TEMA 9
COLUMNAS = ELEGIDOS
FILAS = ELECTORES
TOTAL
16
14
19
15
17
∑𝐼𝑛𝑑𝑖𝑐𝑒 𝑑𝑒 𝑖𝑛𝑡𝑒𝑔𝑟𝑎𝑐𝑖𝑜𝑛
INDICE DE COHESION =
𝑛
n=5
(16+14+19+15+17)
INDICE DE COHESION = = 16’20
5
Respuesta c)
Índice de integración
Calcular la escala:
4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
BAJO MEDIO ALTO
(4 A 9) (10 A 14) (15 A 20)
16’2 es nuestro grupo
Respuesta c) Cohesión alta
Apuntes de Marcos Román 15
Técnicas e instrumentos para la recogida de información - Pedagogía - UNED - 2019/2020 Tema 9
1
SISTEMATIZACION.
El análisis se realiza según unas pautas ordenadas, que se aplican sobre la totalidad del
contenido recogido.
CUANTIFICABLE.
El análisis se traduce en datos cuantitativos, que pueden ser sometidos a tratamiento
estadístico.
MANIFIESTO.
El análisis se aplica sobre el contenido manifiesto de la comunicación, dejando fuera los
aspectos implícitos o soterrados.
VENTAJAS INCONVENIENTES
2
3.- TIPOS DE DOCUMENTOS.
Los tipos de documentos que se pueden someter a un análisis de contenido son muy variados:
ACTAS, CIRCULARES
INFORMES, PROGRAMAS
CARTAS, DIARIOS,
DISCURSOS
REVISTAS, PERIODICOS,
LIBROS.
E-MAILS, POSTS, TWEETS
DOCUMENTOS
AUDIVISUALES
Objetivo
y
contexto
Unidades de
analisis
Reglas de
numeracion
y recuento
OBJETIVO Y CONTEXTO
Determinar los objetivos perseguidos por la investigación, el universo objeto de estudio,
la elección del tipo de documento y las unidades de contenido dentro del documento.
Ejemplo: estudiar los materiales escolares durante la Segunda República, a través de los
libros de textos y cuadernillos escolares publicados en España desde 1931 a 1939.
3
UNIDADES DE ANALISIS
Son los objetos de estudio para realizar con ellos clasificaciones o recuentos.
Se pueden clasificar en:
Unidades de muestreo: porciones del universo observado que serán objeto de estudio.
Unidades de contexto: sirve para dar significado a las unidades de registro.
Unidades de registro: elemento primario del texto que hace referencia a una categoría,
pueden ser de distintos tipos:
Categorización
Codificacion
Fiabilidad y validez
4
a) CATEGORIZACION.
Exhaustivas.
Mutuamente excluyentes.
Homogéneas.
Productivas.
Significativas y replicables.
b) CODIFICACIÓN.
Traducir la categorización a valores numéricos según reglas predefinidas (libro de
códigos), para su posterior tratamiento estadístico.
c) FIABILIDAD Y VALIDEZ.
d) ANALISIS DE DATOS.
Análisis de
contenido temático
5
Análisis de
contenido
semántico
- Pretende estudiar las relaciones entre los temas tratados en un texto; se han de definir los
patrones de relaciones que se tomaran en cuenta.
- La técnica más utilizada en la “matriz semántica” matriz “problema-solución”.
Análisis de redes