i

JEFATURA DE INVESTIGACIÓN FORMATIVA E

INVESTIGACIÓN DOCENTE
EXPERIENCIA CURRICULAR DE DESARROLLO DE PROYECTO DE
INVESTIGACIÓN

SESIÓN Nº 02: “• Procesamiento de datos de la prueba

piloto. Evidencias de validez y confiabilidad”

LECTURA

Coordinación de la EP de Desarrollo de Proyecto de Investigación

Jefatura de Investigación, UCV Lima Norte

Lima, Perú

2020

Índice

INTRODUCCIÓN.................................................................................................. iii

1. Consideraciones previas.............................................................................. 4

2. Validez......................................................................................................... 4
 ii

2.1. Definición.................................................................................................... 4

2.2. Tipos de validez........................................................................................... 4

3. Confiabilidad............................................................................................. 10

3.1. Medida de estabilidad (confiabilidad por test-retest)................................11

3.2. Método de formas alternativas o paralelas...............................................12

3.3. Método de mitades partidas (Split-halves)................................................14

3.4. Medidas de coherencia o consistencia interna..........................................17

4. REFERENCIAS............................................................................................ 21
 iii

INTRODUCCIÓN

En la sesión 2 de la Experiencia Curricular de Desarrollo de Proyecto de

Investigación se repasan los conceptos de validez y confiabilidad de instrumentos de
recolección de datos.
También se mostrarán los tipos de validez de instrumentos y los métodos para
determinar cada una de ellas.
Respecto a la confiabilidad, se proponen distintas técnicas para hallar el grado
de confiabilidad del instrumento, entre ellos los más utilizados como el alfa de
Cronbach y el coeficiente KR20.
.
1. Consideraciones previas
 Definición de medir: se entiende por medir cuando se asigna números,
símbolos o valores a las características o propiedades de objetos o eventos de
acuerdo con reglas” (Stevens, 1951). Desde luego, no se asignan a los objetos,
sino a sus propiedades (Bostwick y Kyte, 2005).
 Definición de medición: se puede definir a la medición como “el proceso
de vincular conceptos abstractos con indicadores empíricos”, el cual se realiza
mediante un plan explícito y organizado para clasificar (y con frecuencia
cuantificar) los datos disponibles (los indicadores), en términos del concepto
que el investigador tiene en mente (Carmines y Zeller, 1991).
 Instrumento de medición: es un recurso que utiliza el investigador para
registrar datos observables que representan verdaderamente los conceptos o
las variables que tiene en mente (Grinnell, Williams y Unrau, 2009).

2. Validez

2.1. Definición
Ebel (1977, citado por Fuentes, 1989) establece que validez “…designa la
coherencia con que unos conjuntos de puntajes de una prueba miden aquello que
deben medir” (p. 103). La validez se refiere al grado en que una prueba proporciona
información que es apropiada a la decisión que se toma. La validez responde a la
pregunta ¿con qué fidelidad corresponde el universo o población al atributo que se va a
medir? Por ejemplo: Una prueba de conocimientos de regresión lineal tiene que medir
esto y no conocimientos de regresión cuadrática.

2.2. Tipos de validez

2.2.1. Validez de contenido

Según plantea (De Arquer, M. I. 2011) se debe considerar que la validez de
contenido, cualitativamente, es una cuestión de juicio, se estima de manera subjetiva o
intersubjetiva empleando, usualmente, el denominado Juicio de Expertos. Los juicios
de expertos se pueden obtener por el método de agregados individuales (en forma
individual dan sus opiniones), el método Delphi (en forma grupal y sin debate dan sus
opiniones en forma anónima, en este caso se emplea la mediana y el intercuartil cuyas
puntuaciones son en forma asimétrica), la técnica de grupo nominal (reunidos el grupo
en forma individual entregan sus puntuaciones, luego cada uno expone y se debate
para obtener coincidencias, se emplea la media aritmética para las puntuaciones), y el
método de consenso grupal (la tarea del grupo consiste en lograr un consenso sobre
las puntuaciones de los ítems).
La técnica utilizada con mayor frecuencia por los investigadores es el Método
de Agregados Individuales por la facilidad de elección de expertos y otros aspectos
como tiempo y economía. El método consiste en pedir individualmente a cada experto
que dé una estimación directa de los ítems, reactivos o criterios del instrumento. Se

4
seleccionan al menos cinco expertos o jueces, para juzgar de manera independiente.
Cada experto debe recibir la información escrita suficiente sobre: el propósito de la
prueba (objetivos), conceptualización del universo de contenido, tabla de
especificaciones o de operacionalización de las variables del estudio y la ficha de
validación del instrumento. Se recogen y analizan los instrumentos de validación y se
decide: Un resultado de validez mayor al 61% es considerado aceptable y por lo tanto,
el instrumento es aplicable. El porcentaje de validez menor a 61% implicará que el
investigador deberá revisar el instrumento para que sea evaluado nuevamente.
La validez cuantitativa de contenido se puede efectuar mediante el estadístico
V de Aiken o la prueba binomial.
Ejemplo:
La tabla muestra la base de datos de la pertinencia y no pertinencia de 31
ítems valuados por Jueces de expertos en investigación. Hallamos la validez de
contenido del instrumento con la V de Aiken.

En este caso, el estadístico V de Aiken está expresado por la expresión:

Utilizando el software estadístico Excel se encuentra con facilidad el

coeficiente V de Aiken:

5
 El coeficiente V de Aiken para cada Juez se obtiene reemplazando los datos en
la expresión matemática

S 4
V= = =0,88
[ n ( c−1 ) ] [ 5 ( 2−1 ) ]

Luego, el promedio de todos los coeficientes V de Aiken es 0,877; indica que

el instrumento tiene alta validez de contenido.

2.2.2. Validez de constructo

Al respecto Babbie (2014); Grinnell, Williams y Unrau (2009); The SAGE
Glossary of the Social and Behavioral Sciences (2009d); y Sawilowsky, (2006),
mencionan que “la validez de constructo es probablemente la más importante, sobre
todo desde una perspectiva científica, y se refiere a qué tan bien un instrumento
representa y mide un concepto teórico” (citado por Hernández, Fernández y Baptista,
2014, p. 203)
Un constructo es una variable medida y tiene lugar dentro de una hipótesis,
teoría o modelo teórico. Es un atributo que no existe aislado sino en relación con otros
y debe ser inferido de la evidencia que tenemos en nuestras manos y que proviene de
las puntuaciones del instrumento aplicado.
La validez de constructo incluye tres etapas (Carmines y Zeller, 1991):
a) Sobre la base de la revisión de la literatura, se establece y especifica la
relación entre el concepto o variable medida por el instrumento y los
demás conceptos incluidos en la teoría, modelo teórico o hipótesis.
b) Se asocian estadísticamente los conceptos y se analizan
cuidadosamente las correlaciones.

6
 c) Se interpreta la evidencia empírica de acuerdo con el nivel en el que se
clarifica la validez de constructo de una medición en particular.
Para efectuar la validez de constructo podemos emplear: análisis factorial,
análisis de cofactores, análisis de covarianza. Además, la correlación por rangos (Rho)
de Spearman, la correlación por puntuaciones netas r de Pearson y el coeficiente Alfa
de Cronbach.
Ejemplo:

En una investigación cuasi-experimental se aplicó una prueba piloto en el post

test a 15 estudiantes con la finalidad de hallar la fiabilidad del instrumento. Las notas
obtenidas se muestran en la siguiente tabla, efectuar la confiabilidad del instrumento.
La validez de constructo mediante correlación dimensiones total con el
coeficiente correlación de Pearson en SPSS la secuencia a seguir es: analizar,

7
 Tabla. Tabla de correlaciones de validez de constructo

Lenguaje
Aprendizaje de Lenguaje algebraic Lenguaje Lenguaje
regresión lineal verbal o numérico gráfico
Aprendizaje de Correlación de 1 ,942** ,929** ,940** ,812**
regresión Pearson
lineal Sig. (bilateral) ,000 ,000 ,000 ,000
N 15 15 15 15 15
** ** **
Lenguaje Correlación de ,942 1 ,868 ,993 ,635*
verbal Pearson
Sig. (bilateral) ,000 ,000 ,000 ,011
N 15 15 15 15 15
** ** **
Lenguaje Correlación de ,929 ,868 1 ,881 ,697**
algebraico Pearson
Sig. (bilateral) ,000 ,000 ,000 ,004
N 15 15 15 15 15
** ** **
Lenguaje Correlación de ,940 ,993 ,881 1 ,599*
numérico Pearson
Sig. (bilateral) ,000 ,000 ,000 ,018
N 15 15 15 15 15
** * ** *
Lenguaje Correlación de ,812 ,635 ,697 ,599 1
gráfico Pearson
Sig. (bilateral) ,000 ,011 ,004 ,018
N 15 15 15 15 15
**. La correlación es significativa en el nivel 0,01 (bilateral).
*. La correlación es significativa en el nivel 0,05 (bilateral).

Se observa que la correlación entre la variable aprendizaje de regresión lineal

y sus dimensiones nivel de lenguaje verbal, nivel de lenguaje algebraico, nivel de
lenguaje numérico y nivel de lenguaje gráfico es superior a 0,80, indica que el
constructo del instrumento es alto.

2.2.3. Validez de criterio

Según Hernández, et al. (2014), la validez de criterio de un instrumento de
medición se establece al comparar sus resultados con los de algún criterio externo que
pretende medir lo mismo.
El principio de la validez de criterio es sencillo: si diferentes instrumentos o
criterios miden el mismo concepto o variable, deben arrojar resultados similares.
Bostwick y Kyte (2005) lo expresan de la siguiente forma:

8
  Si hay validez de criterio, las puntuaciones obtenidas por ciertos casos
en un instrumento deben estar correlacionadas y predecir las puntuaciones de
estos mismos casos logradas en otro criterio. La pregunta que se responde con
la validez de criterio es: ¿en qué grado el instrumento comparado con otros
criterios externos mide lo mismo?
 Si el criterio se fija en el presente de manera paralela, se habla de
validez concurrente (Kaplan y Saccuzzo, 2013) (los resultados del instrumento
se correlacionan con el criterio en el mismo momento o punto de tiempo)
 Si el criterio se fija en el futuro, se habla de validez predictiva (The SAGE
Glossary of the Social and Behavioral Sciences, 2009d).
Ejemplo:
Los resultados, en puntuaciones, obtenidos por los estudiantes en la prueba
sobre objetivos en la investigación científica, simbolizados por la variable “x”, y los
logrados en la redacción de objetivos de la investigación, considerados como variable
criterio por la variable “y”, pueden observarse en la siguiente tabla.

La validez de criterio con correlación producto momento de Pearson

empleando el software SPSS, es:

9
 La correlación de producto momento de Pearson resultó 0,93 indica que la
validez de criterio del instrumento es alta.

3. Confiabilidad
La confiabilidad tiene que ver con la exactitud y precisión del procedimiento
de medición. Los coeficientes de confiabilidad proporcionan una indicación de la
extensión, en que una medida es consistente y reproducible. La utilidad práctica está
relacionada con factores, tales como: economía, conveniencia e interpretación para
determinar si una prueba es práctica para usarla ampliamente.
La confiabilidad de un instrumento de medición se refiere al grado en que su
aplicación repetida al mismo individuo u objeto produce resultados iguales, Hernández,
et al (2014, p. 200).
A continuación, se muestran cuatro métodos para determinar la confiabilidad
del instrumento.

3.1. Medida de estabilidad (confiabilidad por test-retest).

En este procedimiento un mismo instrumento de medición se aplica dos o más
veces a un mismo grupo de personas, después de cierto periodo. El procedimiento
estadístico se hace a través de una correlación. Si la correlación entre los resultados de
las diferentes aplicaciones es altamente positiva, el instrumento se considera
confiable. Para la correlación se emplea la correlación por el método de los puntajes
directos (correlación r de Pearson).
Según Rodríguez, 2006a y Krauss y Chen, 2003) citado por Hernández, et al
(2014, p. 294).
En este procedimiento un mismo instrumento de medición se aplica dos o más
veces a un mismo grupo de personas o casos, después de cierto periodo. Si la
correlación entre los resultados de las diferentes aplicaciones es muy positiva, el
instrumento se considera confiable.

10
 n ( ∑ XY ) −( ∑ X )( ∑ Y )
r xy =
2 2
√[ n ∑ X −(∑ X ) ][ n∑ Y −(∑ Y ) ]
2 2

Donde:

r xy : Coeficiente de correlación de Pearson

n: Número de sujetos
X: valores de X (primera aplicación)
Y: valores de Y (segunda aplicación)
XY: producto de cada valor X por su valor correspondiente en
Y.

Ejemplo:
Un grupo de 16 alumnos fue sometido en dos ocasiones a una misma prueba
de resistencia física. Los minutos que cada alumno logró durar en la ejecución de lo
ejercicio solicitados se señalan en la tabla. Determinar la confiabilidad de la
estabilidad.

La confiabilidad test retest del instrumento empleando el coeficiente de

correlación de Pearson se puede efectuar manualmente o usando el software SPSS,
cuya ruta es: Analiza> Correlacionar> Bivariadas> correlación de Pearson.

11
 El coeficiente de correlación de Pearson resultó 0,75; indica que la
confiabilidad del instrumento es alta, por lo tanto, es aplicable a la muestra de
investigación.

3.2. Método de formas alternativas o paralelas.

Se administra dos (o más) instrumentos equivalentes, similares en contenidos,
instrucciones, duración y otras características, administradas a un mismo grupo de
personas simultáneamente o dentro de un período relativamente corto. El instrumento
es confiable si la relación entre los resultados de ambas administraciones es positiva
de manera significativa. En este caso también se aplica el coeficiente de correlación de
Pearson.
En este esquema no se administra el mismo instrumento de medición, sino
dos o más versiones equivalentes de éste. Las versiones (casi siempre dos) son
similares en contenido, instrucciones, duración y otras características, y se administran
a un mismo grupo de personas simultáneamente o dentro de un periodo corto. El
instrumento es confiable si la correlación entre los resultados de ambas
administraciones es positiva de manera significativa (Rodríguez, 2006b). Citado por
Hernández, et al (2014, p. 294).

n ( ∑ XY ) −( ∑ X )( ∑ Y )
r xy =
2 2
√[ n ∑ X −(∑ X ) ][ n∑ Y −(∑ Y ) ]
2 2

Ejemplo
Se administró dos pruebas similares en contenido sobre conocimiento de
Metodología de Investigación a un grupo de estudiantes, para probar la confiabilidad
del instrumento.

12
 En este caso se hará la confiabilidad con el método de paralelas, siempre
usando SPSS.

La confiabilidad del instrumento mediante el método de las paralelas resultó

0,97; en este caso estamos considerando fiabilidad de escala sin sesgo. Por lo tanto, el
instruemnto tiene alta confiabilidad.

3.3. Método de mitades partidas (Split-halves).

El método de mitades partidas necesita sólo una aplicación de la medición.
Específicamente el conjunto total de ítems o reactivos se divide en dos mitades
equivalentes y se comparan las puntuaciones o los resultados de ambas. Si el
instrumento es confiable, las puntuaciones de las mitades deben estar correlacionadas.
En este caso se pueden utilizar:

a) Coeficiente de Pearson:
n ( ∑ XY ) −( ∑ X )( ∑ Y )
r xy =
2 2
√[ ][
n ∑ X 2 − ( ∑ X ) n ∑ Y 2− ( ∑ Y ) ]

b) Coeficiente de Spearman- Brown:

2 ∙r EM
r dm =
1+r EM

c) Correlación entre mitades (r EM ):

13
 r EM =
∑ (Zi ∙ Z p)
n

d) Determinación de Z:

X− X́
Z=
σ

2
Donde X = cada una de las puntuaciones

X́ = promedio de puntuaciones
σ=
√ ∑ X2 − ∑ X
N ( )
N

σ = desviación estándar

e) Coeficiente de Rulón

S 2d
r tt =1−
S2t
Donde:
r tt : Coeficiente de confiabilidad
S2d : Varianza de la diferencia entre las puntuaciones de las mitades
S2t : Varianza de las puntuaciones del test total

f) Coeficiente de Guttman
S 2a +S 2b
[
r tt =2 1−
S2t ]
Donde:
r tt : Coeficiente de confiabilidad
S2a : Varianza de las puntuaciones de los ítems pares
S2b : Varianza de las puntuaciones de los ítems impares
S2t : Varianza de las puntuaciones del test total
Ejemplo: la base de datos en la tabla adjunta, corresponde a los resultados del
posprueba de 50 ítems; el código 0 indica respuesta incorrecta y el código 1 indica
respuesta correcta, efectuamos la prueba de confiabilidad con la prueba de dos
mitades.

14
 Estadísticos de fiabilidad Resultados
Alfa de Cronbach Parte 1 Valor ,902
N de elementos 25a
Parte 2 Valor ,902
N de elementos 25b
N total de elementos 50
Correlación entre formularios ,887
Coeficiente de Longitud igual ,940
Spearman-Brown Longitud desigual ,940
Coeficiente de dos mitades de Guttman ,939
a. Los elementos son: I1, I2, I3, I4, I5, I6, I7, I8, I9, I10, I11, I12, I13, I14, I15, I16,

I17, I18, I19, I20, I21, I22, I23, I24, I25.

b. Los elementos son: I26, I27, I28, I29, I30, I31, I32, I33, I34, I35, I36, I37, I38, I39,

I40, I41, I42, I43, I44, I45, I46, I47, I48, I49, I50.

3.4. Medidas de coherencia o consistencia interna.

Miden la homogeneidad de los ítems. Requiere una sola administración del
instrumento de medición. No necesita dividir los ítems del instrumento. Se aplica la

15
medición y se calcula el coeficiente de confiabilidad, Hernández et al. (2014). Para
obtener el coeficiente se emplea:

3.4.1. Alfa de Cronbach

Se usa cuando los ítems tienen alternativas policotómicas como las escalas
Likert; la cual puede tomar valores entre 0 y 1, donde 0 significa confiablidad nula y 1
representa confiabilidad total, el coeficiente α de Cronbach se puede calcular con la
siguiente fórmula:

2
K ∑ Si
α=
K−1
1−
(St 2 )
Si2 = varianza de las puntuaciones en cada ítem por todos los examinados.
St2 = varianza total de las puntuaciones de filas de todos los examinados.
K = número de ítems
ŽŵŽĐƌŝƚĞƌŝŽŐĞŶĞƌĂů͕' ĞŽƌŐĞLJD ĂůůĞƌLJ;ϮϬϬϯ ͕ Ɖ ͘Ϯϯ ϭ ͿƐƵŐŝĞƌĞŶůĂƐ
ƌĞĐŽŵĞŶĚĂĐŝŽŶĞƐƐŝŐƵŝĞŶƚĞƐƉĂƌĂĞǀ ĂůƵĂƌůŽƐĐŽĞĨŝĐŝĞŶƚĞƐĚĞĂůĨĂĚĞ
ƌŽŶďĂĐŚ ͗

Ͳ
ŽĞĨŝĐŝĞŶƚĞĂůĨĂх͘ ϵĞƐĞdž
ĐĞůĞŶƚĞ

Ͳ
ŽĞĨŝĐŝĞŶƚĞĂůĨĂх͘ ϴĞƐďƵĞŶŽ

Ͳ
ŽĞĨŝĐŝĞŶƚĞĂůĨĂх͘ ϳ ĞƐĂĐĞƉƚĂďůĞ

Ͳ
ŽĞĨŝĐŝĞŶƚĞĂůĨĂх͘ ϲĞƐĐƵĞƐƚŝŽŶĂďůĞ

Ͳ
ŽĞĨŝĐŝĞŶƚĞĂůĨĂх͘ ϱĞƐƉŽďƌĞ

Ͳ
ŽĞĨŝĐŝĞŶƚĞĂůĨĂф͘ ϱĞƐŝŶĂĐĞƉƚĂďůĞ

El método de consistencia interna basado en el alfa de Cronbach permite

estimar la fiabilidad de un instrumento de medida a través de un conjunto de ítems
que se espera que midan el mismo constructo o dimensión teórica.
La medida de la fiabilidad mediante el alfa de Cronbach asume que los ítems
(medidos en escala tipo Likert) miden un mismo constructo y que están altamente
correlacionados (Welch & Comer, 1988). Cuanto más cerca se encuentre el valor del
alfa a 1 mayor es la consistencia interna de los ítems analizados. La fiabilidad de la
escala debe obtenerse siempre con los datos de cada muestra para garantizar la
medida fiable del constructo en la muestra concreta de investigación.
El coeficiente Alfa de Cronbach se puede aplicar en instrumentos que tienen
más de dos opciones, pueden ser en cuestionarios, lista de cotejo u otro instrumento
que el investigador elabore.
Ejemplo:

16
 La tabla muestra la confiabilidad de un instrumento compuesto por 20 ítems
con escala de Likert, administrados a 12 sujetos que tienen la misma característica que
la muestra:

El coeficiente Alfa de Cronbach resultó 0,88 indica que el instrumento tiene

alta confiabilidad. Por lo tanto, el instrumento se puede aplicar a la muestra.

Resumen de procesamiento de
casos
N %
Casos Válido 12 100,0
a
Excluido 0 ,0
Total 12 100,0
a. La eliminación por lista se basa en todas las
variables del procedimiento.

Estadísticas de fiabilidad
Alfa de Cronbach N de elementos
,882 20

3.4.2. KR20 de Kuder y Richardson

Se usa cuando los ítems tienen alternativas dicotómicas; la cual puede tomar
valores entre 0 y 1, donde 0 significa confiablidad nula y 1 representa confiabilidad
total, el coeficiente KR20 de Kuder y Richardson se puede calcular con la siguiente
fórmula:

17
 K
∗S 2t −∑ pq
K −1
KR 20=
S2t
Donde:
K: número de ítems
St2 = varianza total de las puntuaciones obtenidas por todos los examinados.
P = proporción de examinados que responde adecuadamente a cada ítem.
N ° persona que respondieron elítem correcto
p=
N ° de personas examinadas
q = proporción de examinados que responde en forma incorrecta u omiten
cada ítem. Como: p + q = 1 entonces q = 1 – p
∑ pq = suma total de los productos resultantes de multiplicar p por q, para
cada ítem.
El método Kuder-Richardson, Se trata de la misma fórmula que el Alfa de
Cronbach solo que esta última es expresada para ítems continuos y Kuder- Richardson
para ítems dicotómicos.
Coeficiente KR-20 de Kuder – Richardson. “Desarrollaron un coeficiente para
estimar la confiabilidad de una medición, su interpretación es la misma que la del
coeficiente alfa” (Hernández, et al., 2003b). “Permite calcular la confiabilidad con una
sola aplicación del instrumento, no requiere el diseño de pruebas paralelas, y es
aplicable sólo en instrumentos con ítems dicotómicos, que pueden ser codificados con
1 – 0 (correcto – incorrecto, presente – ausente, a favor – en contra, etc.)” (Silva,
2009d).
Los instrumentos donde se puede aplicar el KR20, pueden ser en pruebas, test
de conocimientos, lista de cotejo y otros instrumentos que el investigador elabore,
dependiendo del diseño y muestra de su investigación.
Ejemplo:
La tabla muestra la confiabilidad de un instrumento compuesto por 20 ítems
con escala de Guttman, administrados a 20 sujetos que tienen la misma característica
que la muestra. La base de datos corresponde a una prueba de conocimientos.

18
 El coeficiente KR20 de Kuder-Richardson resultó 0,86 indica que el
instrumento tiene alta confiabilidad. Por lo tanto, el instrumento se puede aplicar a la
muestra.

19
4. REFERENCIAS
Alvarado, E., Canales, F. y Fineda, E. (1994). Metodología de la Investigación (2ª ed.).
Washington D. C: Organización Panamericana de la Salud
Bostwick, G.J. y Kyte, N.S. (2005). Measurement. En Grinell, R.M. y Unrau, Y.A. (Eds.).
Social work: Research and evaluation. Quantitative and qualitative
approaches(7ª ed., pp.97-111). Nueva York: Oxford University Press
Carmines, N. y Zeller, R. (1979) Reliability and validity assessment. Londres: Sage.
Cronbach, L. (1951) “Coefficient alpha and the internal structure of
test”.Psychometrika, 16, 3, 297-334.
De Arquer, M. I. (2011). NTP 401: Fiabilidad humana: métodos de cuantificación, juicio
de expertos. Centro nacional de condiciones de trabajo, España.
Hernández, S., Fernández, C., & Baptista, L. (2014). Metodología de la Investigación.
6ta edición (5ta ed.). México: McGraw-Hill/Interamericana.
Kaplan, R. M., & Saccuzzo, D. P. (2013). Psychological Testing: Principles, Applications,
and Issues. MINDTAP.
Palella, S. y Martins, F. (2003). Metodología de la Investigación cuantitativa. Caracas:
Fedupel.
Sherman, R. R., & Webb, R. B. (1988). Qualitative research in education: A focus.
Qualitative research in education: Focus and methods, 2-21.

20