METODOLOGA CUANTITATIVA II

2 SEMESTRE 2012
Mdulo 3
Evaluacin calidad del instrumento:
confiabilidad y validez

Sebastin Ibarra Gonzlez

I. Introduccin

Cuando realizamos la medicin de conceptos

complejos a travs de un instrumento
estructurado inevitablemente surge la siguiente
pregunta: cun confiable y vlido es nuestro
instrumento de medicin (ndice o escala)?

I. Introduccin

Confiabilidad: grado en que la aplicacin repetida de un

instrumento en los mismos sujetos u objetos produce los
mismos resultados, es decir, que los resultados sean estables
en el tiempo.
Ejemplo: que los resultados obtenidos en la medicin de inteligencia sean
similares si aplico el instrumento hoy y lo vuelvo a aplicar en un mes ms.

Validez: grado en que el instrumento mide las variables que

pretende medir.
Ejemplo: que un instrumento diseado para medir inteligencia mida
realmente esa variable y no otra (por ejemplo capacidad de memoria).

I. Introduccin

La preocupacin por la confiabilidad y validez de un instrumento de medicin

surge a partir de la identificacin de las limitaciones y problemas implicados en
todo proceso de medicin (y ms an en las ciencias sociales).

Se debe asumir que nunca alcanzaremos un grado total de confiabilidad y

validez.

Lo ms relevante es tener conciencia de cules son los errores ms comunes

en el proceso de medicin:

Errores de medicin

- Problemas del diseo del instrumento.

- Influencia del entrevistador.
- Actitud negativa del entrevistado.
- Condiciones de aplicacin (distractores)

Errores de no observacin

- Problemas de representatividad de la muestra.

- Errores de no muestreo.
- Errores de no respuesta.

Errores de procesamiento de
datos

- Errores de digitacin.
- Errores de codificacin.

II. La confiabilidad de un instrumento

De acuerdo a Asn (2006) existen dos problemas especficos que disminuyen la
confiabilidad de un instrumento, es decir, su capacidad para obtener siempre
el mismo resultado al aplicarse a un sujeto que no ha cambiado en la propiedad
que deseamos medir:
1. Impacto de variables externas y coyunturales sobre las respuestas de
los sujetos: experiencias recientes, estado de animo, etc. Hay preguntas que
se ven ms afectadas por este problema:
Preguntas que miden fenmenos afectivos o emocionales.
Preguntas que tienen poco especificadas las alternativas de respuesta.
2. La influencia del azar en la seleccin de las respuestas. Si el sujeto no
encuentra una respuesta que se ajuste adecuadamente a su opinin,
recuerdo o percepcin intentar encontrar otra respuesta cercana a su opcin
ideal. Se trata de una seleccin aleatoria entre opciones equidistantes a su
opinin verdadera. Hay que preguntas que se ven ms afectadas por este
problema:
Preguntas sobre temas que resulten poco pertinentes a los sujetos.

II. La confiabilidad de un instrumento

La confiabilidad se puede interpretar de 3 modos distintos, existiendo para cada uno
de ellos procedimientos de chequeo especficos.

ESTABILIDAD

Confiabilidad

CONSISTENCIA
INTERNA

EQUIVALENCIA

III. La confiabilidad de un instrumento

1. Estabilidad (confiabilidad test - retest): el instrumento presenta en
forma consistente los mismos resultados en dos o ms ocasiones
sucesivas.
El instrumento se debe aplicar dos o ms veces en una misma muestra
despus de un periodo de tiempo.
Si la correlacin entre los resultados es positiva el instrumento se considera
confiable.
Se debe tener en consideracin el factor tiempo.
Desventaja: doble aplicacin y el factor memorizacin del instrumento.

III. La confiabilidad de un instrumento

2. Equivalencia (formas alternativas o paralelas): se evala la
equivalencia de dos versiones de un mismo instrumento que se ha
comprobado que miden lo mismo.
La aplicacin de las versiones del instrumento se debe realizar con una
distancia temporal.
Las versiones del instrumento deben ser similares en contenido, instrucciones,
duracin, dificultad, etc.

El instrumento ser confiable si los resultados de ambos instrumentos estn

correlacionados.
Ventaja: no existe problemas de memorizacin del instrumento.
Desventaja: costos adicionales relacionados con la elaboracin de dos o ms
versiones del instrumento.

III. La confiabilidad de un instrumento

3. Consistencia Interna: para evaluar este tipo de confiabilidad slo se
requiere una aplicacin del instrumento. Existen dos
procedimientos para evaluar este tipo de confiabilidad:
3.1. Mtodo de mitades partidas: el conjunto de tems se divide en dos mitades
y los resultados de ambas se comparan. Si estn correlacionados se puede
afirmar que el instrumento presenta consistencia interna.
Supuesto: un sujeto con baja puntuacin en una mitad, tender a tener tambin
una baja puntuacin en la otra mitad.
Ventaja: se requiere una sola aplicacin del instrumento.
Desventaja: costos asociados a la generacin de un instrumento ms extenso y
cansancio del encuestado debido a la extensin del cuestionario.

1 Mitad: 2-5-7-8

Resultado

Instrumento (tems):

Correlacin

1-2-3-4-5-6-7-8

21 Mitad: 1-3-4-6

Resultado

III. La confiabilidad de un instrumento

3.2. Universo de tems: anlisis de la interrelacin entre el conjunto de tems
del instrumento.
Se aplica cuando hay homogeneidad entre los tems de un instrumento: cuando
miden un mismo constructo.
Cuando todos los tems miden un solo concepto se espera una alta consistencia
interna.
Cuando un instrumento mide mltiples dimensiones de un concepto complejo, se
espera que un conjunto de tems relacionadas a una dimensin estn ms
relacionadas entre s que con el resto del instrumento.
Para evaluar este tipo de confiabilidad se utilizan dos coeficientes estadsticos:
- Coeficiente Alfa de Cronbach.
- Coeficiente Kunder Richarson (se utiliza para ndices dicotmicos).
- Ambos coeficientes van de 0 (nula consistencia interna) a 1 (mxima
consistencia interna).

IV. Evaluacin de la confiabilidad en SPSS

1. Encuesta de Opinin Pblica de la Universidad Diego Portales (2009).
2. Conjunto de preguntas en las que se centra el anlisis: preguntas 72 (1-15) y
preguntas 92 (1-10).
3. Anlisis descriptivo de preguntas 72 (1-15): ndice de consumo responsable.

4. Anlisis descriptivo de preguntas 92 (1-10): ndice de satisfaccin con la vida.

5. Construccin de ndices sumatorios.
6. Anlisis de confiabilidad de ndices (Coeficiente alfa de Cronbach).

IV. Evaluacin de la confiabilidad en SPSS

Elementos a considerar en la interpretacin del coeficiente Alfa de Cronbach:
El puntaje del coeficiente va de 0 (nula consistencia interna) a 1 (mxima
consistencia interna). Criterios de interpretacin de los puntajes:
PUNTAJE

INTERPRETACIN

0.9 o ms

Excelente

0.8 8.9

Bueno

0.7 0.79

Aceptable

0.6 0.69

Bajo

0.5 0.59

Muy bajo

Menos de 0.5

Inaceptable

IV. Evaluacin de la confiabilidad en SPSS

Salida de resultados en SPSS:
Anlisis descriptivos.
Estadstico de confiabilidad.
Matriz de correlaciones.
Estadstico total elemento: alfa de Cronbach si se elimina el
elemento.

Cmo se puede mejorar la confiabilidad ?

Eliminar tems que se correlacionan poco con la escala.
Eliminar tems con poca variabilidad.
Aumentar nmero de tems que se relacionan con la escala.

V. La validez de un instrumento
La validez hace referencia a si el instrumento (test) efectivamente mide el
concepto que dice medir y no otros conceptos.
La validez es siempre parcial, ya que siempre estaremos midiendo
parcialmente otros conceptos distintos a los buscados.

De acuerdo a Asn (2006) existen un conjuntos de limitaciones de la medicin

que pueden afectar la validez de un instrumento de medicin cuantitativa:
1. El autoreporte.
2. Influencia de las caractersticas particulares de cada pregunta.
3. Adaptacin de los sujetos a las respuestas.
4. Cristalizacin.
5. Adopcin de roles por parte del encuestado.
6. Ambigedad en la interpretacin de los puntajes.
7. Omisin de preguntas.
8. Incomprensin de preguntas.

V. La validez de un instrumento
La validez se puede interpretar de 3 modos distintos, existiendo para cada uno de
ellos procedimientos de chequeo especficos.

CONTENIDO

VALIDEZ
CONSTRUCTO

CRITERIO

V. La validez de un instrumento
1. Validez de contenido: grado en que el instrumento refleja un
dominio especfico del contenido de la variable que se mide. La
medicin debe representar el concepto medido en todas sus
dimensiones.
Ejemplo:
Concepto: Capital social
1. Nivel de informacin

2. Participacin
3. Redes de ayuda
4. Confianza
5. Accin colectiva
6. Cooperacin

Instrumento para
medir Capital social
1.Redes de ayuda

2.Confianza
3.Accin colectiva
4.Cooperacin

7. Empoderamiento
8. Liderazgo

9. Accin poltica

Se trata de un instrumento que

no tiene validez de contenido

V. La validez de un instrumento

Procedimiento para determinar la validez de contenido: anlisis de

jueces y anlisis de tems y preguntas.

Definicin conceptual
y de dimensiones

Anlisis de jueces

Diseo del instrumento

Anlisis de jueces

- Distribucin de respuestas.

Construccin definitiva
del instrumento

- Asociacin o correlacin entre tems.

- Relacin entre tems y puntaje global.

- Anlisis de dimensiones (anlisis

factorial)

V. La validez de un instrumento
2. Validez de criterio: se establece comparando los resultados del
instrumento (test) con un criterio externo. Mientras mayor sea la
asociacin o correlacin entre los resultados del instrumento
(test) y el criterio establecido, mayor ser la validez de criterio.

Un criterio es una variable distinta del test que se toma como referencia,
que se sabe que es un indicador de aquello que el test pretende medir o
que se sabe que debe presentar una relacin determinada con lo que el
test pretende medir.

V. La validez de un instrumento
2.1. Validez concurrente: los resultados del instrumento se correlacionan
con el criterio establecido en el mismo punto del tiempo. Ejemplo:
- Instrumento: Intencin de voto / Criterio: Resultado de las elecciones.
- Criterio: Promedio de notas en el colegio / Instrumento: PSU

2.2. Validez de predictiva: los resultados del instrumento se correlacionan

con un criterio medido en el futuro. Ejemplo:
- Instrumento: Prueba de capacidad administrativa / Criterio:
Desempeo de los ejecutivos.
**Es el caso de todas las pruebas de seleccin y clasificacin de
personal.

V. La validez de un instrumento
3. Validez de constructo: grado en que una medicin se relaciona
consistentemente con otras mediciones de acuerdo con hiptesis
sustentadas tericamente.
Un constructo es una variable medida y que se enmarca dentro de
una teora o esquema terico.
Ejemplo:

Instrumento que
mide MOTIVACIN
LABORAL

Revisin de antecedentes y
marco terico: relacin
positiva entre motivacin
laboral y persistencia en
el desarrollo de una tarea

Se miden ambas variables

y se correlacionan. Si la
correlacin es positiva
se aporta evidencia para
la validez de constructo
del instrumento

V. La validez de un instrumento

Procedimiento para determinar la validez de constructo:

1. Establecer y especificar la relacin terica entre los conceptos.

2. Correlacionar las mediciones de ambos conceptos.

3. Interpretacin de la evidencia emprica: aporta o no a la validez de
constructo del instrumento, para finalmente poder afirmar que el
instrumento realmente mide lo que se propone medir.

VI. Aplicacin del Anlisis Factorial para

evaluar la validez de un instrumento

El Anlisis Factorial es una tcnica de reduccin de datos que sirve para

encontrar grupos homogneos de variables a partir de un conjunto numeroso
de variables.

Los grupos de variables homogneas se forman a partir de las variables que

se correlacionan entre s (interdependencia de variables). De esta manera se
descubren las diferentes dimensiones de variabilidad comn existente en un
cierto campo de fenmenos.

Su objetivo final es buscar el menor nmero de dimensiones (factores,

componentes o variables latentes) capaces de explicar el mximo de
informacin contenida en los datos.

VI. Aplicacin del Anlisis Factorial para

evaluar la validez de un instrumento
Usos del Anlisis Factorial:

Explorar cmo se interrelacionan un grupo de variables entre s.

Determinar qu factores o dimensiones latentes hay detrs de un conjunto de

variables (anlisis factorial exploratorio).

Evaluar validez de contenido (anlisis factorial confirmatorio). Para estudiar

un concepto determinado se han observado una serie de indicadores, el
anlisis factorial permite ver si el comportamiento de estos indicadores
responde a una dimensin comn (concepto que queremos medir).

Referencia bibliogrfica
- Asn, R. (2006). Construccin de cuestionarios y escalas: el proceso de la
produccin de informacin cuantitativa. En Canales, M. (ed). Metodologas de
Investigacin Social. Introduccin a los oficios. Santiago de Chile: LOM. (Extracto:
La validez y fiabilidad de la investigacin con cuestionarios).
- Hernndez, R., Fernndez, C. y Baptista, P. (1991). Metodologa de la
Investigacin. Mxico: McGraw-Hill. Captulo 9: Recoleccin de datos (pp. 241251).