P. 1
02 Análisis de Confiabilidad y Validez.20080722

02 Análisis de Confiabilidad y Validez.20080722

|Views: 76|Likes:
Publicado pordacarras

More info:

Published by: dacarras on Mar 30, 2011
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as PDF, TXT or read online from Scribd
See more
See less

11/21/2012

pdf

text

original

APUNTES: 01 análisis de confiabilidad y validez

Análisis de Confiabilidad y Validez
Resumen Se describe parte de la historia de la generación de las medidas de confiabilidad, y de los analisis factoriales. Se describe los procedimientos de analisis de los mismos para el paquete estadístico SPSS mediante el uso de Syntax, y se indican los criterios básicos de uso de ambos analisis con ejemplos. En particular, se utiliza el indicador de grado de identidad grupal religioso, utilizando los resultados del estudio “DIPUC: Jovenes, Cultura y Religion, 2007”, y la variable conservadurismo del mismo estudio. Finalmente, se resumen los diferentes criterios de retención y rechazo de items, bajo el marco de construcción de instrumentos para variables latentes de la teoría clásica de la medición.

1. Confiabilidad de las medidas En términos generales, la confiabilidad de las medidas producidas por instrumento consiste en que estas sean similares entre sí en diferentes momentos, de modo que cualquier variación observada en las medidas sea producto por un cambio en el atributo medido; y no por un factor diferente a este. La idea general de la confiabilidad de los instrumentos, en teoría clásica de la medición es considerar el “transient error”, que consiste en las variaciones de los resultados observados sobre un constructo, cuando se replica la medida en el tiempo, sobre un mismo sujeto (Schmidt, Le & Ilies, 2003). Existen, diferentes medidas de confiabilidad que se producen como coeficientes de correlacion, como por ejemplo: Coeficiente de estabilidad: Correlación entre dos medidas separadas en el tiempo Coeficiente de equivalencia: Correlación entre dos pruebas, aplicadas sobre el mismo grupo, que están basadas en el mismo contenido. Las estrategias anteriores de evaluación de confiabilidad, están basadas en poder administrar el instrumento dos veces; o tener dos formas “equivalentes” del instrumento y aplicarlas una sola vez. La pregunta entonces, es como calcular un indicador de confiabilidad, para medidas que se producen en una sola aplicación. ¿Cómo se obtiene un indicador de confiabilidad para una sola aplicación? Una de las formas de obtención de este indicador, consiste en el procedimiento del “splits half reliability”, o confiabilidad de las dos mitades. Se compara la correlación del conjunto de ítems de una prueba, por ejemplo, considerando los pares versus los impares.

dacarras@gmail.cl 20080721

APUNTES: 01 análisis de confiabilidad y validez El otro indicador de confiabilidad interna es el coeficiente Alpha; que fue diseñado por Cronbach, y resulta ser un indicador que es similar al promedio de todas las “splits halfs” para una prueba1. Cronbach (1951), introduce este método, debido a que el anterior posee una debilidad; los indicadores de splits half, no son independientes de las mitades elegidas; de hecho, dependiendo de cómo sea la selección de ambas mitades hay variabilidad entre los coeficientes producidos. Una manera más general de visualizar este aspecto, es que si uno tomara dos mitadas de items de una prueba, y los items “mas difíciles” quedasen acumulados en una de las mitades y no distribuidos en forma pareja; entonces, esto afectaría al coeficiente; debido a la composición de las mitades formadas (Cronbach, 1943).

Veamos como opera con un ejemplo.
Tomaremos primero como ejemplo, uno de las escalas más fiables que se encuentran en el instrumento DIPUC 2007, la escala de identidad religiosa. Considerando que el indicador alpha de consistencia interna, esta basado en la comparación de mitades, mediante el uso de correlación; existe una relación entre la matriz de correlaciones para los ítems, y los indicadores de confiabilidad. Si 3 ítems, estuvieran evaluando lo mismo, o al menos no pueden diferenciarse de evaluar un mismo atributo, esta condición podrá observarse mediante las correlaciones que presentan estos ítems. Tabla 1: Matriz de correlaciones de los ítems, escala identidad Religiosa DIPUC 2007
a Correlati ons

Idenrel1 ¿Cuánto te identif icas con esa religión? Idenrel1 ¿Cuánto te identif icas con esa religión? Idenrel2 ¿Cuán comprometido te sientes con esa religión? Pearson Correlation Sig. (2-tailed) Pearson Correlation Sig. (2-tailed) ,782** ,000 ,780** ,000 1

Idenrel2 ¿Cuán comprometi do te sientes con esa religión? ,782** ,000 1

Idenrel3 ¿Cuán importante es para ti esa religión? ,780** ,000 ,795** ,000

Idenrel3 ¿Cuán Pearson Correlation importante es para t i esa Sig. (2-tailed) religión? **. Correlation is signif icant at the 0.01 lev el (2-tailed). a. Listwise N=1340

,795** ,000

1

Los resultados observados por el análisis de confiabilidad realizado son los siguientes:

1

Nótese, que estos métodos de comparación son para instrumentos, que producen más de 2 valores (escalas de 3 o más niveles). Para el caso de ítems de respuestas dicotómicas (V ó F, si ó no, éxito o fracaso), se utilizan los coeficientes de Kuder Richardson, abreviados como KR 20 o KR21 según la variación de la formula (Manzi & San Martin, 2007).

dacarras@gmail.cl 20080721

5 0.5 0. Reliabi lity Statistics Cronbach's Alpha Based on St andardized Items .2 0.7 0.1 0. es que ésta es una escala que presenta alta consistencia interna.3 0.8 100.95 Muy alto.3 0.2 0.7 0. lo que nos señalan estos resultados. es decir que si estos tres ítems se encontraran midiendo lo mismo. posible indicador de redundancia entre los items 1 1 dacarras@gmail.APUNTES: 01 análisis de confiabilidad y validez Case Processing Summary Cases Valid Excludeda Total N 1340 850 2190 % 61.9 MEDIO GRANDE Criterios de Aceptacion de confiabilidad No aceptable No aceptable No aceptable No aceptable No aceptable No aceptable Exploratorio Bueno y Aceptable Bueno Excelente IDEAL (muy difícil de obtener) Criterios de Aceptacion según Wikiversity OK Bueno Muy bueno Excelente <0.1 0. Listwise deletion based on all v ariables in the procedure.2 38.4 0.8 0.6 0. los tamaños de alpha se leen igual que los coeficientes de correlación: rpearson PEQUEÑO 0 0.0 a.cl 20080721 .4 0.9 Cronbach’s Alpha 0 0.916 N of Items 3 En términos generales.917 Cronbach's Alpha . Por convención. lo están haciendo de manera muy similar.8 0.6 0.

cl 20080721 .APUNTES: 01 análisis de confiabilidad y validez Los resultados obtenidos. era que en la época de los test de inteligencia. de forma directa. existían – y existen – diferentes instrumentos que reclaman medir atributos similares. y cuales son las correlaciones ítem-total de los ítems.835 0. El problema al cual se enfrentaba Spearman. 2.916 0. no obstante he cruzado un par de ideas como esta con algunos profesores.883 0. De esta forma. la cual no ha sido evaluada con un ningún reactivo de forma particular.876 0. el numero de ítems que la componen. dacarras@gmail. prefiero que desestimen la calidad de esta información hasta que no se encuentre debidamente documentada. y solo la piensen en términos didácticos – por ahora. Spearman. una línea).824 0. lo que permite evaluar es si un conjunto de medidas observadas. de la Teoría Clásica de la Medición. para esta selección de los mismos. Análisis Factorial y dimensionalidad El análisis factorial.876 0. pueden ser documentados de la siguiente manera: Item-Total Statistics Corrected Item-Total Correlation Cronbach's Alpha if Item Deleted Reliability Statistics Cronbach's Alpha Based on Standardized Items varname items ¿Cuánto te identificas con Idenrel1 esa religión? ¿Cuán comprometido te Idenrel2 sientes con esa religión? ¿Cuán importante es para ti Idenrel3 esa religión? Cronbach's Alpha N of Items 0. o más de un vector.917 3 Esto nos permite observar la confiabilidad interna de la escala (α=0. y ninguno me ha refutado estas ideas. 3. de la cual se producen todos estos procedimientos. llamada variable latente. si se observa la matriz de correlaciones de un conjunto de medidas.834 0. entonces podría ser posible modelar todas estas correlaciones y condensarlas en un vector (i.916). y todas estas miden lo mismo. que alpha se obtendría si se eliminara el ítem. Esto se diagrama usualmente de la siguiente manera: 2 Lamentablemente esta historia que he creado aun no la puedo documentar debidamente con referencias. No basta solo con medidas que posean consistencia interna2 Ahora. o el mismo atributo.e. puede ser “explicada” por una variable no observable. propuso el análisis factorial para evaluar dimensionalidad de medidas. No obstante.

5 2.5 4. y otra lo que se quiere explicar (la matriz de correlaciones de diferentes medias. pueden ser modelados a su vez. es decir. es que el analisis factorial se produce por los datos observados. es si un conjunto de medidas observadas convergen o no en este vector. dacarras@gmail. En términos meta teóricos la distinción. mi impresión con usuario. es reducir medidas observadas en medidas que se encuentren altamente relacionadas. mediante la medida de diferentes reactivos. que en conjunto. 2001). que tienen esta cantidad de participantes por grupo: Between-Subjects Factors Reli6b Solo católicos 1. El análisis factorial. como un modelamiento de datos. es decir por una interpretación heurística de los resultados.0 5. Veamoslo con un ejemplo. es un procedimiento de modelamiento de datos3.0 1.00 3.5 3. es decir un constructo como es el de nivel de identidad grupal.cl 20080721 .0 6. No obstante. la creación de esta misma escala esta dirigida a evaluar una variable latente particular.5 6.00 Value Label catolico practicante catolico observ ante catolico nominal N 583 414 116 Como puede observarse. no adhiero a la idea de que “la variable latente” produce la matriz de correlaciones. En otras palabras.5 1.00 2. una cosa es lo que se ocupa para explicar (la variable latente como explanans).0 catolico practicante catolico observante catolico nominal ¿Cuánto te identificas con esa religión? ¿Cuán comprometido te sientes con esa religión? ¿Cuán importante es para ti esa religión? Esto resultados son las medias observadas para los tres grupos de católicos. pudiera ser matemáticamente poco correcta.f). que permitan finalmente hacer más interpretable los resultados (wikiversity). que nos entrega como producto. por esta variable latente. 3 La descripción del analisis factorial.0 2. se puede utilizar a la variable latente para explicar esos resultados. los resultados descriptivos de estas tres preguntas. explanans y explanandum (Cornejo.5 5.APUNTES: 01 análisis de confiabilidad y validez Cada uno de los factores se produce. y no por una interpretación absoluta (Darlington. para estas preguntas. El propósito general del análisis factorial. y por otro lado. s. cruzados por identidad religiosa son los siguientes: 7.0 3. el factor que indica a la variable latente de interés.0 4. como el explanandum). sino que dada una matriz de correlaciones. no hay muchas diferencias sustantivas entre los 3 items.

utilizando el tipo de extracción “principal axis factoring” y el método de rotación “varimax”.571 .146 6.5).854 100.688 7.APUNTES: 01 análisis de confiabilidad y validez Para el caso de nuestra escala de identidad al realizar un análisis factorial.000 Extraction Sums of Squared Loadings Total % of Variance Cumulativ e % 2.792 Extraction Method: Principal Axis Factoring.cl 20080721 .768 . El syntax de este analisis es el siguiente: syntax FACTOR /VARIABLES idenrel1 idenrel2 idenrel3 /MISSING LISTWISE /ANALYSIS idenrel1 idenrel2 idenrel3 /PRINT INITIAL EXTRACTION ROTATION /PLOT EIGEN ROTATION /CRITERIA MINEIGEN(1) ITERATE(25) /EXTRACTION PAF /CRITERIA ITERATE(25) /ROTATION VARIMAX /METHOD=CORRELATION .525 78.796 .525 Factor 1 2 3 Total 2. La siguiente tabla nos indica que al menos 85% de la varianza de las preguntas.458 93.224 . Las comunalidades observadas son altas (sobre 0.696 .206 Extraction Method: Principal Axis Factoring.356 78.680 Extraction . es explicada por un solo factor.698 . nos permite mostrar como un solo factor explica gran parte de la varianza observada (el conjunto de desviaciones observadas de los puntajes). dacarras@gmail. Total Variance Explained Initial Eigenv alues % of Variance Cumulativ e % 85. y nos indican que gran parte de la varianza observada puede ser “explicada” por el factor extraído. El modelo de análisis factorial utilizado para los siguientes resultados es un análisis factorial exploratorio. Communalities Initial Idenrel1 ¿Cuánto t e identif icas con esa religión? Idenrel2 ¿Cuán comprometido te sientes con esa religión? Idenrel3 ¿Cuán importante es para ti esa religión? .688 85.

La cantidad de vectores a extraer. permite realizar la prueba que propuso Catell (1966). Idenrel3) . execute . En este ejemplo.APUNTES: 01 análisis de confiabilidad y validez El scree Plot. podemos entonces computar un indicador de “nivel de identidad religiosa” a partir de estas preguntas. a. los cuales son similares a las correlaciones de cada uno de los ítems con el vector del factor. sobre el factor. y crear una nueva variable que será interpretada como la variable latente. Con todo esto. que graficando los Eigen Values obtenidos por los vectores posibles del análisis. 6 iterations required. a partir de las primeras preguntas.876 .890 Extract ion Method: Principal Axis Factoring. se interpreta mediante cuantos quiebres se observan o codos de las línea producida en el scree.892 . El syntax para esto puede ser: syntax compute idenrel = mean (Idenrel1. 1 f actors extracted. dacarras@gmail. en el output se produce la siguiente tabla: Factor Matrixa Factor 1 Idenrel1 ¿Cuánto te identif icas con esa religión? Idenrel2 ¿Cuán comprometido te sientes con esa religión? Idenrel3 ¿Cuán importante es para t i esa religión? .cl 20080721 . Esta nos entrega los “factor loading” de cada uno de los ítems. implica mayor identificación con el grupo. permite discriminar cuantos factores pueden explicar la matriz de correlaciones. hay un solo factor a extraer. Idenrel2. donde mayor puntaje. Y finalmente.

350 0. 1.. 6.280 1 dacarras@gmail. no obstante no todos los grupos de ítems que pretenden medir una misma cosa se comportan de esta forma..7. 6. conserva5 Este país estaría mejor si se valorara cómo se hacían las cosas en el pasado.8 2.338 1 0. no hay para qué cambiarlas.739 Cronbach's Alpha .9.411 1 0.369 0.216 0.510 0. 1. Un caso más complicado.338 0. conserva4 Este país tiene problemas porque todos los días están tratando de cambiar algo.151 0.APUNTES: 01 análisis de confiabilidad y validez La variable producida ahora nos permite dos cosas: a. 2.196 0. .8.527 0.2.7).196 0.135 0.346 0. al evaluar consistencia interna los ítems que componen a esta escala se observan buenos resultados: Case Processing Summary Cases Valid Excludeda Total N 2141 49 2190 % 97.510 0.151 0. 4.0 a.311 0. Listwise deletion based on all v ariables in the procedure.280 0. interpretar tres preguntas que apuntan hacia lo mismo en una misma dirección b. 7).738 N of Items 6 Al observar la matriz de correlaciones de los ítems que componen esta escala se observa algo que llama la atención: Inter-Item Correlation Matrix conserva1 conserva2 conserva3 conserva4 conserva5 conserva6 conserva1 Este país tendría muchos menos problemas si se fortaleciera más la familia.527 1 0. pues los valores de esta variable ya no son solo discretos (1.4. sino pseudo continuos (1.311 0. y que ha presentado buenos resultados. 1 0.. 3. Esto funciona así con una escala que fue construida sin grandes problemas.cl 20080721 . conserva6 Cuando las cosas están bien.2 100. producir análisis de regresión. conserva3 Nuestro país estaría mucho mejor si se le diera más importancia a la religión. Reliabi lity Statistics Cronbach's Alpha Based on St andardized Items .6.443 1 0.443 0.. conserva2 Las nuevas ideas y estilos de vida están debilitando nuestra sociedad. es el caso de la escala de Conservadurismo. aprovechando la varianza y continuidad producida por la pro mediación de medidas Likert.220 0.369 0.346 0.220 0.216 0.135 0.350 0. El caso de Conservadurismo: Análisis de confiabilidad no siempre se suficiente En términos generales.411 0.

conserva3 Nuestro país estaría mucho mejor si se le diera más importancia a la religión. conserva6 Cuando las cosas están bien.561 .3 con los otros 3 ítems que presentan correlaciones sobre 0.14 20. cuantas variables latentes se pueden producir para un conjunto de datos observados. con respecto a las correlaciones observadas.287 . hay un ítem en particular que es menos homogéneo al conjunto de los otros ítems. sirve para identificar. conserva5 Este país estaría mejor si se valorara cómo se hacían las cosas en el pasado. Corrected Item-Total Correlation .44 20.270 .cl 20080721 .749 Item-Total Statistics conserva1 Este país tendría muchos menos problemas si se fortaleciera más la familia. trata de entregar la menor cantidad de factores que explican la mayor cantidad de varianza para una matriz de correlaciones en particular.290 .17 19.674 . no hay para qué cambiarlas.239 39. conserva2 Las nuevas ideas y estilos de vida están debilitando nuestra sociedad.76 20. que modela el conjunto de componentes que explican toda la variación de una matriz de correlaciones. Scale Mean if Item Deleted 18.698 . En otras palabras.411 . A diferencia del análisis factorial de componentes principales. En particular es el ítem que presenta menor correlación ítem-test.013 42.58 Scale Variance if Item Deleted 42. dacarras@gmail. 1994).441 .APUNTES: 01 análisis de confiabilidad y validez Hay al menos 3 ítems.671 . conserva4 Este país tiene problemas porque todos los días están tratando de cambiar algo. que hemos realizado. Lo siguiente a observar.895 41. sin excluir el error (Kline.569 .130 Cronbach's Alpha if Item Deleted .909 Al observar las correlaciones ítem test. 5.695 .307 Squared Multiple Correlation .711 .610 36.489 . y estimar estos mismos factores para una población general. si la escala se encuentra bien compuesta son las correlaciones item-test. Dimensionalidad de la escala de Conservadurismo: ¿2 factores? El análisis factorial exploratorio.358 .4 entre sí.914 36. que correlacionan bajo 0.495 . el análisis factorial con rotación de “principal axis factoring” busca estimar los factores que explican la matriz de correlaciones libres de error. si las hubiera.62 19.

El factor Plot.cl 20080721 . es realizar un análisis factorial sobre dos escalas. sugiere algo similar: Una manera un poco más radical de observar el efecto de esta convergencia o no de los ítems. sugiere más de un factor.APUNTES: 01 análisis de confiabilidad y validez Al aplicar este método sobre la escala de conservadurismo sucede lo siguiente: El scree test. en dimensionalidad. el factor Plot. producido es el siguiente: dacarras@gmail. con una que sepamos que funciona bien. Por otro lado.

el estilo de vida y la religión. es donde entra el criterio. conserva5 Este país estaría mejor si se valorara cómo se hacían las cosas en el pasado. sugiere dos factores para estos 6 ítems. Extraction Method: Principal Axis Factoring. centrados en el componente del cambio. dacarras@gmail. centrados en los ámbitos de prioridad de los valores conservadores.251567 0. Rotation Method: Varimax with Kaiser Normalization.210103 0. y los tres primeros ítems. es que ítems que poseen buenos factor loading sobre un factor. conserva4 Este país tiene problemas porque todos los días están tratando de cambiar algo. Con los tres últimos ítems. conserva6 Cuando las cosas están bien.577021 0.APUNTES: 01 análisis de confiabilidad y validez Lo que nos muestra este grafico.673781 0. básicamente se posicionan sobre el factor en el espacio factorial. no hay para qué cambiarlas. conserva2 Las nuevas ideas y estilos de vida están debilitando nuestra sociedad.759441 0. conserva3 Nuestro país estaría mucho mejor si se le diera más importancia a la religión.114065 0.cl 20080721 .092402 2 0. Rotated Factor Matrix(a) Factor 1 conserva1 Este país tendría muchos menos problemas si se fortaleciera más la familia.24902 0. como lo son la familia. La matriz rotada de factor loading.434063 Rotation converged in 3 iterations.581899 0.363208 0. a 0. Para este tipo de casos.634404 0.

008 44.740 7.640 1.572 .531 .802 23.APUNTES: 01 análisis de confiabilidad y validez 6.008 18. es el “conservadurismo” a secas.373 74.000 Extraction Sums of Squared Loadings Total % of Variance Cumulat iv e % 2.132 11.572 .020 12.431 80.813 92.623 91.081 .084 69.813 100.529 .269 .734 0.269 35. se explica cerca del 50% de la varianza: Total Variance Explained Initial Eigenv alues % of Variance Cumulativ e % 50.000 Extraction Sums of Squared Loadings Total % of Variance Cumulativ e % 1.260 100.188 19.742 .116 35.cl 20080721 . Con el primer modelo de 2 factores.500 8.436 Extraction Method: Principal Axis Factoring.799 43.750 Lo cual aumenta la confiabilidad interna de la escala.802 1.012 62.926 8.428 23. y 18% el segundo factor) de la varianza observada: Total Variance Explained Initial Eigenv alues % of Variance Cumulat iv e % 44.533 83. se explica cerca del 62% (44% el primer factor. ¿Uno o dos factores de conservadurismo? Los análisis de confiabilidad de estos dos pares de tríos.564 10.393 9.441 Extraction Method: Principal Axis Factoring. y rechazando el ítem 6 (conserva6) por baja correlación ítem test. Considerando que la variable latente de interés. elegimos el segundo modelo.916 38. reteniendo los primeros 5 ítems.609 Por otro lado. sobre los 5 ítems retenidos. y porque su exclusión aumenta la dimensionalidad dacarras@gmail.332 43. si operáramos bajo el criterio de correlación ítem test.601 Factor 1 2 3 4 5 6 Total 2.311 38.048 50.502 .601 Rotation Sums of Squared Loadings Total % of Variance Cumulat iv e % 1.954 .187 8.048 19.311 Factor 1 2 3 4 5 Total 2. el resultado sería el siguiente: Factor Conservadurismo ítems conserva1 conserva2 conserva3 conserva4 conserva5 alpha 0. Pero con el segundo modelo de un solo factor. y nos quedáramos solo con los 5 primeros ítems. son los siguientes: Factor Ámbitos primordiales Cambio ítems conserva1 conserva2 conserva3 conserva4 conserva5 conserva6 alpha 0.

responde a la producción de escalas que presenten alta o aceptable confiabilidad. durante el proceso de selección y retención de ítems de un instrumento.7).APUNTES: 01 análisis de confiabilidad y validez de la escala. RELIABILITY /VARIABLES= conserva1 conserva2 conserva3 conserva4 conserva5 /SCALE('ALL VARIABLES') ALL/MODEL=ALPHA /STATISTICS=DESCRIPTIVE SCALE CORR /SUMMARY=TOTAL . la validez en términos de que un conjunto de ítems se encuentre “evaluando lo mismo” mediante la prueba de análisis factorial. FACTOR /VARIABLES conserva1 conserva2 conserva3 conserva4 conserva5 /MISSING LISTWISE /ANALYSIS conserva1 conserva2 conserva3 conserva4 conserva5 /PRINT INITIAL EXTRACTION ROTATION /PLOT EIGEN ROTATION /CRITERIA MINEIGEN(1) ITERATE(25) /EXTRACTION PAF /CRITERIA ITERATE(25) /ROTATION VARIMAX /METHOD=CORRELATION .e. conserva3. no decide por si solo. Por otro lado. es decir la convergencia de las 5 medidas en una sola dimensión factorial.e. y unidmensionalidad. se presento el caso. De esta forma.048 0. dacarras@gmail. el cual sería nuestro constructor de interés. cuantas variables latentes a considerar. y puede que a pesar de presentar medidas altamente correlacionadas. y que esta selección se sirve de diferentes criterios: Confiabilidad de los items seleccionados Correlaciones ítem test Factor Loadings Estructura factorial (i. 1 o más factores para un mismo conjunto de ítems) Interpretabilidad de los factores (i. y que sin embargo no son unidimensionales. con respecto al constructo de interés (i. tratando de mostrar como la confiablidad no es necesariamente lo mismo que la dimensionalidad de los resultados. Esta supone que los ítems que convergen en un mismo factor. la cual ojalá se encuentre libre de contaminación con respecto a otros constructos. el indicador sería el siguiente: Compute del indicador conservadurismo alpha Variance Explained (Initial EigenValues) 50. conserva2. es decir. y de conservadurismo. Finalmente el objetivo de evaluar empíricamente la confiabilidad y dimensionalidad de un conjunto de ítems. de cómo el análisis factorial. y lo que consistentemente aumenta también la confiabilidad del indicador a producir.cl 20080721 .e. conserva5) . la variable latente). conserva4. son buenas medidas directas para evaluar la variable latente de interés. execute .750 syntax compute conserv = mean (conserva1. no estén evaluando un mismo constructo. Conclusión Se han revisado los análisis de confiabilidad de los ítems de nivel de identificación. que constructo pudiera estar siendo evaluado). Durante e l proceso de análisis de escalas nos encontraremos con altas que presentan buenos niveles de Alpha (0.

APUNTES: 01 análisis de confiabilidad y validez Nos quedan pendientes los temas de matrices de validez convergente y discriminate de mediante la matriz de multirazgo y multi método Campbell & Fiske (1959). dacarras@gmail. para lograr la validación de instrumentos. así como la validez predictiva y la validez incremental.cl 20080721 .

"Beyond alpha: An empirical examination of the effects of different sources of measurement error on reliability estimates for measures of individual-differences constructs. L. (2007.W. (2) 87-96. Cronbach.htm Cornejo. (1951). (1966).edu/Darlington/factor.B. On estimates of test reliability. Kline. Chile. Vol.T. Manzi. Psykhe. Londres: Routledge. 81-105.APUNTES: 01 análisis de confiabilidad y validez Referencias Frank L. D. 56. Schmidt. dos constructivismos. 10. An easy guide to Factor Analysis. Cronbach. Disponible en: http://www. Marzo-Mayo). P. 34 (4). dacarras@gmail. J. (2001).cl 20080721 . Cattell. Psychological Bulletin. Extraído el 21 de Julio de 2008. Vigotski y Maturana: Tres voces. Remus Ilies (2003). E. The Journal of Educational Psychology. Santiago.cornell. J.8. (1959). (s. C.psych. 485-494. Vol.) Factor Analysis. L. Campbell. 2. Convergent and discriminant validation by the multitraitmultimethod matrix. 297-334. Piaget. R. y Fiske. J. Multivariate Behavioral Research. Huy Le. The scree test for the number of factors. Psychological Methods. 245-76. Psychometrika. Darlington. Cátedra impartida al Programa de Magister de Psicología de la Pontificia Universidad Católica de Chile. Coefficient alpha and the internal structure of tests. (1943). Construcción de instrumentos de medición en psicología y educación. 1.". R. 16 (2).f. D. (1994). No. & San Martin.

1 Sample size  13.5. 2008 Contents [hide]  1 Notes  2 What is factor analysis?  3 Purposes  4 History  5 Conceptual models o 5.2 Cluster o 5. search Psychometric instrument development: Part I: Exploratory factor analysis by James Neill.2 3-d  6 Factor analysis process  7 Examples of psychological factor structures o 7.1 Principal components (PC) dacarras@gmail.1 Some guidelines  13.6 Summary  16 Extraction method o 16.4 Outliers o 15.1 Items  15 Assumption testing o 15.org/wiki/Exploratory_factor_analysis/Lecture_notes < Exploratory factor analysis Jump to: navigation.Garbage Out  13 Assumption testing o 13.3 Essential facial features  8 Problems  9 Exploratory vs.1.2 Comrey and Lee (1992)  14 Example factor analysis .1 2-d  5.5.2 Normality o 15.5 Factorability  15.2 Personality o 7.1 Correlations  15.2 CFA = Confirmatory Factor Analysis  10 Data reduction  11 Steps  12 Garbage In .wikiversity. Confirmatory Factor Analysis o 9.1.3 Linearity o 15.1 Intelligence o 7.3 Measures of sampling adequacy o 15.1 Hierarchical  5.APUNTES: 01 análisis de confiabilidad y validez ANEXO :Exploratory factor analysis/Lecture notes From Wikiversity http://en.1 EFA = Exploratory Factor Analysis o 9.1.1.5.2 Anti-image correlation matrix  15.cl 20080721 .1 LOM o 15.Classroom behaviour o 14.

.Exploratory factor analysis (ucspace.1 Assumptions o 31. Factor analysis is commonly used in psychometric instrument development.3 Type of FA o 31.Condom use  31 Summary o 31.  Groups of related variables are called 'factors'.odp to mediawiki syntax. o o dacarras@gmail.  subsequently copyedited and further wikified (ongoing)  do not yet include all: o images o additional notes (i.3 Total variance explained  17 Communalities  18 Eigen values  19 Explained variance  20 How many factors?  21 Scree plot  22 Initial solution .e. to classify variables.edu. 1992)  30 Example .  Aim is to identify groups of variables which are relatively homogeneous.2 Steps o 31.au)  Exploratory factor analysis (slideshare.canberra. that is.4 Rotation  32 Factor analysis in practice  33 See also Notes [edit] These lecture notes:  were converted from . and  detect structure in the relationships between variables.  A family of techniques to examine linear correlations amongst variables.net) What is factor analysis? [edit]  A multivariate statistical technique for identifying clusters of inter-correlated variables (or 'factors'). to:  reduce the number of variables.Unrotated factor structure  23 Rotation o 23.1 Two basic types o 23.APUNTES: 01 análisis de confiabilidad y validez 16.2 Principal axis factoring (PAF) 16. provide slide text only) To see an embedded version of this presenation:  Lecture .  Involves empirical testing of theoretical data structures Purposes [edit] There are two main applications of factor analytic techniques.cl 20080721 .3 Orthogonal versus oblique rotations  24 Factor structure  25 How do I eliminate items?  26 How many items per factor?  27 Interpretability  28 Factor loadings & item selection  29 Factor loading guidelines (Comrey & Lee.2 Why rotate a factor loading matrix? o 23.

g..APUNTES: 01 análisis de confiabilidad y validez History [edit]  Invented by Spearman (1904)  Usage was hampered by onerousness of hand calculation  Since the advent of computers. e.cl 20080721 . esp.or is it one global factor (g)? ..html Thurstone (1931) -  Conceptual models [edit] Here are some visual ways of conceptualising factor analytic models: 2-d [edit] Hierarchical [edit] 1.html) Terminology was introduced by http://www. In the early stages of the process' development. 1994).or is it hierarchically structured?  "Introduced and established by Pearson in 1901 and Spearman three years thereafter. etc." (from http://www. e. In present day.  Verbal  Mathematical  Interpersonal. often spanning periods of several months. the power of super computers makes the use of factor analysis a simplistic process compared to the 1900's when only the devoted researchers could use it to accurately attain results (Goldberg & Digman. Later on a mathematical foundation would be developed aiding in the process and contributing to the later popularity of the methodology.personalityresearch. usage has thrived.. related factors. 12 items testing might actually tap only 3 underlying factors dacarras@gmail. factor analysis is a process by which large clusters and grouping of data are replaced and represented by factors in the equation. determining the structure of personality  Practice-e. 1994).g... to develop:  Theory-e. A simple factor analytic model (2-d) . development of 10..org/papers/fehringer.g.statsoft. . there was little widespread use due largely in part to the immense amount of hand calculations required to determine accurate results. relationships between the factors begin to define the relationships in the variables they represent (Goldberg & Digman...000s+ of psychological screening & measurement tests  IQ -is it separate but multiple..com/textbook/stfacan..g. As variables are reduced to factors.

to reduce complexity in the data. Figure 3 (Clemants & Moore.. or 5.or is it hierarchically structured? Personality [edit] Personality – does it consist of 2.e.. Figure 2. to distinguish between clusters.cl 20080721 .1 (DeCoster. and to identify and eliminate irrelevant or indistinct (overlapping) items.g.Exploratory factor analysis is a tool to help a researcher ‘throw a hoop’ around clusters of related items. by identifying underlying (latent) clusters of association.g. 2003) (gif/html). 16.. 1998) (pdf) Cluster [edit] 1. etc.. 3-d [edit] 1. Factor analysis uses correlations among many items to search for common clusters.  Verbal  Mathematical  Interpersonal. etc.or is it one global factor (g)? .. i. 3. Factor analysis process [edit]  FA can be conceived of as a method for examining a matrix of correlations in search of clusters of highly correlated variables.APUNTES: 01 análisis de confiabilidad y validez 2. the “Big 5”?  Neuroticism  Extraversion  Agreeableness  Openness  Conscientiousness dacarras@gmail.? .. e.  A major purpose of factor analysis is data reduction. factors? e.. Examples of psychological factor structures [edit] Intelligence [edit] IQ – does intelligence consist of separate factors...

(e.HTM Exploratory vs. and policy-makers find the nature and significance of the results incomprehensible. simple structure.hawaii. items which don’t load cleanly on a single factor) o irrelevant variables . Its technical vocabulary includes strange terms such as eigenvalues.” Rummell http://www. and the sum is the major cost of factor analysis: most laymen.g.cl 20080721 . Its results usually absorb a dozen or so pages in a given report. leaving little room for a methodological introduction or explanation of terms. Confirmatory Factor Analysis [edit] EFA = Exploratory Factor Analysis [edit]  explores & summarises underlying correlational structure for a data set CFA = Confirmatory Factor Analysis [edit]  tests the correlational structure of a data set against a hypothesised structure and rates the 'goodness of fit' Data reduction [edit]  Simplifies data by revealing a smaller number of underlying factors  Helps to eliminate: o redundant variables . represent 76. variables which have low loadings) dacarras@gmail.edu/powerkills/UFA.g. orthogonal.g.5 % of the total variability in facial recognition (in order of importance):  upper-lip  eyebrow-position  nose-width  eye-position  eye/eyebrow-length  face-width. loadings. Add to this the fact that students do not ordinarily learn factor analysis in their formal training. items which are highly correlated are unnecessary) o unclear variables .(e. social scientists.(e. Problems [edit] Problems with factor analysis include:  Mathematically complicated  Technical vocabulary  Results usually absorb a dozen or so pages  Students do not ordinarily learn factor analysis  Lay people find the results incomprehensible “The very power of FA to create apparent order from real chaos contributes to its somewhat tarnished reputation as a scientific tool” .Tabachnick & Fidell (2001) “It is mathematically complicated and entails diverse and numerous considerations in application.. rotate.APUNTES: 01 análisis de confiabilidad y validez Essential facial features [edit] Six orthogonal factors. and communality..

Relates warmly to others ↔ provocative. N > 5 cases per variable o e.APUNTES: 01 análisis de confiabilidad y validez Steps [edit]  Test assumptions  Select type of analysis  Extraction (PC/PAF)  Rotation (Orthogonal/Oblique)  Determine no.  100 = poor.  500 = very good  1000+ = excellent Example factor analysis .  Task: Identify groups of variables (behaviours) that are strongly inter-related & represent underlying factors. Cannot concentrate ↔ can concentrate 2. if I have 20 variables. I should have at least 100 cases (1:5)  Ideal N > 20 cases per variable o e. Patient ↔ demanding 7.  300 = good. Curious & enquiring ↔ little curiousity 3.disruptive 10. Perseveres ↔ lacks perseverance 4.. Control ↔ no control 9. of factors  Identify which items belong in each factor  Drop items as necessary and repeat steps 3 to 4  Name and define factors  Examine correlations amongst factors  Analyse internal reliability Garbage In . Items [edit] 1. Irritable ↔ even-tempered 5.  200 = fair. I would ideally have at least 400 cases (1:20)  Total N > 200 preferable Comrey and Lee (1992) [edit]  50 = very poor. if I have 20 variables.g. Easily upset ↔ contented 8. Persistent ↔ easily frustrated dacarras@gmail.  15 classroom behaviours of high-school children were rated by teachers using a 5point scale. Easily excited ↔ not easily excited 6.Classroom behaviour [edit]  Based on Francis Section 5.cl 20080721 .Garbage Out [edit] Assumption testing [edit] Sample size [edit] Some guidelines [edit]  Min.6.g. which is based on the Victorian Quality Schools Project (google search)..

Difficult ↔ easy Restless ↔ relaxed Lively ↔ settled Purposeful ↔ aimless Cooperative ↔ disputes Assumption testing [edit] LOM [edit]  All variables must be suitable for correlational analysis. it is important to check there are linear relations amongst the variables (i.e.. 15.30 -if not. i.3  Check the anti-image matrix for diagonals over . reasonably accurate  Examine the diagonals on the anti-image correlation matrix to assess the sampling adequacy of each variable  Variables with diagonal anti-image correlations of less that . they should be ratio/metric data or at least Likert data with several interval levels.cl 20080721 . check scatterplots) Outliers [edit]  FA is sensitive to outlying cases  Bivariate outliers(e.5 should be excluded from the analysis -they lack sufficient correlation with other variables Measures of sampling adequacy [edit]  Quickest method. garbage out Anti-image correlation matrix [edit]  Anti-image: Medium effort.g.g..5  Check measures of sampling adequacy (MSAs)  Bartlett's  KMO Correlations [edit]  The most manual and time consuming but thorough and accurate way to examine the factorability of a correlation matrix is simply to examine each correlation in the correlation matrix  Take note whether there are SOME correlations over . how suitable is the data for factor analysis?)  Check correlation matrix for correlations over . 13. Normality [edit]  FA is robust to assumptions of normality(if the variables are normally distributed then the solution is enhanced) Linearity [edit]  Because FA is based on correlations between variables. then remove or transform Factorability [edit]  It is important to check the factorability of the correlation matrix (i. 14.e.. but least reliable  Global diagnostic indicators . 12.e.. Mahalanobis' distance)  Identify outliers. reconsider doing an FA-remember garbage in. check scatterplots)  Multivariate outliers (e..APUNTES: 01 análisis de confiabilidad y validez 11.correlation matrix is factorable if: dacarras@gmail.

 It's a good idea to check your solution using both techniques  If you get a different solution between the two methods try to work out why and decide on which solution is more appropriate Communalities [edit]  The proportion of variance in each variable which can be explained by the factors  Communality for a variable = sum of the squared loadings for the variable on each of the factors  Communalities range between 0 and 1  High communalities (> .5) mean there is considerable variance unexplained by the factors extracted  May then need to extract MORE factors to explain the variance Eigen values [edit]  EV = sum of squared correlations for each factor  EV = overall strength of relationship between a factor and the variables  Successive EVs have lower values  Eigen values over 1 are 'stable' Explained variance [edit]  A good factor solution is one that explains the most variance with the fewest factors  Realistically happy with 50-75% of the variance explained dacarras@gmail.5) show that the factors extracted explain most of the variance in the variables being analysed  Low communalities (< .5 Summary [edit]  Are there several correlations > . leaves out unique variance) Total variance explained [edit]  Often there is little difference in the solutions for the two procedures.e.5?  Is Bartlett's test significant?  Is KMO > .6?(depends on whose rule of thumb) Extraction method [edit] There are two main approaches to EFA based on:  Analysing only shared variancePrinciple Axis Factoring (PAF)  Analysing all variancePrinciple Components (PC) Principal components (PC) [edit]  More common  More practical  Used to reduce data to a set of factor scores for use in other analyses  Analyses all the variance in each variable Principal axis factoring (PAF) [edit]  Used to uncover the structure of an underlying set of p original variables  More theoretical  Analyses only shared variance(i.cl 20080721 .APUNTES: 01 análisis de confiabilidad y validez   Bartlett's test of sphericity is significant and/or Kaiser-Mayer Olkin (KMO) measure of sampling adequacy > .5 to .3?  Are the anti-image matrix diagonals > .

 Rotation of the FL matrix helps to find a more interpretable factor structure.. sum of squared rs for each variable) Initial solution .APUNTES: 01 análisis de confiabilidad y validez How many factors? [edit] A subjective process .. dacarras@gmail.. Second factor extracted:  orthogonal to first factor .  Look for point where additional factors fail to add appreciably to the cumulative explained variance. Rotation [edit] Two basic types [edit]  Orthogonal (Varimax): Minimises factor covariation.  Stop extracting factors when they no longer represent useful/meaningful clusters of variables  Keep checking/clarifying the meaning of each factor and its items.  In the initial solution.Unrotated factor structure [edit] 1st factor extracted:  best possible line of best fit through the original variables  seeks to explain maximum overall variance  a single summary of the main variance in set of items  Each subsequent factor tries to maximise the amount of unexplained variance which it can explain. poss.  All variables will tend to load strongly on the 1st factor  Factors are made up of linear combinations of the variables (max. Scree plot [edit]  A bar graph of Eigen Values  Depicts the amount of variance explained by each factor.seeks to maximize its own eigen value (i.  1st factor explains the most variance  Last factor explains the least amount of variance  Factor loadings (FLs) indicate the relative importance of each item to each factor. tries to gobble up as much of the remaining unexplained variance as possible)  Vectors = lines of best fit  Seldom see a simple unrotated factor structure  Many variables will load on 2 or more factors  Some variables may not load highly on any factors  Until the FLs are rotated. considering:  Theory -what is predicted/expected?  Eigen Values > 1? (Kaiser's criterion)  Scree Plot -where does it drop off?  Interpretability of last factor?  Try several different solutions?  Factors must be able to be meaningfully interpreted & make theoretical sense?  Aim for 50-75% of variance explained with 1/4 to 1/3 as many factors as variables/items. produces factors which are uncorrelated  Oblique (Oblimin): allows factors to covary. they are difficult to interpret. each factor tries “selfishly― to grab maximum unexplained variance. allows correlations between factors. Seek to explain maximum variance using fewest factors.cl 20080721 .e.

3?)  Meaning of item (face validity)  Contribution it makes to the factor  Eliminate 1 variable at a time. = 3  Max.if >.cl 20080721 .40 are generally OK) How do I eliminate items? [edit] A subjective process.4)  Size of cross loadings (max=. before deciding which/if any items to eliminate next  Number of items already in the factor How many items per factor? [edit]  Bare min. watch out for 'seeing what you want to see' when factor analysis evidence might suggest a different solution.32 then go with oblique rotation (>10% shared variance between factors) Factor structure [edit] Factor structure is most interpretable when: 1. Most factor loadings are either high or low with few of intermediate value (Loadings of > +. but consider:  Size of main loading (min=.  Be guided by theory and common sense in selecting factor structure. Each variable loads strongly on only one factor 2.  There may be more than one good solution! e. = unlimited  More items o -> greater reliability o -> more 'roundedness' o -> Law of diminishing returns  Typically = 4 to 10 is reasonable Interpretability [edit]  You must be able to understand and interpret a factor if you're going to extract it. the vectors (lines of best fit) are rearranged to optimally go through clusters of shared variance  Then the FLs and the factor they represent can be more readily interpreted  A rotated factor structure is simpler & more easily interpretable  each variable loads strongly on only one factor  each factor shows at least 3 strong loadings  all loading are either strong or weak.g. o 2 factor model of personality o 5 factor model of personality o 16 factor model of personality dacarras@gmail. then re-run. Each factor has two or more strong loadings 3. = 2  Recommended min. no intermediate loadings Orthogonal versus oblique rotations [edit]  Think about purpose of factor analysis  Try both  Consider interpretability  Look at correlations between factors in oblique solution .  However..APUNTES: 01 análisis de confiabilidad y validez Why rotate a factor loading matrix? [edit]  After rotation.

45 .good  > .excellent  > .cl 20080721 . more = greater reliability. Each factor shows 3 or more strong loadings.Condom use [edit]  The Condom Use Self-Efficacy Scale (CUSES) was administered to 447 multicultural college students.  Three distinct factors were extracted: o 'Appropriation' o 'Sexually Transmitted Diseases' o 'Partners' Disapproval' Summary [edit]  Factor analysis is a family of multivariate correlational data analysis methods for summarising clusters of covariance.63 .very good  > . Each variable loads strongly on only one factor (strong is > +. These elements give a 'simple' factor structure. 4.70 .  PC FA with a varimax rotation. Factor loading guidelines (Comrey & Lee. Most loadings are either high or low. PAF  PC for data reduction e. 2. few intermediate values. 3.poor Example .32 .55 . 1992) [edit] Loadings:  > .40).g. computing composite scores for another analysis (uses all variance)  PAF for theoretical data exploration (uses shared variance)  Try both ways -are solutions different? dacarras@gmail.  FA analyses and summarises correlations amongst items  These common clusters (the factors) can be used as summary indicators of the underlying construct Assumptions [edit]  5+ cases per variables (ideal is 20 per)  N > 200  Outliers  Factorability of correlation matrix  Normality enhances the solution Steps [edit]  Communalities  Eigen Values & % variance  Scree Plot  Number of factors extracted  Rotated factor loadings  Theoretical underpinning Type of FA [edit]  PC vs..APUNTES: 01 análisis de confiabilidad y validez Factor loadings & item selection [edit] A factor structure is most interpretable when: 1.fair  > .

g.APUNTES: 01 análisis de confiabilidad y validez Rotation [edit]  Rotation  orthogonal -perpendicular vectors  oblique -angled vectors  Try both ways -are solutions different? Factor analysis in practice [edit] To find a good solution. e. try out each combination of  PC-varimax  PC-oblimin  PAF-varimax  PAF-oblimin The above methods would then be commonly tried out on a range of possible/likely factors. most researchers. and 7 factors  Try different numbers of factors  Try orthogonal & oblimin solutions  Try eliminating poor items  Conduct reliability analysis  Check factor structure across sub-groups if sufficient data  You will probably come up with a different solution from someone else! No. 3. of factors to extract?  Inspect EVs .look for > 1  % of variance explained  Inspect scree plot  Communalities  Interpretability  Theoretical reason dacarras@gmail. for 2. 5.cl 20080721 . 4. 6..

You're Reading a Free Preview

Descarga
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->