Running head: AIKEN VALIDITY USING SCORE METHOD WITH SPREADSHEETS

Encabezado: V AIKEN USANDO EL MTODO SCORE EN HOJAS DE CLCULO

Analizando la V de Aiken Usando el Mtodo Score con Hojas de Clculo.

Analyzing V Aiken's Content Validity using Score Method with Spreadsheets.
Jos Rodrguez Cordn
Universidad de Cdiz

Keywords: V Aiken; Content Validity; Validity; Score Method; Spreadsheet;excel;calc;psicometry

Palabras clave: Validez de contenido;V de Aiken;intervalos de confianza;psicometra;validez;hoja
de clculo;excel;calc;score
Direccin de contacto: Para cualquier contacto usar el email josercordon@gmail.com o
joserc@sasemar.es .

Running head: AIKEN VALIDITY USING SCORE METHOD WITH EXCEL

Encabezado: V AIKEN USANDO EL MTODO SCORE EN EXCEL

Resumen
A pesar de la extensin del uso del coeficiente V de Aiken para medir el acuerdo
interjueces a la hora de construir y validar cuestionarios, su clculo no est incluido en paquetes
estadisticos como SPSS y se tiende a computar a mano, lo que puede resultar engorroso e inducir
a errores. Penfield y Giacobbi (2004) propusieron una mejora en el Mtodo de Aiken utilizando
intervalos de confianza, que pensamos merece la pena seguirse, segn las directrices de la APA
(Deckers, 2001) y de Wilkinson (1999) sobre la cuantificacin de la validez de contenido. El uso
de hojas de clculo difiere de utilizar programas ligados a la plataforma MS Windows como el de
Soto & Segovia (2009), en cuanto a modificabilidad, interaccin y distribucin.
Abstract
Despite the widespread use of factor V Aiken to measure interrater agreement when
constructing and validating questionnaires, their calculation is not included in statistical packages
such as SPSS and tends to compute by hand, which can be cumbersome and leads to errors.
Giacobbi and Penfield (2004) proposed an improved Aiken based method using confidence
intervals, we thought worth followed, and according to the guidelines of the APA (Deckers, 2001)
and Wilkinson (1999) on the quantification of content validity. Using spreadsheets differs from
others associated with the use of MS Windows-based platform programs as Soto & Segovia,
(2009), in terms of modifiability, interactivity and distribution.

Running head: AIKEN VALIDITY USING SCORE METHOD WITH EXCEL

Encabezado: V AIKEN USANDO EL MTODO SCORE EN EXCEL

Introduccin
Una buena parte de los cuestionarios y escalas que se utilizan en la prctica psicolgica se
han construido en una primera fase sometiendo los tems a prueba de jueces, sin embargo los
grandes paquetes estadsticos no proporcionan una manera rpida de realizar esta prueba, por lo
que en la mayora de las ocasiones se recurre a realizar su clculo a mano, lo que puede resultar
engorroso e inducir a errores. Por otra parte, la utilizacin cada vez ms extendida de
cuestionarios on-line, cuyos resultados se obtienen automticamente en formato de hoja de
clculo -la plataforma de google (Google Drive, n.d.) es un buen ejemplo de ello- lleva a la
conclusin inmediata de desarrollar una hoja de clculo con las frmulas necesarias para realizar
esta prueba de manera automtica y que adems proporcione de un vistazo el criterio de decisin
sobre el mantenimiento o rechazo de cada tem.
Mtodo
Al afrontar la elaboracin de escalas para la medicin de constructos psicolgicos
normalmente el investigador se encuentra con la disyuntiva de utilizar diversas medidas para
evaluar el acuerdo interjueces, tal como se expone en el trabajo de Escurra (1988). Como
sabemos, realmente lo que estamos tratando de evaluar es la validez de contenido, y segn Aiken
(1980) la forma por excelencia de hacerlo es mediante el acuerdo entre jueces entendidos en la
materia.
De acuerdo con Escurra (1988), que analiza el uso de la prueba binomial, el coeficiente V
de Aiken (Aiken, 1980), y el ndice simple de acuerdo, comparando sus resultados concluye que el
ms pertinente para su utilizacin es el V, ya que ya que tiene la facilidad del cmputo del IA y
la posibilidad de la contrastacin estadstica de la PB (Escurra, 1988, p.6), descartando
completamente el ndice de Acuerdo, al carecer este ndice de significacin estadstica, lo que
podra significar arbitrariedad (Escurra, 1988).

Running head: AIKEN VALIDITY USING SCORE METHOD WITH EXCEL

Encabezado: V AIKEN USANDO EL MTODO SCORE EN EXCEL

De cualquier modo, este ndice V posteriormente debe ser contrastado con una tabla de
valores que ofrece el criterio de retencin o eliminacin del tem en funcin del nmero de jueces,
y de un valor crtico de V= ,5. Para obviar esto, Penfield & Giacobbi Peter R (2004) modificaron
la ecuacin de Aiken para utilizar un mtodo de decisin basado en intervalos de confianza, que
vienen a representar la probabilidad de ocurrencia de un suceso en una poblacin dado un nivel de
confianza determinado por el investigador. Tal como explica Soto en su trabajo, la justificacin
de utilizar intervalos de confianza para la cuantificacin de la validez de contenido va de
acuerdo con el actual nfasis de su uso para reportar hallazgos de investigacin psicolgica
(APA, 2000; Soto & Segovia, 2009; Wilkinson, 1999).
La frmula modificada por Penfield y Giacobbi queda de esta manera:
V=

Xl
(1) siendo X la media de las calificaciones de los jueces, l la mnima calificacin de la
k

escala, y k el rango de la escala utilizada.

Para el clculo de los intervalos de confianza, los autores recurren al mtodo score de
Wilson (1927) el cual no presenta restricciones en cuanto a normalidad de distribucin de la
variable, es asimtrico y altamente exacto (Soto & Segovia, 2009).
El lmite inferior del intervalo queda definido por la frmula:
L=

2nkV +z2 z 4nkV 1 V +z2

2 nk+z2

(2) y el superior:

(3), siendo Z el valor de la distribucin normal de

probabilidad, V la de Aiken calculada en la frmula (1), y n el nmero de jueces. Mayor
explicacin del mtodo se puede encontrar en Soto & Segovia (2009).
Uso de la Hoja de Clculo

Running head: AIKEN VALIDITY USING SCORE METHOD WITH EXCEL

Encabezado: V AIKEN USANDO EL MTODO SCORE EN EXCEL

La hoja de clculo permite simplemente copiar y pegar las celdas obtenidas de los
cuestionarios online o introducidos en ella manualmente, y ofrece estos clculos de manera
automtica, tan slo se debe elegir el criterio de exclusin de tems, para ello se ofrecen niveles
liberales V0= ,5 (Cicchetti, 1994) o ms restrictivos como V0= ,70 (Charter, 2003) o ms an
como V0= ,80. De igual forma se puede decidir el nivel de confianza del intervalo del desplegable,
existiendo opciones para 90-95-97,5-99 y 99,9%, por simplificacin y para evitar que usuarios
inexpertos manipulen esta celda, pero uno con mnima experiencia en hojas de clculo puede
fcilmente incluir otros niveles.
Se pueden ampliar el nmero de tems con tan solo copiar/pegar las celdas necesarias,
completando el proceso con las celdas inferiores donde se realizan los clculos. El usuario debe
abstenerse de modificar las celdas protegidas o que contengan frmulas, para no alterar los
clculos, para ello, las celdas que no deben modificarse se han sombreado en gris. Tampoco se
debe modificar el formato de celdas ya que no apareceran en rojo los tems fuera de rango.
Deben completarse tambin las casillas de mnimo de escala y del rango de valores de la
misma, se ha preferido mantenerlo as en aras de la flexibilidad y dado que en una hoja de clculo
existe la posibilidad de copiar y pegar, es ms sencillo que mediante frmulas de clculo
automtico.
De un modo muy visual e interactivo se da la posibilidad al investigador, mediante la
modificacin de diversos parmetros, como la significacin o el nmero de jueces, ajustar su
prueba para que cumpla con los requisitos exigidos al planificar la investigacin.
Disponibilidad
La hoja de clculo est disponible en formatos (LibreOffice, 2014) y MS Excel, a
eleccin del usuario y se distribuye bajo licencia Reconocimiento NoComercial (by-nc): Se
permite la generacin de obras derivadas siempre que no se haga un uso comercial. Tampoco se

Running head: AIKEN VALIDITY USING SCORE METHOD WITH EXCEL

Encabezado: V AIKEN USANDO EL MTODO SCORE EN EXCEL

puede utilizar la obra original con finalidades comerciales (Licencias - Creative Commons,
2014). Cualquier comentario y aportaciones es bienvenido al email del autor.
Pueden ser descargadas desde las url:
https://www.dropbox.com/s/2mfdqqxqyazjbl6/prueba_V.xlsx
https://www.dropbox.com/s/ssyma37ttwduoqn/V_Aiken.ods
Referencias
Aiken, L. R. (1980). Content Validity and Reliability of Single Items or Questionnaires.
Educational and Psychological Measurement, 40(4), 955959.
doi:10.1177/001316448004000419
APA. (2001). APA Format6, (2000), 14.
Cicchetti, D. V. (1994). Guidelines, criteria, and rules of thumb for evaluating normed and
standardized assessment instruments in psychology. Psychological assessment, 6(4), 284.
Deckers, L. (2001). Publication manual of the American psychological association. Allyn &
Bacon.
Escurra, L. M. (1988). Cuantificacin de la validez de contenido por criterio de jueces. Revista de
Psicologa, 6(1-2), 103111.
Google Drive. (n.d.). Retrieved January 24, 2014, from
http://www.google.com/intl/es/drive/apps.html
LibreOffice. (2014). Retrieved January 25, 2014, from http://es.libreoffice.org/

Running head: AIKEN VALIDITY USING SCORE METHOD WITH EXCEL

Encabezado: V AIKEN USANDO EL MTODO SCORE EN EXCEL

Licencias - Creative Commons. (2014). Retrieved January 25, 2014, from

http://es.creativecommons.org/blog/licencias/
Penfield, R. D., & Giacobbi Peter R, J. (2004). Applying a score confidence interval to Aikens
item content-relevance index. Measurement in Physical Education and Exercise Science,
8(4), 213225.
Soto, M., & Segovia, L. (2009). Intervalos de confianza asimtricos para el ndice la validez de
contenido: Un programa Visual Basic para la V de Aiken, 25(1985), 169171.
Wilkinson, L. (1999). Statistical methods in psychology journals: guidelines and explanations.
American psychologist, 54(8), 594.
Wilson, E. B. (1927). Probable inference, the law of succession, and statistical inference. Journal
of the American Statistical Association, 22(158), 209212.