V de Aiken

Una buena pesar de la extensión del uso del coeficiente V de Aiken para medir el acuerdo
interjueces a la hora de construir y validar cuestionarios, su cálculo no está incluido en
paquetes estadísticos como SPSS y se tiende a computar a mano, lo que puede resultar
engorroso y inducirá errores. Penfield y Giacobbi (2004) propusieron una mejora en el Método
de Aiken utilizando intervalos de confianza, que pensamos merece la pena seguirse, según las
directrices de la APA (Deckers, 2001) y de Wilkinson (1999) sobre la cuantificación de la validez
de contenido. El uso de hojas de cálculo supera las limitaciones de utilizar programas ligados a
la plataforma MS Windows como el de Soto & Segovia (2009), en cuanto a modificabilidad y
distribución

Una buena parte de los cuestionarios y escalas que se utilizan en la práctica psicológica se han
construido en una primera fase sometiendo los ítems a prueba de jueces, sin embargo, los
grandes paquetes estadísticos no proporcionan una manera rápida de realizar esta prueba, por
lo que en la mayoría de las ocasiones se recurre a realizar su cálculo a mano, lo que puede
resultar engorroso y inducir a errores. Por otra parte, la utilización cada vez más extendida de
cuestionarios on-line, cuyos resultados se obtienen automáticamente en formato de hoja de
cálculo -la plataforma de google (“Google Drive,” n.d.) es un buen ejemplo de ello- lleva a la
conclusión inmediata de desarrollar una hoja de cálculo con las fórmulas necesarias para
realizar esta prueba de manera automática y que además proporcione de un vistazo el criterio
de decisión sobre el mantenimiento o rechazo de cada ítem.

Método

Al afrontar la elaboración de escalas para la medición de constructos psicológicos normalmente

el investigador se encuentra con la disyuntiva de utilizar diversas medidas para evaluar el
acuerdo interjueces, tal como se expone en el trabajo de Escurra (1988). Como sabemos,
realmente lo que estamos tratando de evaluar es la validez de contenido, y según Aiken (1980)
la forma por excelencia de hacerlo es mediante el acuerdo entre jueces entendidos en la
materia.

De acuerdo con Escurra (1988), que analiza el uso de la prueba binomial, el coeficiente V de
Aiken (Aiken, 1980), y el índice simple de acuerdo y comparando sus resultados, concluye que
el más pertinente para su utilización es el V, ya que “ya que tiene la facilidad del cómputo del
1A la posibilidad de la contrastación estadística de la PB” (Escurra, 1988, p.6), descartando
completamente el Índice de Acuerdo, al carecer este índice de significación estadística, lo que
podría significar arbitrariedad (Escurra, 1988).

De cualquier modo, este índice V luego debe ser contrastado con una tabla de valores que
ofrece el criterio de retención o eliminación del ítem en función del número de jueces, en
función de un valor crítico de V=0,5. Para obviar esto, Penfield & Giacobbi Peter R (2004)
modificaron la ecuación de Aiken para utilizar un método de decisión basado en intervalos de
confianza, que vienen a representar la probabilidad de ocurrencia de un suceso en una
población dado un nivel de confianza determinado por el investigador. Tal como explica Soto en
su trabajo, “la justificación de utilizar intervalos de confianza para la cuantificación de la validez
de contenido va de acuerdo con el actual énfasis de su uso para reportar hallazgos de
investigación psicológica” (APA, 2000; Soto & Segovia, 2009; Wilkinson, 1999).

La fórmula modificada por Penfield y Giacobbi queda de esta manera:

 siendo ̄X la media de las calificaciones de los jueces, la mínima
calificación de la escala, y k el rango de la escala utilizada.

Para el cálculo de los intervalos de confianza, los autores recurren al método score de Wilson
(1927) el cual no presenta restricciones en cuanto a normalidad de distribución de la variable,
es asimétrico y altamente exacto (Soto & Segovia, 2009).

El límite inferior del intervalo queda definido por la fórmula:

siendo Z el valor de la distribución normal de probabilidad, V la de Aiken calculada en la

fórmula (1), y n el número de jueces. Mayor explicación del método se puede encontrar en
Soto & Segovia (2009).

Uso de la Hoja de Cálculo

La hoja de cálculo permite simplemente copiar y pegar las celdas obtenidas de los
cuestionarios online o introducidos en ella manualmente, y ofrece estos cálculos de manera
automática, tan sólo se debe elegir el criterio de exclusión de ítems, para ello se ofrecen
niveles liberales V=0,5 (Cicchetti, 1994) o más restrictivos como V=0,70 (Charter, 2003) o más
aún como V=0,80. De igual forma se puede decidir el nivel de confianza del intervalo del
desplegable, existiendo opciones para 90-95-97,5-99 y 99,9%, por simplificación y para evitar
que usuarios inexpertos manipulen esta celda, pero uno con mínima experiencia en hojas de
cálculo puede fácilmente incluir otros niveles.

Se pueden ampliar el número de ítems con tan solo copiar/pegar las celdas necesarias,
completando el proceso con las celdas inferiores donde se realizan los cálculos. El usuario debe
abstenerse de modificar las celdas protegidas o que contengan fórmulas, para no alterar los
cálculos, para ello, las celdas que no deben modificarse se han sombreado en negro. Tampoco
se debe modificar el formato de celdas ya que no aparecerían en rojo los ítems fuera de rango.

Deben completarse también las casillas de mínimo de escala y del rango de valores de la
misma, se ha preferido mantenerlo así en aras de la flexibilidad y dado que en una hoja de
cálculo existe la posibilidad de copiar y pegar, es más sencillo que mediante fórmulas de cálculo
automático

Del mismo modo que en el programa de Soto & Segovia (2009), pero de un modo muy visual e
interactivo se da la posibilidad al investigador de, mediante la modificación de diversos
parámetros, como la significación o el número de jueces, ajustar su prueba para que cumpla
con los requisitos exigidos al planificar la investigación.
CALCULO VALORATIVO DE LA VALIDES DEL INSTRUMENTO, POR EL METODO DEL COEFICIENTE "V" DE AIKEN

1.      ¿Cuáles son las expectativas y

necesidades de los trabajadores y
empleados en relación con la
instalación de la planta de
Nº Juecez extracción metálica? (ejemplo:
condiciones laborales,
oportunidades de desarrollo,
seguridad, etc.)
Pertinencia Redacción
1 Juez 1 4 4
2 Juez 2 5 4
3 Juez 3 5 5
4.      ¿Cuáles son las 5.      ¿Cuál es la
2.      ¿Cuáles son las 3.      ¿Cuál es la opinión de
expectativas y demandas perspectiva de los 6.      ¿Cómo perciben los
preocupaciones ambientales de los accionistas o inversores
de las autoridades proveedores de tecnología clientes potenciales la
la comunidad local acerca de la sobre la viabilidad
gubernamentales en y maquinaria sobre la calidad y sostenibilidad de
planta de extracción de metales financiera y rentabilidad de
cuanto a regulaciones, implementación de la los productos derivados de
y cómo se podrían mitigar los la planta de extracción
permisos y licencias para la planta de extracción la planta de extracción?
impactos ambientales? metálica?
instalación de la planta? metálica?
Pertinencia Redacción Pertinencia Redacción Pertinencia Redacción Pertinencia Redacción Pertinencia Redacción
4 4 4 4 4 5 1 4 1 3
5 5 4 4 4 5 4 5 4 5
5 5 5 4 5 5 4 5 4 5

Item Criterio Media Desv. Est V de Aiken A B C Lim Infer Lim Super
Pertinencia 4.67 0.47 0.92 25.84 5.37 31.68 0.65 0.99
1
Redacción 4.33 0.47 0.83 23.84 6.35 31.68 0.55 0.95
Pertinencia 4.67 0.58 0.92 25.84 5.37 31.68 0.65 0.99
2 Redacción 4.67 0.58 0.92 25.84 5.37 31.68 0.65 0.99
Pertinencia 4.33 0.58 0.83 23.84 6.35 31.68 0.55 0.95
3 Redacción 4.00 0.00 0.75 21.84 7.02 31.68 0.47 0.91
Pertinencia 4.33 0.58 0.83 23.84 6.35 31.68 0.55 0.95
4 Redacción 5.00 0.00 1.00 27.84 3.84 31.68 0.76 1.00
Pertinencia 3.00 1.73 0.50 15.84 7.80 31.68 0.25 0.75
5 Redacción 4.67 0.58 0.92 25.84 5.37 31.68 0.65 0.99
Pertinencia 3.00 1.73 0.50 15.84 7.80 31.68 0.25 0.75
6 Redacción 4.33 1.15 0.83 23.84 6.35 31.68 0.55 0.95

TOTAL 0.81