DISEÑO E IMPLEMENTACIÓN DE UN ESTUDIO DE

VALIDEZ DE CONTENIDO : DESARROLLO DE UN

INSTRUMENTO PARA MEDIR LA COMUNICACIÓN
CENTRADA EN EL PACIENTE

CURSO: TÉCNICAS DE CONSTRUCCIÓN DE INSTRUMENTOS DE RECOLECCIÓN

Presentado Por:
• Güisa Paredes, José
• Malca Milla, Jaime
• Torres Ramos, Luisa
• Viacava Zeballos, Julio
 Design and Implementation Content Validity
Study: Development of an instrument for
measuring Patient-Centered Communication

Journal of Caring Sciences, 2015, 4(2), 165-178

doi:10.15171/jcs.2015.017
http:// journals.tbzmed.ac.ir/ JCS
 Introducción

• En la mayoría de estudios los investigadores crean constructos complejos

para lo cual se necesita instrumentos validados y de confianza.

• La validación de un instrumento psicométrico tienen un paso importante en

su desarrollo.

• La validez es determinada por el constructo, el contenido y los criterios

relacionados a la validación.

• Este artículo describe la complejidad del proceso a través de un ejemplo.

• Fue desarrollado en Irán. En un hospital oncológico, el instrumento revisa

la comunicación entre pacientes y enfermeras.
• Relación enfermera paciente:
– Para brindar un adecuado tratamiento las enfermeras deben
establecer una adecuada relación con el paciente.

• Comunicación centrada en el paciente :

– Comunicación.
– Rendimiento clínico del tratamiento.
– Se ha demostrado comunicación sub óptima, ámbito emocional.
• A pesar de su importancia, no existen muchos instrumentos para
medir la comunicación centrada en el paciente.

• En Irán faltan instrumentos para su medición.

• Cuando un nuevo instrumento se crea este, debe estar basado en el

contexto y la cultura del grupo objetivo.

• Para este nuevo instrumento es importante su validación.

 Material y método

• Estudio metodológico para dar validez de contenido al

instrumento «Comunicación Centrada en el Paciente».

• Proceso de dos pasos : Desarrollo y juicio.

• Desarrollo : Determinación de dominio, generación de ítems,

formación del instrumento.

• Juicio : Razón de validez de contenido (content validity ratio).

Índice de validez de contenido ( content validity index).
Estadítico Kappa modificado.
 Material y método

• Este estudio es parte de una gran investigación mixta (cuantitativa-

cualitativa), para construir un instrumento psicométrico.

• Los datos de la fase cualitativa fueron tomadas a través de una

intervención semiestructurada en profundidad, de 10 pacientes con
cáncer, 3 familiares y 7 enfermeras.
 Material y método

• Consideraciones éticas:
– Autorización por el comité de ética del hospital, administración,
consentimiento informado, anónimo y registro en todo el proceso
 Material y método
FASE 1: Diseño del instrumento

• El diseño del instrumento pasó por tres pasos:

a) Determinación del dominio de contenido.
b) Muestreo del contenido. (Generación de elementos)
c) Construcción del instrumento.

• Los datos obtenidos de los familiares son un recurso invaluable para la

generación del instrumento.

• Para determinar el dominio del contenido en instrumentos emocionales

y cognitivos, podemos utilizar la revisión de la literatura y la tabla de
especificaciones.
 Material y método

a) Determinación del dominio de contenido.

 Identificar las variables que serán medidas.

 Se obtiene de revisión de la literatura.
 Entrevistas
 Focus group.
 Se obtiene definición precisa de los constructos, dimensiones y
componentes.
 Material y método

• La tabla de especificaciones revisa los elementos colocados en filas

con los conceptos en columnas, mediante la recopilación
cuantitativa y cualitativa de expertos mediante el análisis de datos.

b) Generación de elementos
 Ridenour y Newman método deductivo-inductivo para la
conceptualización, determinación y generación de items.
c) Construcción del instrumento
 El tercer paso diseño del instrumento, en formato confortable y
secuencial.
 Material y método
FASE 2 :Juicio

• En esta fase se confirma la validez de cada ítem del instrumento y

del documento entero, por un panel de expertos.

• El número de expertos es arbitrario, entre 5 a 10. Con más expertos

la posibilidad de consenso disminuye.

• Después de la evaluación de los expertos, se colecta sus puntos de

vista cualitativos y cuantitativos, sobre la relevancia,
representatividad, claridad y comprensión de los items del
constructo. Para dar validez de contenido.
 Material y método
Cuantificación de la validez de contenido
• Se da validez del contenido usando el punto de vista del panel de expertos.
• Este panel está conformado por expertos en el tema y por expertos legos
(representan a la población de estudio).

• En la validez cualitativa del instrumento las recomendaciones de los

expertos son adoptadas sobre la gramática, palabras apropiadas,
aplicación correcta y apropiada del orden de las palabras en el item y el
score apropiado.
 Material y método
• La validez del contenido cuantitativo se da por el Ratio de Validez de
Contenido (CVR). Si un ítem es necesario o no en un constructo.
 No necesario 1
 Usado pero no esencial. 2
 Esencial 3

• El ratio validez de contenido (CVR), varía entre -1 a 1.

• El más alto score indica que los expertos consideran necesario el item en el
instrumento.
 Material y método
• CVR = (Ne-N/2) / (N/2)
• Ne = panelistas que consideran esencial
• N = panelistas que participan
• Tabla de Lawshe.

 Ejemplo : Ne = 10 N=10 CVR=1

Ne = 0 N=10 CVR = -1

• Para el estudio, un puntaje de CVR mayor a 0.49 se consideró con

un nivel aceptable.
 Material y método

• En los reportes de instrumentos, el más ampliamente usado es el

Índice de Validez de Contenido.
• Los expertos son preguntados sobre claridad y relevancia de los
ítems, la escala califica cuatro puntos.
• No relevante = 1
• Algo relevante = 2
• Bastante relevante = 3
• Altamente relevante= 4
Material y método
 Material y método

• Para obtener el índice de Validez de Contenido por Relevancia y

Claridad de cada Ítem (I-CVI), los ítems calificados como 3 o 4 se
divide entre el número de expertos. (Relevancia claridad)

Número de expertos (3 ó 4)
Número de expertos
 Material y método

• La relevancia, puede ser evaluada por nivel Ítem (I-CVI) o por nivel
Scala (S-CVI).
• Para el nivel
– I-CVI = Expertos califican 3 o 4 / Nro. expertos.

• La I-CVI expresa el porcentaje de acuerdo sobre la relevancia de

cada Ítem, va de 0 a 1.

• El S-CVI es definido como la proporción del total de ítems juzgados

con contenido válido. O la proporción de ítems de un instrumento que
alcanzan una evaluación de 3 o 4 por los expertos.
 Material y método
Se tiene dos métodos para calcular el S-CVI.
a) Acuerdo universal entre expertos
S-CVI/ UA
b) Promedio del índice
S-CVI / Ave
Procedimiento
a) Se dicotomiza 3 y 4 relevante; 1 y 2 no relevante.
b) Se calcula
S-CVI AU
Nro de relevantes (CVI=1) / Nro total de items
S-CVI Ave
Ʃ I-CVI / NRO TOTAL DE ITEMS
Material y método
 Material y método
• Davis propuso para las investigaciones más de 80 % de acuerdo.
• Para la investigación:

> =80% apropiado

70-79% revisión
<70% eliminado

• Si bien el I-CVI es ampliamente aceptado, no considera valores

inflados por la chance de acuerdo.
• Wynd et al estadístico multi evaluador Kappa, ajusta la posibilidad
de chance de acuerdo.
 Material y método

• Para calcular el Kappa modificado, primero se calcula la

probabilidad de chance de acuerdo para cada item con la fórmula:
PC= [N! /A! (N -A)!]* . 5N.
N = Número de expertos
A = Panelistas que están de acuerdo que el item es relevante.
• Luego se calculó Kappa
K= (I-CVI - PC) / (1- PC).
 Material y método

• Kappa
> 0.74 Excelente
0.60 - 0.74 Bueno
0.40 - 0.59 Falla

• Luego de calcular Kappa, los I-CVI mayores de 0.78 fueron

considerados excelentes.
• Se puede notar que cuando el número de panelistas crece, la
probabilidad de chance de acuerdo disminuye y los valores de I-CVI
y K convergen.
 Material y método

• En el último paso de la validez de contenido se evalúa la

comprensión de los items. Si las definiciones teóricas de los
conceptos y sus dimensiones son apropiadas.

• Comprensión:

Nro. de expertos que identifican comprensible

Nro. de expertos
 Material y método

Determinación de la validez aparente de un instrumento

• La validez aparente responde a la pregunta si el instrumento tiene validez para

los pacientes, u otros participantes.

• Responde a la pregunta si los participantes están de acuerdo con los artículos, la

redacción de los mismos y si están orientados a los objetivos de la investigación.

• Si el instrumento es atractivo, lo que podría afectar la aceptabilidad de los

encuestados.
 Material y método
• La validez aparente no es considerada validez en cuanto a los
principios de medición.

• Para esta validez se utiliza el punto de vista de los encuestados y

expertos.

• En el método cualitativo se utiliza el método cara a cara, la

intervención se realiza sobre los miembros del grupo objetivo.

• El nivel de dificultad de los ítems, la idoneidad deseada, y la

relación entre los ítems; así como la ambigüedad, mala
interpretación, incomprensión de las palabras, son discutidas con el
grupo objetivo
 Material y método
• Aunque la opinión de los expertos juega un rol importante, la revisión
por una muestra de los sujetos de la población objetiva, es otro de los
componentes de la validación del contenido.

• Estos individuos son preguntados sobre los instrumentos, debido a la

familiaridad con los constructos por su experiencia personal.

• Para este objetivo se usa la Escala de Likert.

 Muy importante
 Importante
 Relativamente importante
 Ligeramente importante
 Sin importancia
 Material y método

• En el método cuantitativo, para calcular el impacto del ítem del

score, primero se calcula el porcentaje de pacientes que tuvieron
score 4 o 5 para la importancia del ítem (frecuencia) y la media de
importancia del score del ítem (importancia), luego se calcula el
impacto del score del ítem ( importancia).

Se calcula con:
Ítem Impacto de Score= Frecuencia x importancia

• Si el impacto del ítem es mayor o igual a 1.5, frecuencia 50% y

media de importancia 3, escala de Likert, se mantiene en el
instrumento.
 Resultados

Resultados de la fase 1. Diseño de un instrumento para medir la

comunicación centrada en el paciente.
• En el primer paso de la investigación, la cual fue realizada a través
del análisis cualitativo del análisis de contenido.
• Análisis hecho por una intervención semiestructurada en
profundidad a:
 10 pacientes con cáncer
 7 enfermeras
 3 familiares.
 Resultados

• Se identificó 7 dimensiones :

 Construcción de confianza
 Intimidad
 Activación del paciente
 Solución de problemas
 Soporte emocional
 Información
 Espiritualidad

Cada contenido fue definido teóricamente, por revisión de

literatura, estudios cualitativos.
 Resultados

• Se generaron 260 ítem, 32 más luego de la revisión de literatura.

• Luego de consolidar quedaron 188 ítems, distribuídos en 7

dimensiones.
 Resultados

Resultados de la Fase 2.

Juicio del panel

Luego de la construcción del instrumento, se creó un panel de
expertos, constituido por 15 miembros, 4 desarrolladores de
instrumentos, 4 investigadores oncólogos, 3 enfermeras expertas en
comunicación y 4 enfermeras de oncología.
• Se formó el panel para dar validez cuantitativa y cualitativa al
instrumento.
• Se requirió al panel 3 veces, primero para dar la ratio de validez de
contenido, índice de validez de contenido y comprensión del
instrumento.
 Resultados

• Se les invitó vía correo electrónico, o en persona. En caso de no

tener respuesta a la semana se les visitó.

• En la primera evaluación se eliminaron 108 ítems, el motivo, por

tener una ratio de validez de contenido menor de 0.49. De acuerdo
a la tabla de Lawshe, el valor de corte 0.49.
Resultados
 Resultados
• Los ítems fueron modificados de acuerdo a la opinión de los
expertos, y se los requirió por segunda vez, para la evaluación del
Índice de Validación de Contenido, con calificación de 1 a 4, sobre
la relevancia y claridad.

• Índice de validez de contenido de Waltz and Bussel.

• Para la validez de contenido de cada ítem se dividió entre 14. Uno

de los expertos no participó.

• Con esta evaluación se eliminaron 4 ítems, con score menor de

0.70. Ocho con resultados entre 0.70-0.79 fueron modificados.
• Así mismo, se eliminaron 2 ítems por cuestiones éticas.
 Resultados

• En esta fase se aumentó un ítem.

• 57 ítems, fueron evaluados por tercera vez, sobre la relevancia,

comprensión y claridad. 4 ítems con CVI menor de 0.70 fueron eliminados.
• Tabla 4 muestra los valores del S-CVI, I-CVI Y Kappa modificado de los 53
ítems.
Resultados
Resultados
 Resultados

Validez aparente del instrumento

• Se invitó a 10 personas con larga historia de cáncer para evaluar la importancia,

simplicidad y compresión de los ítems, en una intervención con participación de un
miembro del equipo de investigación.

• Se llegó a un acuerdo para hacer comprensible algunos ítems.

• Adicionalmente se hizo un análisis cuantitativo para calcular el impacto de score de cada
ítem.

• 9 ítems tuvieron score de impacto menor de 1.5 y fueron eliminados.

• Finalmente se quedó con 44 ítems en siete dimensiones.
 Discusión
• En el presente estudio se demuestra la cantidad de índices para dar
validez de contenido a un nuevo instrumento llamado instrumento
para medir la comunicación centrada en el paciente.

• Se puede decir que el proceso es lento.

• La validez del instrumento podría ser estudiada por su realización

( consistencia interna y re test), validez del constructo (análisis del
factor) y criterios referidos a la validación.
 Discusión

• Algunas limitaciones, expertos en feed back, es algo subjetivo.

• Si el dominio del contenido no está bien definido, no se puede

identificar los contenidos que pudieron haber sido omitidos.
 Discusión

• El estudio de validez de contenido es un proceso sistemático y

subjetivo y tiene 2 pasos.

• En el primer paso se diseña el instrumento, y en el segundo se

juzga / cuantifica los items del instrumento con la opinión de los
expertos, de acuerdo a las definiciones teóricas y operacionales.
 Conclusiones
• La capacitación en el estudio de validez de contenido ayuda a los
estudiantes, investigadores y personal clínico a comprender, usar y
criticar mejor los instrumentos de investigación con un enfoque más
preciso.

• Validez de contenido : (validez de definición, validez lógica)

capacidad de un instrumento para medir apropiadamente el
constructo en estudio
 Conclusiones

• En general, el estudio de validez de contenido reveló que este

instrumento disfruta de un nivel apropiado de validez.

• El índice general de validez de contenido del instrumento utilizando un

enfoque conservador (enfoque de acuerdo universal) fue bajo; sin
embargo, se puede defender con respecto al alto número de expertos
en contenido que dificulta el consenso y el alto valor del S-CVI con el
enfoque promedio, que fue igual a 0,93.
GRACIAS POR SU ATENCIÓN…