Procedimientos de validación de obtención

de datos: confiabilidad y validez del

instrumento de recolección de datos
 “ ▸ validezinterna
y externa en la
investigación

2
 Validez externa
La validez externa se relaciona con la posibilidad de
generalizar nuestros resultados

¿A qué población puedo generalizar mis resultados?

Daniel, W. Bioestadística. Base para el análisis de las ciencias de la salud. 4ª. ed. México. Limusa Wiley. 2011. (La versión electrónica de este texto está en
http://es.scribd.com/doc/58419994/Daniels-Capitulo-1-Bioestadistica-base-para-el-analisis-de-las-ciencias-de-a-salud-Daniel-Wayne-W
3 Sampieri RH. Metodología de la investigación: las rutas cuantitativa, cualitativa y mixta: McGraw Hill México; 2018.
 Validez interna
La validez interna se preocupa por saber si los cambios
observados se podrían deber a la manipulación de las variables
Problemas metodológicos (errores sistemáticos)
▸ Sesgo de selección: características de los individuos
▸ Sesgo de información:
▹ El sujeto de investigación
▹ El instrumento para la medición de la o las variables
▹ Quienes hacen la evaluación de las mediciones
4
 “ ▸ Elinstrumento
para la
medición de la o
las variables

5
 “ ▸ ¿Qué instrumentos
utilizan en
investigación?
▸ ¿método de selección
del instrumento?

6
 Medición

▸ Asignación de números o valores a los objetos, están

sujetos a normas o reglas.
▸ Instrumento de medición nos ayuda a la recolección de
esta información

7
 Confiabilidad
▸ Se refiere al grado en que su aplicación repetida al mismo
individuo u objeto producen resultados iguales

Temperatura Prueba psicológica Hora de un reloj

8
 Validez
La validez se refiere al grado en que un instrumento
realmente mide la variable que pretende medir.

Conocimientos=prácticas Actitudes=percepciones

Inteligencia=memoria

9
 Ejemplo de confiabilidad y validez

▸ Ejemplo:
▸ 1. Un test de inteligencia que mida
memoria y siempre de resultados para
memoria
▸ 2. Un reloj en el que siempre se ajusta
la hora.
▸ 3. Un test de inteligencia que mida
memoria y siempre sean resultados
distintos
▸ 4.Un reloj que siempre mida la hora
precisa

10
 Regla de oro

La Confiabilidad y la Validez no deben

tratarse de forma separada, sino
conjuntamente, sin uno de ellos el
instrumento no es útil.

11
 “ Quienes hacen la
evaluación de las
mediciones
.

12
 Ejemplos

13
 Sesgo en las mediciones

▸ Es posible que existan errores en la medición de las

variables de estudio por las personas encargadas, los
errores pueden ser:
▹ En la interpretación de dichos datos (placebo vs fármaco)
▹ En la forma de llevar a cabo el levantamiento o recolección de los
datos
▹ En el número de los observadores de recolectar los datos

14
 Ejemplo

Vamos a determinar la prevalencia de caries en adultos de la colonia Obrera

1 2 3

15
 ¿Cómo mejorar la confiabilidad de las
mediciones?

1. Definiciones operacionales de las variables

2. Capacitación de las personas que van a realizar
las mediciones (estandarización)
3. Al utilizar instrumentos mecánicos, verificar
funcionamiento (calibración)
4. Incluir instrumentos validos y confiables

16
 Ejemplo
Vamos a determinar la prevalencia de caries en adultos de la colonia Obrera
caries es la pérdida de continuidad de la superficie del diente por mas de 5 mm

1 2 3
La mejor medición no siempre la realiza el experto
17 en el tema
 Tipos de sesgo en evaluadores

▸ interobservador (el valor identificado por los observadores varía de

uno a otro)
▸ intraobservador (el valor identificado por un mismo observador varía
de una observación a otra).

18
 Estandarización de los evaluadores

▸ Dependerá de la escala de medición de la variable a evaluar

Nominal Kappa simple

Cualitativa
Ordinal Kappa ponderada

Cuantitativa Continua Coeficiente de correlación

intraclase
Discretal ANOVA medidas repetidas
19
 Principios de Kappa

▸ El índice kappa (κ) se usa para evaluar la concordancia o

reproducibilidad de instrumentos de medida cuyo
resultado es categórico (2 o más categorías
▸ El índice kappa (κ) representa la proporción de acuerdos
observados más allá del azar respecto del máximo acuerdo
posible más allá del azar

20 Cohen J. A coefficient of agreement for nominal scales. Educ Psychol Meas 1960; 20: 37-46.
 Formula

▸ Cohen propuso el denominado índice kappa (κ), que definió

como:
a b R=a+b
Po= a+d/N
Pe= r*t+s*u/N2 c d S=c+d

t=a+c u=b+d N=a+b+c+d

Po= proporción de acuerdos observados

Pe= proporción de acuerdos esperados (acuerdos por azar)

21 Cohen J. A coefficient of agreement for nominal scales. Educ Psychol Meas 1960; 20: 37-46.
 Ejemplo
dos radiólogos diferentes ¿clasifican del mismo modo 100 radiografias?

Pe= r*t+s*u/N2

es decir: el grado de acuerdo, una vez corregido el debido

al azar, es mucho más modesto (24,5%) que lo que
indicaba el 84% de acuerdo “crudo”.

22 Cohen J. A coefficient of agreement for nominal scales. Educ Psychol Meas 1960; 20: 37-46.
 Interpretación

▸ Landis y Koch propusieron, y desde entonces ha sido

ampliamente usada, la escala de valoración del índice κ

23 Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33: 159-174.
 Ejemplo

▸ Se tiene un grupo de 80 personas en las que se evaluó la presencia de

fiebre. Dos evaluadores que anotan un "Sí" o un "No", según un valor
superior de 38.0. El resultado del análisis genera la tabla siguiente, en la

B
Fiebre Sin fiebre
Pe= r*t+s*u/N2
Fiebre 35 20 55
A Sin fiebre 15 10 25
Pe=55*50+25*30
802 =0.54
50 30 N= 80
Pe=0.56-0.54
=0.04
1-0.54
24
 Ejemplo 2
▸ Se tiene un grupo de 300 personas en las que se evaluó la presencia de catarata, los 2
evaluadores clasificaron con catarata y sin catarata a 250 y 10 personas respectivamente, el
evaluador “A” clasificó a 10 personas con catarata que fueron clasificadas sin catarata por el
evaluador “B”. El resultado del análisis genera la tabla siguiente, en la

B Pe= r*t+s*u/N2
catarata Sin
catarata
catarata Pe=55*50+25*30
A 802 =0.54
Sin
catarata Pe=0.56-0.54
=0.04
1-0.54

25
 Ejercicio

▸ Dos radiólogos realizaron observaciones de las mismas 90 imágenes

para el diagnostico de fractura de cráneo, los datos obtenidos fueron:
▸ Observador A:49 positivos y 41 negativos
▸ Observador B:51 positivos y 39 negativos
▸ Ambos concordaron en 42 positivos y 42 negativos

Realice la tabla de 2x2, obtenga el valor de Kappa e interprete los

resultados
26
 Kappa para variables ordinales

▸ Cuando tenemos variables ordinales podemos realizar lo

siguiente
Dos nutriologos clasifican en tres categorías (leve, moderada, grave) a 80 personas con
desnutrición . Los resultados son

Nutriologo A
Nutriologo. B Leve Mode. Grave Total
Leve 9 8 3 20
Moderada 9 29 5 43
Grave 0 3 14 17
Total 18 40 22 80

27
 “ ▸ VALIDEZ Y
FIABILIDAD DE LAS
PRUEBAS
DIAGNÓSTICA

28
 Sensibilidad y especificidad

Desde un punto de vista funcional, consideramos prueba diagnóstica a cualquier procedimiento

realizado para confirmar o descartar un diagnóstico. La utilidad de una prueba diagnóstica
depende fundamentalmente de su validez y de su confiabilidad, pero también de su
rendimiento clínico y su coste.

Cuando se necesita clasificar de manera correcta a las personas sanas o enfermas es necesario
tener en cuanta la sensibilidad y especificidad de las pruebas, que son indicadores de validez

29
 • Sensibilidad o probabilidad de que la prueba dé positiva si la enfermedad o
condición de estudio está presente.
• Especificidad o probabilidad de que la prueba dé negativa si la
enfermedad está ausente.
• Valores predictivos positivo o probabilidad de tener la enfermedad si la
prueba ha sido positiva.
• Valores predictivos negativos o probabilidad de no tener la enfermedad si
la prueba ha sido negativa.

30
 Preguntas a responder

1. Dado que un individuo tiene la enfermedad, ¿qué probabilidad existe de que la

prueba resulte positiva (o la presencia de un síntoma)? Sensibilidad
2. Dado que un individuo no tiene la enfermedad, ¿qué probabilidad existe de que
la prueba resulte negativa (o la ausencia de un síntoma)? Especificidad
3. Dada una prueba positiva de detección (o la presencia de un síntoma), ¿qué
probabilidad existe de que un individuo TENGA la enfermedad? VPP
4. Dado el resultado negativo de una prueba de detección (o la ausencia de un
síntoma), ¿cuál es la probabilidad de que un individuo NO TENGA la
enfermedad? VPN

31
 Denotación

Probabilidades condicionales
Sensibilidad = P(T|D) = a / (a+c)
Probabilidad de una prueba positiva dado que se tiene la enfermedad.
Especificidad = P(Tneg|Dneg) = d / (b+d)

32 Probabilidad de una prueba negativa dado que NO se tiene la enfermedad.

 Denotación

Probabilidades condicionales
Valor predictivo positivo = P(D|T) = a / (a+b)
Probabilidad de tener la enfermedad dado que tiene una prueba positiva.
VPN = P(Dneg|Tneg) = d / (c+d)
33 Probabilidad de NO tener la enfermedad dado que tiene una prueba negativa.
 Ejemplo

▸ Ejemplo: Estudio que incluye una muestra aleatoria de 450 pacientes con hepatitis y
otra muestra aleatoria independiente de 500 pacientes sin la enfermedad.
hepatitis
Resultado de la Presente (D) Ausente (Dneg) Total
prueba
Positivo (T) 436 5 441
Negativo 14 495 509
(Tneg)
Total 450 500 950

Sensibilidad = P(T|D) = a / (a+c)

Sensibilidad = P(T|D) = 436 /450 = 0.97
Especificidad = P(Tneg|Dneg) = d / (b+d)
Especificidad = P(Tn|Dn) = 495 /500 = 0.99
Valor predictivo positivo = P(D|T) = a / (a+b)
VPP = P(D|T) =436 / 441 = 0.98
VPN = P(Dneg|Tneg) = d / (c+d)
34 VPN = P(Dn|Tn) =495 / 509 = 0.97
 Imagine que estemos analizando un grupo de personas que han estado en contacto con
un enfermo del Covid. Se realiza una prueba PCR y evaluaremos su capacidad de
predecir la enfermedad. Tenemos :
▸ 100 personas en el grupo (N)
▸ 10 verdaderos positivos (TP)
▸ 60 verdaderos negativos (TN)
▸ 10 falsos positivos (FP)
▸ 20 falsos negativos (FN)

35
 Consideraciones

▸ la sensibilidad y especificidad son características intrínsecas

de las pruebas de diagnóstico en Sí; no indican si el paciente
tiene o No la enfermedad que es lo que realmente como
clínicos deseamos saber.

36
 consideraciones

▸ Seleccionaremos una prueba con alta sensibilidad cuando queramos detectar enfermedades graves,
tratables o que los falsos positivos (que seguro existirán) no supongan una adversidad vital muy relevante
(mayor numero de enfermos, serán escasos aquellos pacientes con la enfermedad que no logren ser
detectados ).

▸ Seleccionaremos una prueba con alta especificidad cuando la enfermedad buscada sea difícil de tratar
(evitaremos diagnosticar erróneamente) y/o el hecho de conocer que se padece una enfermedad tenga una
importancia relevante para la persona, su entorno o el sistema (aquellos que no padecen dicha enfermedad).

37
 Para analizar

Pruebas para COVID-19

PCR: Se trata de la prueba diagnóstica más sensible y específica disponible por el momento con una
sensibilidad del 85-90% y una especificidad de casi el 100%, por lo que ha sido considerada la técnica
de elección y referencia para el diagnóstico de la COVID-19. No se ha evidenciado reactividad cruzada.

Antígeno: La sensibilidad en sintomáticos supera el 95%, siendo más elevada en estados de alta
viremia. Adicionalmente, la especificidad roza el 95-99% en estudios realizados en condiciones
óptimas.

38