Validacin de Mtodos

Cualitativos
Caso de Aplicacin

Agenda
Introduccin
Definiciones
Clasificacin
Validacin
Evaluacin de Mtodos Cualitativos
Caso de Aplicacin
Conclusiones

Introduccin
La validacin de mtodos debe llevarse a cabo cada vez

que se incorpore un nuevo mtodo en el laboratorio.

VALIDAR / VERIFICAR EL DESEMPEO DEL MTODO

ASEGURAR LA CALIDAD DE LOS RESULTADOS

Introduccin
En el laboratorio existen mtodos:
- Cuantitativos
- Semi-cuantitativos
- Cualitativos

Introduccin
Existen guas claramente definidas para la

validacin de mtodos cuantitativos.

No existen lineamientos claros para los

mtodos cualitativos y semi-cuantitativos.

Los parmetros de calidad que caracterizan a

los mtodos cualitativos son distintos.

Agenda
Introduccin
Definiciones
Clasificacin
Validacin
Evaluacin de Mtodos Cualitativos
Caso de Aplicacin
Conclusiones

Definiciones
Mtodos Cualitativos
Aseguran la presencia o ausencia de uno o ms analitos en una
muestra considerando sus propiedades fsicas, biolgicas o
qumicas.
Mtodos de anlisis cuya respuesta es la presencia o ausencia de
un analito, detectado en forma directa o indirecta en una
muestra.
Se emplean para saber si una muestra contiene uno o ms

analitos.
Presencia/ausencia con respecto a un nivel de concentracin.
Por debajo de ese lmite la concentracin del analito se
considera despreciable.

Definiciones
Puede ser necesario un instrumento para la deteccin del

analito o se puede aplicar nicamente los sentidos.

La respuesta de estos mtodos suele ser binaria (ms all del

tipo de deteccin)

-SI / NO
-POSITIVO / NEGATIVO
-REACTIVO / NO REACTIVO
Existen otros tipos de respuesta

-POSITIVO / Zona Gris / NEGATIVO

-REACTIVO / Zona Gris / NO REACTIVO

Definiciones
Mtodos Semi-cuantitativos
Se encuentran entre los mtodos cualitativos y

cuantitativos.
Ofrecen una cuantificacin somera con una incertidumbre
importante.
Los resultados se terminan agrupando en clases:
- Positivo (+ + +)
- Positivo Dbil (+)
- Zona Gris (+ / -)
- Negativo (-)

Definiciones
Los mtodos cualitativos o semi-cualitativos se
emplean como mtodos de screening
Mtodos (tests) de Screening
- Separan o discriminan muestras de un grupo ms grande.
- Uno o ms analitos por encima o por debajo de un valor

preestablecido.
- Este valor preestablecido puede haber sido establecido de
distintas formas:
1) Organismo oficial
Lmite de Especificacin
2) Control de Calidad Interno
Valor de Corte
3) Requerimientos del Cliente

Definiciones
Hay analito por encima de un determinado valor, Xsl?
>Xsl
<Xsl

SISTEMA DE
SCREENING
MUESTRAS
NO
NO SE
ANALIZA

SI

ANLISIS
CUANTITATIVO

Agenda
Introduccin
Definiciones
Clasificacin
Validacin
Evaluacin de Mtodos Cualitativos
Caso de Aplicacin
Conclusiones

Clasificacin
Existen distintos criterios de clasificacin.

Clasificacin
Deteccin sensorial

A travs de la vista
Ejemplos:?

Deteccin Instrumental

La respuesta instrumental se transforma en respuesta

binaria
Se trabaja con la respuesta del lmite de especificacin o
calor de corte
Ejemplos: ?

Agenda
Introduccin
Definiciones
Clasificacin
Validacin
Evaluacin de Mtodos Cualitativos
Caso de Aplicacin
Conclusiones

Validaciones
Los mtodos cualitativos deben Validarse / Verificarse

VALIDACIN
Validation es la confirmacin mediante el exmen y la
provisin de una evidencia objetiva de que se han satisfecho
unos requisitos particulares para un uso retendido y
especfico (1).

(1) Definicin segn la norma ISO 8402 Validacin de mtodos analticos cualitativos. I. Ruisnchez, E. Trullols, X. Ruis.

Validaciones
Establecer parmetros de desempeo.

Los mismos que en los mtodos cuantitativos?

Validaciones
Verificar o Validar los parmetros de desempeo
9 Trazabilidad
9 Sensibilidad
9 Especificidad
9 Tasa de Falsos positivos
9 Tasa de falsos negativos
9 Lmite de corte y su incertidumbre
9 Lmite de deteccin

Validaciones
Trazabilidad y Veracidad - Algunas consideraciones
1)- Por lo general no existen CRMs para mtodos
cualitativos
2)- El uso de CRMs en mtodos cualitativos es
complicado
3)- Comparacin frente a Mtodos de Referencia
4)- Los mtodos de referencia suelen ser mtodos
cuantitativos
5)- Participacin en esquemas interlaboratorio

Validaciones
Valor de corte Cut Off
En

un mundo ideal!!!

En

el mundo real!!!

Validaciones
Falso Positivo (FP)

Muestras (+) por el test de screening y (-) por el mtodo

de referencia

Falso Negativo (FN)

Muestras (-) por el test de screening y (+) por el mtodo

de referencia

Validaciones
Positivo Verdadero (TP)

Muestra (+) por el test de screening y (+) por el mtodo

de referencia

Negativo Verdadero (TN)

Muestra (-) por el test de screening y (-) por el mtodo de

referencia

Validaciones
Tasa de Falsos Positivos

Probabilidad de que una muestra con valor verdadero

negativo d un valor positivo por el test de screening

Tasa de FP =

FP: Falso Positivo

FN: Falso Negativo
TP: Positivo Verdadero
TN: Negativo Verdadero

FP
FP + TN

Validaciones
Tasa de Falsos Negativos

Probabilidad de que una muestra con valor verdadero

positivo d un valor negativo por el test de screening

Tasa de FN =

FP: Falso Positivo

FN: Falso Negativo
TP: Positivo Verdadero
TN: Negativo Verdadero

FN
FN + TP

Validaciones
Sensibilidad

Capacidad o habilidad de un test de screening de detectar

muestras positivas cuando realmente son positivas

TP
Sensibilidad =
TP + FN

FP: Falso Positivo

FN: Falso Negativo
TP: Positivo Verdadero
TN: Negativo Verdadero

Validaciones
Especificidad

Capacidad o habilidad de un test de screening de detectar

muestras negativas cuando realmente son negativas

TN
Especificidad =
TN + FP

FP: Falso Positivo

FN: Falso Negativo
TP: Positivo Verdadero
TN: Negativo Verdadero

Validaciones
Zona de Incertidumbre

Corresponde a la regin en la cual se obtienen respuestas

falsas (falso negativo o falso positivo)

Validaciones
Lmite de Deteccin y Cut Off
Error Beta: Tasa de
FN
Error Alfa: Tasa de FP
Menor cantidad de analito que puede ser detectada en una matriz
Error: Tipo Beta 5 %
Mximo nivel de concentracin permitido
Lmite superior de la zona de incertidumbre
Sensibilidad 95%
Cut Off

Validaciones
Lmite de Deteccin y Cut Off
Error Beta: Tasa de FN
Error Alfa: Tasa de FP

Si consideramos el caso de mnima concentracin permitida

Error Alfa: 5 %
Lmite inferior de la Zona de incertidumbre

Validaciones
Cut Off

Nivel de concentracin en el cual el test de screening

diferencia las muestras con una probabilidad de error
aceptable ( 5 %)
Si hablamos de mximo nivel permitido:
- Cut Off se relaciona con sensibilidad
- Corresponde a la concentracin donde la sensibilidad es del 95 %
y el error de tipo Beta (Falso negativo) ha sido fijado al 5 %
Error Beta: Tasa de FN
Error Alfa: Tasa de FP

Agenda
Introduccin
Definiciones
Clasificacin
Validacin
Evaluacin de Mtodos Cualitativos
Caso de Aplicacin
Conclusiones

Evaluacin de Mtodos Cualitativos

Bsicamente existen varias formas de evaluar los

parmetros de desempeo de los mtodos cualitativos

Destacamos cuatro, todas ellas con ventajas y desventajas:

- Tablas de Contingencias
- Teorema de Bayes
- Test Estadsticos de Hiptesis
- Curvas Caractersticas de Desempeo

Evaluacin de Mtodos Cualitativos

Tablas de Contingencia
Diferencian las muestras en 2 categoras ( + y -) por el test de
screening y establecen una tabla de comparacin con
respecto al mtodo de referencia o confirmacin.

Fuente Validacin de mtodos analticos cualitativos. I. Ruisnchez, E. Trullols, X. Ruis.

FP: Falso
Positivo
FN: Falso
Negativo
TP: Positivo
Verdadero
TN: Negativo
Verdadero
N: Nmero total
de ensayos

Evaluacin de Mtodos Cualitativos

Tablas de Contingencia
Permiten calcular 4 parmetros de desempeo

- Falsos Positivos
- Falsos Negativos
- Sensibilidad
- Especificidad
Permiten calcular 2 valores predictivos

- Probabilidad de Resultado positivo (PVP)

- Probabilidad de Resultado negativo (PVN)

Validaciones
Probabilidad de Resultado Positivo (PVP)

Probabilidad de que un individuo con un resultado positivo

del test tenga una enfermedad o caracterstica, que el test
est diseado para detectar

TP
PVP =
TP + FP
FP: Falso Positivo
FN: Falso Negativo
TP: Positivo Verdadero
TN: Negativo Verdadero

Validaciones
Probabilidad de Resultado Negativo (PVN)

Probabilidad de que un individuo con un resultado negativo

del test no tenga una enfermedad o caracterstica, que el
test est diseado para detectar

TN
PVN =
TN + FN

FP: Falso Positivo

FN: Falso Negativo
TP: Positivo Verdadero
TN: Negativo Verdadero

Evaluacin de Mtodos Cualitativos

Tablas de Contingencia Desventajas
Asume

que las muestras desconocidas tienen el mismo

comportamiento que las que se emplearon en el estudio.

Su

capacidad depende del nmero de muestras analizadas.

Requiere

el procesamiento de las muestras por 2 mtodos.

Evaluacin de Mtodos Cualitativos

Teorema de Bayes
Calcula la probabilidad de dar un resultado correcto (+ o -)

cuando realmente lo es.

Trabaja con probabilidades condicionales.
Requiere de muchos anlisis.
Terminologa compleja.
Muchos clculos (Probabilidades intermedias)

Evaluacin de Mtodos Cualitativos

Test Estadsticos de Hiptesis
Aplica nicamente a test con una respuesta instrumental.
Se establece la respuesta a nivel del corte.
Se compara la respuesta de la muestra con el valor

previamente establecido de corte.

Comparacin a travs de Test de Hiptesis
Trabaja con los errores alfa y beta.
Permite estimar la incertidumbre o probabilidad de
equivocarnos empleando el test de screening.

Evaluacin de Mtodos Cualitativos

Curvas Caractersticas de Desempeo

Fuente Validacin de mtodos analticos cualitativos. I. Ruisnchez, E. Trullols, X. Ruis.

Evaluacin de Mtodos Cualitativos

Curvas Caractersticas de Desempeo
Probabilidad de tener un resultado positivo en
funcin de la concentracin del analito
- Permiten calcular los 4 parmetros clsicos
- Permiten calcular el lmite de deteccin
- Permiten calcular el Cut Off
- Permiten calcular la zona de incertidumbre
Desventajas
- Requieren realizar el ensayo repetidas veces por cada
concentracin

Evaluacin de Mtodos Cualitativos

Gua para la Evaluacin de Desempeo
de Tests Cualitativos.

Evaluacin de Mtodos Cualitativos

EP12 - Estudios de Precisin
9 Recomienda desarrollar experimentos de
precisin en concentraciones cercanas al Cut Off.
Intervalo 95 % (C5-C95)
C5

Cut Off C50

C95

5 % (+)
95 % ( -)

50 % (+)
50 % ( -)

95 % (+)
5 % ( -)

Evaluacin de Mtodos Cualitativos

EP12 - Estudios de Precisin
Establecer la concentracin de Cut Off
Establecer que el Cut Off +/- un 20 % est dentro del intervalo
del 95%.
El Cut Off puede estar en el inserto del reactivo
El Cut Off puede ser estimado por repeticiones de diluciones
sucesivas de una muestra +.
Preparar muestras en las siguientes concentraciones:
1) Cut Off + 20 %
3) Cut Off
2) Cut Off 20 %
Repetir las muestras 20 veces

Evaluacin de Mtodos Cualitativos

EP12 - Estudios de Precisin
Para cada una de las tres muestras determinar el % de
resultados + y-.
Verificar los resultados.

Evaluacin de Mtodos Cualitativos

EP12 - Estudio de Comparacin

Puntos Crticos:

- Muestras
- Nmero de muestras
- Duracin
- Inspeccin de datos
- Manejo de datos discordantes
- Mtodo de comparacin

Evaluacin de Mtodos Cualitativos

EP12 - Estudio de Comparacin
Anlisis

de Datos de acuerdo al Comparador

El comparador es Criterio de Exactitud Diagnstica

El comparador no es Criterio de Exactitud Diagnstica

Evaluacin de Mtodos Cualitativos

EP12 - Estudio de Comparacin
Si el comparador es Criterio de Exactitud Diagnstica
Se puede estimar:
9 SENSIBILIDAD
9 ESPECIFICIDAD
9 TASA DE FALSOS POSITIVOS
9 TASA DE FALSOS NEGATIVOS
9 PVP
9 PVN

Evaluacin de Mtodos Cualitativos

EP12 - Estudio de Comparacin
Si el comparador NO es Criterio de Exactitud
Diagnstica
Se puede estimar:
9 Porcentaje de Acuerdo Positivo
9 Porcentaje de Acuerdo Negativo

Agenda
Introduccin
Definiciones
Clasificacin
Validacin
Evaluacin de Mtodos Cualitativos
Caso de Aplicacin
Conclusiones

Caso de Aplicacin

Anticuerpos totales
para HIV1 y HIV2.
Elecsys HIV combi Modular Analytics E170

Caso de Aplicacin
EL ENSAYO

ECLIA Principio sandwich

El Cut Off se calcula a partir de los calibradores: CAL-1
(negativo) y CAL-2 (positivo).
(1)

El resultado se expresa como Cot Off Index.

(2)

Interpretacin de resultados:
COI < 0.9 No Reactivo
COI > 1 Reactivo
COI > 0.9 a < 1 Indeterminado

(1) (2) Fuente

Caso de Aplicacin
Estudios de Precisin
Se ensayan los CONTROLES DE CALIDAD
INTERNOS durante 20 das.
C 1 Negativo (Cut Off Index: 0.237)
C2 Positivo (Cut Off index: 9.96)
C3 Positivo (Cut Off index: 11.33)

Caso de Aplicacin
Estudios de Precisin
CONTROLES DE CALIDAD INTERNOS
SD Claim = CV inserto x Claim Concentration/100

Laboratorio Dr
House

INSERTO DEL REACTIVO

EP Evaluator R8

Caso de Aplicacin
Estudios de Precisin
CONTROLES DE CALIDAD INTERNOS

EP Evaluator R8

Caso de Aplicacin
Estudios de Precisin
CONTROLES DE CALIDAD INTERNOS

EP Evaluator R8

Caso de Aplicacin
Estudios de Precisin C5 C95
Se ensayan dos diluciones con valores de COI
cercanos al Cut Off.
Cmo seleccionamos las diluciones ?
Se desarrolla un perfil de precisin cercano al Cut
Off.
C5 dil 1/32
C95 dil 1/16

Caso de Aplicacin
Estudios de Precisin C5 C95
Se ensayan las diluciones al menos 20 veces cada
una.
Se emplean los operadores estadsticos para
demostrar que:
Ambas poblaciones tienen una distribucin
normal.
Ambas poblaciones son estadsticamente
diferentes del Cut Off (1).
Ambas poblaciones son estadsticamente
diferentes entre s.

Caso de Aplicacin
Estudios de Precisin C5 0.05

CV= 4.6 %

Programa NCSS

Caso de Aplicacin
Estudios de Precisin C95 0.01

CV= 4.1 %

Programa NCSS

Caso de Aplicacin
Estudios de Precisin C5 C95

Programa NCSS

Caso de Aplicacin
Estudios de Precisin C5 C95

Programa NCSS

Caso de Aplicacin
Estudios de Precisin C5 C95
CV C5= 4.6 %
CV C95= 4.1 %

Caso de Aplicacin
Estudios de Comparacin
Se estudian dos poblaciones de pacientes:
9 150 pacientes sanos (no reactivos)
9 50 pacientes con diagnstico de HIV (Western

blot y clnica)

Caso de Aplicacin
Estudios de Comparacin

EP Evaluator R8

Caso de Aplicacin
Estudios de Comparacin
EP Evaluator R8

Comparar los valores obtenidos con las especificaciones de

performance declaradas por el fabricante.

Sensibilidad declarada: 100%

Especificidad declarada: 99.63%

Caso de Aplicacin
BUBBLE CHART

Falsos
Pos.+
Zonas de
Acuerdo

Falsos
Neg.EP Evaluator R8
Las reas de las circunferencias dependen de
la cantidad de muestras

Caso de Aplicacin
ALGUNAS DEFINICIONES ADICIONALES
Acuerdo % total de los casos en que los 2 mtodos dan el
mismo resultado
Acuerdo +
% de los casos en que hay acuerdo cuando el mtodo de
referencia da +: TP/ (TP+FP)
Acuerdo
% de los casos en que hay acuerdo cuando el mtodo de
referencia da -: TN/ (TN+FN)

Caso de Aplicacin
ALGUNAS DEFINICIONES ADICIONALES
Prevalencia: Frecuencia de datos positivos en una poblacin
estudiada
-Dato experimental
-Dato de Bibliografa
-Cantidad de datos evaluados

Caso de Aplicacin
Estimacin de la ZONA DE NO CONFIABILIDAD
Se estima a travs de resultados de calibraciones
y empleando la Ley de Propagacin de Errores.
1) Buscar la ecuacin utilizada para el clculo del
Cut Off.
2) Calcular el Cut Off.
3) Estimar el CV del cut Off.
4) Comparar el CV del Cut Off con la zona de no
confiabilidad declarada por el fabricante.

Caso de Aplicacin
Estimacin de la ZONA DE NO CONFIABILIDAD

Cut Off Promedio: 23997 RLU

S2co =

CO x Scal12 + CO x Scal2
Cal1
Cal2

S co= 1680 RLU CV co = 7.0% < 10% (ZNC)

Evaluacin de Mtodos Cualitativos

Un ejemplo
El comparador no es Criterio de
Exactitud Diagnstica

Evaluacin de Mtodos Cualitativos

Evaluacin de Mtodos Cualitativos

Evaluacin de Mtodos Cualitativos

Indica el nivel de acuerdo entre 2 mtodos

Puede adoptar valores entre -100% y 100%
Un valor de 0% indica ausencia de acuerdo
Un valor de 100% indica acuerdo perfecto
Es deseable un valor por encima de 75%

Evaluacin de Mtodos Cualitativos

Indica la probabilidad de que los mtodos

sean significativamente diferentes.

Si son diferentes indica en qu direccin.
Evala simetra entre los dos mtodos.

Agenda
Introduccin
Definiciones
Clasificacin
Validacin
Evaluacin de Mtodos Cualitativos
Caso de Aplicacin
Conclusiones

Conclusiones
Existen cada vez ms mtodos cualitativos.
Hay confusin en la nomenclatura.
Hay confusin en la clasificacin de mtodos

cualitativos.
La validacin de mtodos cualitativos es un tema
importante para asegurar la calidad de los resultados
que estos mtodos generan.
No existe consenso sobre cmo realizar estas
validaciones.
Los parmetros de desempeo estn bien definidos.
Gua de consenso: EP 12-A2 de la CLSi

MUCHAS GRACIAS!