Comparacin de mtodos

Objetivos:
demostrar que un (nuevo) mtodo tiene buena
correspondencia con otro (de referencia)
demostrar que una determinacin tiene las
mismas prestaciones con diferentes tipos
Premisas de los estudios de
comparacin de mtodos:
relacin lineal entre las dos determinaciones
establecidos el LOD y el rango dinmico
transformacin para normalizar los datos
Anlisis:
para detectar sesgo constante y proporcional

COMPARACIN DE MTODOS

Sesgo (error) constante

Sesgo (error) proporcional

La diferencia entre ambos mtodos es

constante a lo largo del rango de medicin

La diferencias entre ambos mtodos es lineal a

lo largo del rango de medicin

Method Y vs. Method X

Method Y vs. Method X

Difference vs. Average

Difference

0.0

Method Y
5

0
-2

-0.5

-1

Method Y

Difference

0.5

1.0

Difference vs. Average

Average

Average

Method X)

Method X

Transformaciones

Metodologa estadstica

Ej.: determinaciones basadas en la

PCR
log10 puede eliminar parte del sesgo

7.2E1 cp/mL

1.4E7 cp/mL

0.020

0.3

10

20

40

60

80

100

120

140

6*10^6

10^7

1.4*10^7

Titer

Titer

Titer

7 cp/mL

7.2E1 cp/mL

1.4E7 cp/mL
5
3

2.0
1.5

0.6

-0.5
Titer

0.0

0.5

1.0

0.0
-1.5

0.5

1.0

0.4
0.2
0.0

transformacin log10

2.5

0.8

3.0

0.0

0.0

5*10^-8

0.010

0.2
0.1

sin transformar

1.5*10^-7

0.4

0.030

7 cp/mL

Coeficiente de correlacin
Otros coeficientes
Test t
Diagrama de Bland-Altman
Regresin de mnimos cuadrados
Regresin de Deming
Regresin de Passing-Bablok

1.4

1.6

1.8
Titer

2.0

2.2

6.8

6.9

7.0

7.1

7.2

Titer

Coeficiente de correlacin

Otros coeficientes

Mide la intensidad de la relacin

lineal entre dos determinaciones
No mide concordancia: no puede
detectar sesgo proporcional o
constante
El coeficiente de correlacin puede
ser artificialmente alto para
determinaciones que cubran un
amplio espectro de valores
Qu significa alto? es alto
0,95? y 0,99? y 0,995?

Coeficiente de concordancia
Mide la intensidad de las relaciones entre dos
determinaciones que caen en la lnea de 45
por el origen (Lin, 1989)
C =

2 1 2

21 + 22 + ( 1 2 )

Coeficiente de correlacin con el

patrn ureo
Mide la correspondencia entre una nueva
determinacin y el patrn ureo (St. Laurent
S GG
1998)
G =
( S D D + S GG )

Test t

Diagrama de Bland-Altman

El test t para datos apareados para la

diferencia entre la media de las
mediciones por los dos mtodos
Slo puede detectar sesgo constante
No puede detectar sesgo
proporcional

Mtodos:
Representar la diferencia entre los dos
mtodos (D = X-Y) vs. la media de los dos
resultados (A = (X+Y)/2)
Inspeccionar visualmente el diagrama y ver si
hay tendencias (sugeriran sesgo proporcional)
Resumir el sesgo entre los mtodos con la
media, sd, IC 95 % (sesgo constante)
Modificacin: calcular la regresin D con A,
evaluar si la pendiente = 0 (Hawkins, 2002)
Herramienta visual til:
Transformacin, heteroscedasticidad, datos
extremos, curvatura (Bland and Altman, 1986)

10

Overview of difference plots with mean differences (solid lines) and 2s limits (dashed lines)

Diagrama de Bland-Altman
Method Y vs. Method X

0.5
0.0

Difference (log Titer)

-0.5

Dewitte, K. et al. Clin Chem 2002;48:799-801

Average (log Titer)

2

Method Y (log Titer)

1.0

Difference vs. Average

6
Method X (log Titer)

11

12
Copyright 2002 American Association for Clinical Chemistry

Regresin por mnimos cuadrados

Mtodo
Calcular la regresin de los datos observados
en el nuevo mtodo (Y) con los obtenidos con
el de referencia (X)
Minimizar los cuadrados de las desviaciones
de la lnea identidad en sentido vertical
Modificaciones: mnimos cuadrados
ponderados
Suposiciones
El mtodo de referencia (X) no contiene error
(o es relativamente pequeo en comparacin
con el rango de medida) P ej. en bioqumica
clnica, los errores de medicin suelen ser
mnimos

Regresin por mnimos cuadrados

13

Linnet, 1999

14

Regresin por mnimos cuadrados

Si hay errores de medicin en ambos
mtodos, las estimaciones estn
sesgadas
la pendiente tiende a ser menor;
la interceptacin tiende a ser mayor

15

16

Regresin de Deming
Mtodo:
Estimacin de mnimos cuadrados ortogonales:
minimiza las desviaciones al cuadrado de los
datos observados a la lnea de regresin
Obtencin de los errores estndar para los
estimados mediante el mtodo de Jackknife
Regresin ponderada si hay heteroscedasticidad
Suposiciones
Los errores de medicin para ambas
determinaciones siguen DNI(0,s)
Las varianzas de los errores son proporcionales
(la varianza no es necesariamente constante en el
rango de datos) (Linnet, 1990)
17

18

Regresin de Deming

Regresin de Deming
y = a y x + by x x

1
2
b y x = U + U +

a = y b x
yx
yx
N

U =

( y
i =1

y)
2

( x
i =1

x)

2 ( y i y )( x i x )

s 2y

s 2x

2r sx sy

i =1

s 2e x
s 2e y
N

sy x =

( y
i =1

N 2

19

Linnet, 1999

N 1 2
(s y by x r s y s x )
N 2

20

Regresin de Passing-Bablok

21

22

Regresin de Passing-Bablok
no paramtrica, robusta a datos extremos
Mtodo
Estimacin de la pendiente como la mediana
de las pendientes entre todos los posibles pares
de puntos (Theil )
Intervalos de confianza obtenidos por tcnicas
de ordenacin
Suposiciones
Los errores de medicin para ambas
determinaciones siguen la misma distribucin,
no necesariamente normal
El cociente de varianzas constante (aunque no
sea constante en el rango de medida)
Las distribuciones muestrales son arbitrarias
(Passing and Bablok, 1983

Cornbleet & Gochman, 1979

Regresin de Deming ponderada

Linnet, 1999

y ) b y x ( x i x )( y i y )
2

Regresin de Passing-Bablok
Y
A
C
B

X
23

24

Software
Paquetes estadsticos: SAS, Splus, R
Otros paquetes (para diagramas de
Bland-Altman regresin por OLS,
regresin de Passing-Bablok,
regresin de Deming):
Analyse-it (add-on de Excel): (no contiene la
regresin de Deming)
Method Validator (freeware)
CBStat (Linnet K.)
25

Criterios de aceptacin

26

Regin asimtrica de aceptacin

Asymmetrical Acceptance Region

0.5
0.0
-1.5

-1.0

Y = -0.2 + 0.9 * X

-0.5

Bias = Method Y - Method X (Log Titer)

Y = 0.2 + 1.1 * X

Method Y(Log Titer)

1.0

1.5

Slope=(0.9, 1.1), Int=(-0.2,0.2)

Criterios de aceptacin independientes

para las estimaciones de la pendiente e
interceptacin:
estimacin de la pendiente dentro de (0,9 , 1,1)
estimacin de la interceptacin dentro de (-0,2 , 0,2)
Problema: regin de aceptacin
asimtrica a travs del rango de valores

27

Criterios de aceptacin

Method X (Log Titer)

Method X (Log Titer)

28

Modelos matemticos
Mtodo de referencia: X i = i
Mtodo alternativo:
Yi = +

Objetivos
Demostrar que el nuevo mtodo equivale al de
referencia
Demostrar que el sesgo entre ambos mtodos
est dentro de un umbral aceptable en el
rango clnico
Criterio de aceptacin
E ( sesgo ) = E (Y X ) < A
Seleccin del nivel de tolerancia
Especificacin de exactitud para el nuevo
mtodo

+ i
i + i

donde: i es la concentracin verdadera

i y i son errores de medida aleatorios e independientes

Sesgo:

Yi X i = + ( 1) i + i i

Criterio de aceptacin:

E (Yi X i ) = + ( 1) i < A
29

30

Comparacin de los criterios

de aceptacin

Regin de aceptacin de los

parmetros

{int.(-0,2 , 0,2) , pendiente(0,9 , 1,1)}

vs. { A=0,5
, L=2, U=7} Symmetrical Region
Acceptance Region for the Data

Los criterios para la interceptacin y

la pendiente son dependientes

1.1
0.9

1.0

Slope (Beta)

0.5
0.0
-0.5

Bias: Method Y - Method X (Log Titer)

5
4

0.8

-1.0

Method Y (Log Titer)

1.0

1.2

1.5

Acceptance Region for the Parameters

31

-1.5

2
2

Test de equivalencia
H 0 : sesgo

vs.

H 1 : sesgo

< A

( x

2
2
i ) + ( yi i )

donde = var()/var() (conocida o estimada)

i =1

Las soluciones son:

=

1
2 S xy

S y y S x x +

(S

xx

S y y ) + 4 S 2x y

= y x

Regresin de Deming ponderada:

33

Estimacin de en la
regresin de Deming

wi

s 2i

( X

1
i

+ Yi

34

Estimacin Jackknife

Medidas duplicadas:
2
1
=
( x i1 x i 2 )
s 2X
2N
= 2
2
1
sY
=
( y i1 y i 2 )
2N

>2 replicados: errores residuales por

ANOVA
Errores de especificacin de
estimacin sesgada de la pendiente
gran error Tipo I

(regresin de errores-en-las-variables, modelo

estructural o de relaciones funcionales)

S =

sesgo cae por completo en la regin de

aceptacin, entonces los mtodos son
equivalentes (- A, A),
Se utiliza el mtodo de Deming-Jackknife
para la estimacin

s 2e y

32

0.5

Minimiza nla suma de los cuadrados:

Si el intervalo de confianza 90% bilateral del

0.0
Intercept (Alpha)

Regresin de Deming

A: exactitud del nuevo mtodo

2
ex

-0.5

(Linnet 1998):
35

para obtener las estimaciones finales

de los parmetros i i y sus errores
estndar
Omitir un par de datos cada vez, obteniendo
una estimacin de la regresin de Deming:
Los i-simos pseudo-valores de la
interceptacin y la pendiente son:
i = n ( n 1) (i )
i = n ( n 1) ( i )

Las estimaciones finales y e.s.s para y son

la media y el error estndar de Y

36

Estimacin Jackknife del sesgo

New Method (log Titer)

Methods Comparison Study

A cada nivel nominal , el i-simo

pseudo-valor del sesgo es:
sesgo i = n + 1 ( n 1) ( i ) + (i ) 1

La estimacin del sesgo y del e.s. a

cada nivel nominal son la media y el
e.s. del sesgo
El IC al 90% del sesgo a cada nivel
nominal se compara con la regin de
aceptacin (-A, A)
Dos mtodos son equivalentes si
todos los IC caen por completo
dentro de (-A, A)

Ejemplo 1: determinacin de HIV1

37

Diagrama de Bland-Altman

38

Identificacin de datos extremos

Bland-Altman Plot: Full Data Set

Leverage

34860

34944

0.08

0.5

0.10

1.0

Residual Plot for Diff vs. Avg

0.06

Leverage

0
-1

0.0

Studentized Residual

34851

34794

-3

Average of Reference and New (log Titer)

39

0.0

0.01

0.02

0.03

0.04

10

20

Fitted Difference

Eliminacin de datos extremos

30

40

50

40

Samples

Anlisis de la regresin
Regression Analysis

-0.4

diferencia media = 0.02

(IC 95%: -0.06, 0.10)

5
4

-0.2

0.0

New Method (log Titer)

0.2

0.4

Bland-Altman Plot

OLS: Y=0.084+0.986X
Passing-Bablok: Y=-0.137+1.044X
Deming-Jackknife: Y=-0.127+1.033X

pendiente = 0.033 (valor p = 0.5)

3

-0.6

Difference = New - Reference (log Titer)

0.02

-2

0.04

-0.5

Difference = New - Reference (log Titer)

Reference Method (log Titer)

Average of Reference and New (log Titer)

41

Reference Method (log Titer)

42

Estimacin del sesgo

Ejemplo 2: EDTA plasma y suero

Estimated Bias (90% CI) by Deming-Jackknife Regression

7
4

Serum (log Titer)

0.2
0.0
-0.2

-0.4

-0.6

Difference = New - Reference (log Titer)

0.4

Matrix Equivalency Study

Reference Method (log Titer)

43

Diagrama de Bland-Altman

44

EDTA (log Titer)

Heteroscedasticidad

Bland-Altman Plot

Serum

0.12
0.02
3

45

Average of EDTA and Serum (log Titer)

46

Mean Serum (log Titer)

Estimacin del sesgo

Estimated Bias (90% CI) by Deming-Jackknife Regression

0.5

-1.0

s suero = 0, 072

0.0

s EDTA = 0, 071

-0.5

Difference = Serum - EDTA (log Titer)

Median Lambda = 0.945

5
Mean EDTA (log Titer)

Lambda Estimation

Var(EDTA Errors)/Var(Serum Errors)

0.10

SD Serum (log Titer)

0.06
0.04

0.04
0.02

0.08

0.12
0.10
0.06

0.08

SD EDTA (log Titer)

0.0
-0.5

pendiente = 0,.03 (valor p = 0,6)

diferencia media = - 0,06 (IC 95%: - 0,16, 0,04)
-1.0

Difference = Serum - EDTA (log Titer)

0.5

0.14

0.14

EDTA

5
Average of EDTA and Serum (log Titer)

47

5
EDTA (log Titer)

48

Referencias

Referencias

Bland M., Altman D. (1986). Statistical methods for assessing

agreement between two methods of clinical measurement.
Lancet 347: 307-310.
Hawkins D. (2002). Diagnostics for conformity of paired
quantitative measurements. Stat in Med 21: 1913-1935.
Lin L.K. (1989). A concordance correlation coefficient to
evaluate reproducibility. Biometrics 45: 255-268.
Linnet K. (1990). Estimation of the linear relationship
between the measurements of two methods with proportional
bias. Stat in Med 9: 1463-1473.
Linnet K. (1993). Evaluation of regression procedures for
methods comparison studies. Clin Chem 39: 424-432.
Linnet K. (1998). Performance of Deming regression analysis
in case of misspecified analytical error ratio in method
comparisons studies. Clin Chem 44: 1024-1031.
Linnet K. (1999). Necessary sample size for method
comparison studies based on regression analysis. Clin Chem
45: 882-894.

49

Passing H., Bablok W. (1983). A new biometrical procedure

for testing the equality of measurements from two different
analytical methods. J Clin Chem Clin Biochem 21: 709-720.
Passing H., Bablok W. (1984). Comparison of several
regression procedures for method comparison studies and
determination of sample sizes. J Clin Chem Clin Biochem 22:
431-445.
St. Laurent R.T. (1998). Evaluating Agreement with a Gold
Standard in Method Comparison Studies. Biometrics 54: 537545.

50