El A,B,C de la Verificación de Métodos.

Desarrollo de Herramientas para el Análisis de

Datos.
Manuel E. Aliaga Lovato
Especialista de Aplicaciones SWA & RTD
USI-Roche Diagnóstica
1

Cada vez que en el laboratorio se desea

implementar un nuevo método analítico,
previamente debe evaluarse la
performance del mismo. Esto se torna
imprescindible si se considera que
dicho método generará un resultado, el
cual debe ser confiable y
fundamentalmente, debe ajustarse
perfectamente a los fines clínicos para
los cuales está destinado.

1
• Todo laboratorio que ingresa una nueva
prueba y que a partir de ella reportará
resultados de pacientes, desde un inicio
debe verificar las especificaciones de
performance establecidos por el fabricante. EXPERIMENTOS USADOS PARA LA
VERIFICACIÓN
• Demostrar que se pueden obtener
resultados comparables a los ya 1.- Un experimento de REPLICACIÓN para
establecidos por el fabricante como (*): estimar la imprecisión.

* Veracidad. 2.- Un experimento de COMPARACIÓN DE

MÉTODOS para estimar la veracidad.
* Precisión/Exactitud.
* Rango reportable. 3.- Un experimento de LINEALIDAD para
determinar el rango reportable.
• Verificar que los intervalos de referencia
del fabricante (valores normales) son
4.- Colectar valores referenciales, para
apropiados para la población de pacientes verificar el rango de referencia.
del laboratorio.
(*) Siempre que el laboratorio no modifique
el método.

La verificación de un método analítico debe realizarse a través de un

proceso estandarizado que involucra una serie de pasos:
• Definición de las Especificaciones o Requerimientos de Calidad.
• Diseño de un experimento cuidadosamente Planeado.
• Análisis de esos datos empleando un método estadístico apropiado.

Y para ello el diseño empleado debe cumplir con dos condiciones:

• Debe emplear ensayos o experimentos específicos para estimar la
magnitud de los diferentes tipos de errores analíticos.
• Debe ser práctico en lo que respecta al tiempo, al esfuerzo requerido y
a los costos.

2
MÉTODO DE VALIDACIÓN: EXPERIMENTO
DE REPLICACIÓN – PRECISIÓN

Precisión de Medida:

Proximidad entre las indicaciones o los valores medidos obtenido en

mediciones repetidas bajo “condiciones específicas”.

Es habitual que la precisión de una medida se exprese numéricamente

mediante medidas de dispersión tales como la desviación estandar (DS) o el
coeficiente de variación (CV%).

3
MÉTODO DE VALIDACIÓN: EXPERIMENTO DE
REPLICACIÓN

Cuál es el propósito del experimento de replicación?

• Nos permite estimar la imprecisión o error aleatorio.

• Error aleatorio se define como, la diferencia entre un resultado concreto de
una medida y el resultado promedio que podría observarse con un numero
infinito de mediciones del mismo mensurando llevadas a cabo en
condiciones de repetibilidad.
• Este experimento es realizado con un mínimo de 20 resultados de una
misma muestra y/o material , para luego calcular, la media, DS y CV%.
• El objetivo es observar la variación esperada en el resultado de un test, bajo
condiciones de funcionamiento normales del laboratorio.

MÉTODO DE VALIDACIÓN: EXPERIMENTO DE

REPLICACIÓN

Factores a Considerar:

• Tiempo de Periodo del experimento.

(within – run)
(within – day)
(day to day)

• Matriz de la muestra a ser probada.

Escoger entre: Sangre total, suero, orina o LCR.
Las mas usadas: Calibradores, QC y pool de muestras.

4
MÉTODO DE VALIDACIÓN: EXPERIMENTO DE
REPLICACIÓN

• El número y concentración del material a ser probada.

De 2 a 3 materiales, que medicamente tengan un nivel de decisión
importante.

• El número de muestras a ser analizadas.

Comúnmente es aceptado que un mínimo de 20 muestras debería ser medido
en el periodo de tiempo de interés.

MÉTODO DE VALIDACIÓN: EXPERIMENTO DE

REPLICACIÓN

• Cálculo de datos:

10

5
MÉTODO DE VALIDACIÓN: EXPERIMENTO DE
REPLICACIÓN

Criterios de Aceptabilidad:
• Va depender de que cantidad de error analítico es aceptable sin afectar o
limitar el empleo y la interpretación de un resultado de la prueba.
• Como un punto de partida para definir la cantidad de error que es
aceptable, se recomienda usar los criterios CLIA.
• Imprecisiones de corto plazo:
DE “Within – run” = ¼ Ó < TEa
DE “Within – day” = ¼ Ó < TEa
• Imprecisiones de largo plazo:
DE total = 1/3 Ó < TEa

11

12

6
MÉTODO DE VALIDACIÓN: EXPERIMENTO
COMPARACIÓN DE MÉTODOS

Veracidad de Medida:

El acuerdo más cercano entre el valor promedio obtenido de una gran serie
de resultados de pruebas y un valor aceptado de referencia.
La Veracidad de medida esta inversamente relacionado con el error
sistemático.
La Veracidad de medida se expresa normalmente en términos de sesgo
(Bias).

13

MÉTODO DE VALIDACIÓN: EXPERIMENTO

COMPARACIÓN DE MÉTODOS

Cuál es el propósito de la comparación de métodos?

• El propósito es valorar la veracidad o error sistemático de un método.

• Error sistemático se define como, el valor medio que pudiera resultar de un
numero infinito de mediciones del mismo mesurando llevadas a cabo en
condiciones de repetitividad, menos el valor verdadero del mensurando.
• Este experimento se puede realizar analizando muestras de pacientes por
el nuevo método y un método comparativo (por ejemplo el método que se
esta usando en ese momento), donde se estima el error sistemático basado
en las diferencias observadas entre los métodos.

14

7
MÉTODO DE VALIDACIÓN: EXPERIMENTO
COMPARACIÓN DE MÉTODOS

Factores a considerar:

El método analítico que se utilice para la comparación, debe ser seleccionado

con cuidado, para la interpretación de los resultados, lo ideal es utilizar un
método de referencia. Alguna diferencia entre el nuevo método y el método
de referencia son asignados al nuevo método, porque normalmente una
corrección del método de referencia se encuentra documentado.
Sin embargo se podría utilizar como método de comparación a algunos
métodos ya establecidos en la rutina de laboratorio, pero su interpretación
debe ser muy cuidadosa. Si las diferencias son pequeñas, podemos decir que
ambos métodos tienen relativamente la misma exactitud. Si las diferencias
son más grandes y médicamente no aceptables, entonces es necesario
identificar cual método es inexacto.

15

MÉTODO DE VALIDACIÓN: EXPERIMENTO

COMPARACIÓN DE MÉTODOS

• Número de muestras de pacientes:

Un número mínimo de 40 muestras de pacientes diferentes deben ser
testeados por ambos métodos.
Estas muestras deben ser seleccionadas con el propósito de cubrir el rango
de trabajo del método.
Debe representar también el espectro de enfermedades esperadas en la
aplicación de rutina del método.

• Mediciones simples o duplicadas:

Si bien cada muestra puede ser procesada una única vez, es ventajoso
realizar cada determinación por duplicado.

16

8
MÉTODO DE VALIDACIÓN: EXPERIMENTO
COMPARACIÓN DE MÉTODOS

• Periodo de tiempo:

Un mínimo de 5 días es recomendado, pero es preferible extender el

experimento en un período más largo, en la medida de lo posible.
Desde que el estudio de replicación a largo plazo se extendió a 20 días, el
estudio de comparación podría cubrir un periodo similar de tiempo y solo se
necesitaría de 2 a 5 muestras de pacientes por día.

17

MÉTODO DE VALIDACIÓN: EXPERIMENTO

COMPARACIÓN DE MÉTODOS

• Estabilidad de la muestra:

Los especimenes o muestras deben ser generalmente procesados dentro de

las 2 horas de recolección para ambos métodos (nuevo y comparativo). La
estabilidad se puede potenciar adicionando algunos preservantes, separando
el suero o plasma de las células, refrigerando o congelando. El manejo de
muestras necesita ser definido y sistematizado previo inicio del estudio.

18

9
MÉTODO DE VALIDACIÓN: EXPERIMENTO
COMPARACIÓN DE MÉTODOS

Graficando los datos

Esta es la parte fundamental del experimento, porque aquí hay que

inspeccionar visualmente los datos y graficar los resultados de la
comparación. Idealmente los datos deben ser ingresados conforme sean
medidos, para identificar discrepancias de resultados, que puedan complicar
el análisis de los datos.
Los gráficos más frecuentemente empleados son:

El Gráfico de diferencias.
El Gráfico de comparación.

19

MÉTODO DE VALIDACIÓN: EXPERIMENTO

COMPARACIÓN DE MÉTODOS

• El Gráfico de diferencias muestra la diferencia entre el valor obtenido por el

método en estudio menos el de comparación, en el eje de las ordenadas
versus el valor del método de comparación en el eje de las abscisas, tal
como se muestra en la siguiente figura:

20

10
 MÉTODO DE VALIDACIÓN: EXPERIMENTO
COMPARACIÓN DE MÉTODOS

• En el gráfico de Comparación; se grafican los valores del método en

estudio (ordenadas) en función de los obtenidos por el método de
comparación (abscisas). Si además se traza una línea recta que se ajuste lo
mejor posible a la totalidad de los puntos, de la simple inspección visual se
pueden ir sacando algunas conclusiones acerca de cómo es la relación
general entre ambos métodos, de la linealidad de respuesta en todo el
rango estudiado, de la presencia de valores muy discrepantes, etc.

21

MÉTODO DE VALIDACIÓN: EXPERIMENTO

COMPARACIÓN DE MÉTODOS

Calculando estadisticas apropiadas.

Mientras los gráficos de diferencia y comparación nos muestran una impresión visual
de los errores analíticos entre los métodos comparados, estimados numéricos de estos
errores pueden ser obtenidos con cálculos estadísticos. Necesitamos conocer que
clase de error están presentes y que tan grandes pueden ser.
Si queremos comparar resultados que cubran un amplio rango analítico, estadísticas
de regresión lineal son preferibles. Valores como pendiente (slope) e interceptor (y-
intercep), son calculados. Asimismo el coeficiente de correlación “r” que es usada
comúnmente para valorar si el rango de datos es lo suficientemente ancho para
proveer buenos valores de slope y intercept, en otras palabras la aceptabilidad del
método. El error sistemático (ES) en una determinada concentración de decisión
médica (Xc) puede ser determinada calculando el valor Yc desde la regresión lineal,
usando las siguientes fórmulas:
• Donde:
• (a)= y-intercept Yc = a + bXc
• (b)= slope SE = Yc - Xc
22
• Xc= nivel de decisión crítica.

11
MÉTODO DE VALIDACIÓN: EXPERIMENTO
COMPARACIÓN DE MÉTODOS

Ejemplo:
Determinamos un estudio de comparación para GLUCOSA, luego de realizar la
regresión lineal obtuvimos:
Y = 3.0 + 1.05X
slope:…………1.05
y- interceptor:………3.0
X= 115 mg/dl
Y=?........aplicando la fórmula Y= 123 mg/dl
ES= 123 – 115 = 8 mg/dl

que quiere decir que hay un error sistemático de 8 mg/dL, en un nivel de decisión
crítico de 115 mg/dL.

23

MÉTODO DE VALIDACIÓN: EXPERIMENTO

COMPARACIÓN DE MÉTODOS

Si queremos comparar resultados que cubran un reducido rango analítico, es

usualmente mejor calcular el promedio de las diferencias entre los resultados,
que es lo mismo decir la diferencia entre los promedios de los dos métodos,
llamado comúnmente BIAS. El cálculo del BIAS es viable de programas
estadísticos que proveen cálculos de “paired T-test”.

Ejemplo:

El promedio de 50 análisis para calcio por el método nuevo es 9.8 mg/dl y el

promedio de la misma muestra por el método comparativo es 9.2 mg/dl,
entonces el promedio del error sistemático o BIAS es 0.6 mg/dl

24

12
 MÉTODO DE VALIDACIÓN: EXPERIMENTO
COMPARACIÓN DE MÉTODOS
Criterios para aceptabilidad del método.
Depende de que cantidad de error analítico es permisible sin que afecte o limite el uso
o interpretación del resultado de una prueba individual.
Esto es un poco complicado porque cada medición individual es propenso también a
error (error aleatorio).
Entonces debemos hallar el Error Total (TE), que esta compuesto de error sistemático
(ES) y error aleatorio (EA). Esto puede ser calculado de la siguiente fórmula:
TEcalc = ES + EA
TEcalc = biasmeas + 3smeas
Donde:
Smeas= DE (replicación)
BIASmeas= Diferencia de promedios, ó diferencias de promedios desde el calculo del
t-test, ó la diferencia entre Yc-Xc (regresión lineal).
La performance del método es aceptado cuando el error total calculado
(TEcalc) es menor que el error total permisible (TEa).
25

EVALUACIÓN DEL RANGO EXPERIMENTAL

Qué es linealidad? La linealidad es la habilidad del
LINEALIDAD procedimiento analítico de obtener resultados de
pruebas que sean directamente proporcional a la
concentración del analito en la muestra.
Cuál es el propósito de la linealidad? El propósito es
valorar el uso del rango analítico de un método de
laboratorio. Saber que valores muy bajos o muy altos de
una determinada prueba son confiables y pueden ser
reportados, también es llamado rango reportable.

Como se llama el experimento? Se llama experimento de

linealidad,para CLIA es rango reportable o rango lineal,
el CAP emplea el término rango de medición analitica
(AMR), definiendo un termino adicional rango
reportable clinico (CRR), para cubrir alguna limitación
del AMR en cuanto a la detección del limite o cuándo se
emplean diluciones para ampliar el rango

- Basic Method Validation, 2nd Edition, James O. Westgard26

- http://westgard.com/lesson26.htm

13
EVALUACIÓN DEL RANGO EXPERIMENTAL

LINEALIDAD
Factores a considerar
Un laboratorio debe analizar una serie de
muestras con concentraciones conocidas o
una serie de muestras diluidas. Los
resultados medidos serán trazados en un
gráfico de coordenadas en el eje y, mientras
que los valores esperados o conocidos
estarán sobre el eje x. El rango de reporte
es entonces calculado dibujando una línea
recta por la porción lineal de los datos.
Número de niveles
La NCCLS recomienda un mínimo entre 4 ó
5 diferentes concentraciones o niveles.
Materiales
- Soluciones Estandar preparadas
- Soluciones Fabricadas con valores
conocidos
- Diluciones de muestras de suero.
- Pool de sueros.
27

EVALUACIÓN DEL RANGO EXPERIMENTAL

LINEALIDAD
PROCEDIMIENTO PARA PREPARAR
DILUCIONES
Es conveniente el uso de 02 pool de sueros,
uno cercano al nivel más bajo o cero y la
otra cerca o ligeramente por encima del
nivel alto del rango que se va a estudiar.
Determinar el volumen necesario para el
análisis, seleccionar adecuadas pipetas
volumétricas, y realizar los siguientes pasos:
• Marcar el pool con [ ]baja como “Pool 1” y
el pool con [ ] alta como “Pool 5”.
• Preparar mezcla N°2 (75/25) usamos 3
partes del pool 1 y 1 parte del pool 5.
• Preparar mezcla N°3 (50/50) usamos 2
partes del pool 1 y 2 partes del pool 5.
• Preparar mezcla N°4 (25/75) usamos 1 parte
del pool 1 y 3 partes del pool 5
NUMERO DE REPETICIONES DE
MEDICIÓN.
NCCLS ( Documento EP6-P2) recomienda
realizar 04 replicados por cada uno de los
niveles como máximo. Generalmente con 03
replicados es suficiente.

28

14
 VALIDACIÓN DEL RANGO
REPORTABLE
PASO 1: Preparación de muestras y regístro de resultados
Pool 1: (0 %)
Preparación no necesaria. Medir por triplicado.
Registrar mediciones: 1: , 2: , 3:
Media del pool 1: (( 1,2,3)/3)

Pool 2: (25%)
Mezclar 3 partes del Pool 1 y 1 parte del Pool 5 (ejemplo: 1.5 ml and 0.5 ml). Medir por triplicado.
Registrar mediciones: 1: , 2: , 3:
Media del pool 2: (( 1,2,3)/3)

Pool 3: (50 %)
Mezclar 2 partes del Pool 1 y 2 partes del Pool 5 (ejemplo: 1.0 ml and 1.0 ml). Medir por triplicado.
Registrar mediciones: 1: , 2: , 3:
Media del pool 3: (( 1,2,3)/3)

Pool 4: (75 %)
Mezclar 1 parte del Pool 1 y 3 partes del Pool 5 (ejemplo: 0.5 ml and 1.5 ml). Medir por triplicado.
Registrar mediciones: 1: , 2: , 3:
Media del pool 4: (( 1,2,3)/3)

Pool 5:(100%)
Preparación no necesaria. Medir por triplicado.
Registrar mediciones: 1: , 2: , 3:
Media del pool 1: (( 1,2,3)/3)

29

VALIDACIÓN DEL RANGO

REPORTABLE

30

15
 VALIDACIÓN DEL RANGO
REPORTABLE
• Paso 2: Preparar un simple trazado de puntos (visualizar la
linealidad)
• A. Marcar el eje X para 0%, 25%, 50%, 75% y 100%.
• B. Marcar el eje Y para los niveles apropiados basados sobre los valores
medidos.
• C. Trazar las coordenadas. (0%, media Pool 1), (25%, media Mezcla 2),
(50%, media Mezcla 3), (75%, media Mezcla 4), (100%, media Pool 5).
• D. Dibujar la mejor linea a través de los datos medidos dando mayor
importancia a las 3 primeras coordenadas.
• E. Inspeccionar el trazado para la linealidad y realizar una decisión visual
para un rango reportable aceptable.

31

VALIDACIÓN DEL RANGO

REPORTABLE

32

16
 VALIDACIÓN DEL RANGO
REPORTABLE
• Luego colocar las medias obtenidas sobre la columna Y.
• Inmediatamente calcular los valores teoricos y colocarlos sobre la columna X,
para esto usaremos el pool N° 3 como valor verdadero y calculamos los valores
teóricos para los restantes pools de sueros usando una relación conocida basadas
en las diluciones. (Observar en la tabla).
• Dibujar los valores teóricos sobre el eje X y las medias calculadas sobre el eje Y.
Calcular la pendiente (slope) y el interceptor (y-intercept). Idealmente , la
pendiente debe ser cercano a 1.00 y el interceptor cercano a 0.0.
• El bias para cada nivel es calculado por resta entre la media calculada con la
media teórica. El porcentaje de error es calculado dividiendo el bias entre el valor
teórico y multiplicando por 100. Nota: Si el Pool 1 is cero, el calculo del porcentaje
de error no aplica (Observar en la tabla).
• Compare la pendiente y el interceptor calculado con los valores ideales.
Compare el bias y/o porcentaje de error para cada mezcla de pool de sueros con
el error permisible para la prueba. El bias y porcentaje de error deben ser menor
que el error permisible. Tomar la decisión de aceptabilidad.(*)

(*) http://www.westgard.com/biodatabase1.htm

33

VALIDACIÓN DEL RANGO

REPORTABLE

• TABLA DE EXPLICACIÓN

http://www.westgard.com/l26work2.htm

34

17
 VALIDACIÓN DEL RANGO
REPORTABLE

35

VALIDACIÓN DEL RANGO

REPORTABLE
• Tenemos que tener algo presente, la aplicación del experimento
linealidad, no solo es aplicable para la verificación de métodos, también
es una herramienta útil cuando queremos compararnos con otros
laboratorios que utilicen el mismo test, el mismo analizador y la misma
metodología. (peer group).

36

18
 Ejemplos de Linealidad

37

Ejemplos de Linealidad

38

19
GRACIAS

39

20