Accuracy (trueness and precision) of measurement methods and results

VALIDACIÓN Y VERIFICACIÓN DE MÉTODOS

HUGO P. GUERRERO POSTIGO
 PARTE III: ESTUDIO DE PRECISIÓN OBJETIVO

Aprendizaje
esperado
1. Introducción
2. Fuentes de dispersión y evaluación de Conocimiento y
precisión comprensión de los
3. Herramientas estadísticas para los criterios y fundamentos de
los estudios de precisión
estudios de repetibilidad
4. Herramientas estadísticas para los
estudios de reproducibilidad interna
2
 PARTE III: ESTUDIO DE PRECISIÓN 1. INTRODUCCIÓN

Determinación de los parámetros característicos

1 2 3 4
Diseño y Determinación de Evaluación y
Informe de
desarrollo de plan los parámetros procesamiento de
validación
de validación característicos datos

Medir Analizar Mejorar Controlar

3
 PARTE III: ESTUDIO DE PRECISIÓN 2. FUENTES DE DISPERSIÓN Y EVALUACIÓN DE PRECISIÓN

Los errores aleatorios son los que constituyen la característica de calidad

básica denominada “precisión” y al depender de varios aspectos de
Dispersión de Xi
(Errores aleatorios)
los elementos de competencia técnica

Posición del valor central

PRECISIÓN
(Errores sistemáticos) proximidad entre las indicaciones o los valores medidos obtenidos en
Valor mediciones repetidas de un mismo objeto, o de objetos similares,
verdadero bajo condiciones especificadas

Definiciones según
REPETIBILIDAD P. INTERMEDIA REPRODUCIBILIDAD
precisión de medida bajo un precisión de medida bajo un precisión de medida bajo un
conjunto de condiciones de conjunto de condiciones de conjunto de condiciones de
VARIABLES repetibilidad precisión intermedia reproducibilidad ISO 99

Se calcula según ISO 5725-3

Se calcula según ISO 5725-2

Se calcula según ISO 5725-2

Muestra Mismo Mismo Mismo

Método Mismo Mismo Mismo
Equipos Mismo Diferente Diferente
Reactivos Mismo Diferente Diferente
Cepas patrón Mismo Diferente Diferente
Instalaciones Mismo Mismo Diferente
Condiciones ambientales Mismo Diferente Diferente
Tiempo Mismo Diferente Diferente 4
Personal Mismo Diferente Diferente
 PARTE III: ESTUDIO DE PRECISIÓN 3. HERRAMIENTAS ESTADÍSTICAS PARA LOS ESTUDIOS DE REPETIBILIDAD

A) DISEÑO DE LAS PRUEBAS Y CAPTURA DE B) EVALUACIÓN DE DATOS

DATOS

Las mediciones deben ser realizadas de acuerdo al plan de verificación o validación en Muestras
naturales.
Todas las mediciones deben ser realizadas por duplicado como mínimo y en condiciones de repetibilidad
y en todo el rango de trabajo del método establecido 5
 PARTE III: ESTUDIO DE PRECISIÓN 3. HERRAMIENTAS ESTADÍSTICAS PARA LOS ESTUDIOS DE REPETIBILIDAD

B) EVALUACIÓN DE DATOS

La evaluación se realiza de
acuerdo a los siguientes pasos
1. Análisis de consistencia
y valores atípicos intra-
ensayos
2. Calculo de la desviación
estándar de
repetibilidad
3. Cálculo del límite de
repetibilidad
4. Gráfico

6
 PARTE III: ESTUDIO DE PRECISIÓN 3. HERRAMIENTAS ESTADÍSTICAS PARA LOS ESTUDIOS DE REPETIBILIDAD

B) EVALUACIÓN DE DATOS
B1: Análisis de consistencia y valores atípicos intra-ensayos (ISO 16269-4)
Para evaluar si todos los resultados son consistentes en condiciones de repetibilidad se utiliza la prueba
“k” de Mandel. El procedimiento es el siguiente:
a) Calcule la desviación estándar de las mediciones individuales.
∑𝒏
𝒌=𝟏(𝒙𝒌 −𝑿)
Ecuación 1
𝒏−𝟏
Donde n es el número de mediciones individuales.
b) Calcule “k” para cada resultado.
𝑆.√𝑁
Ecuación 2
∑𝑁 2
𝑖=1 𝑆𝑖

Donde N es el número S estudiadas.

c) Compare el valor k con un valor crítico tabulado kcri (vea Anexo C) para un determinado nivel
de significación y un número de datos de conjunto.
Si k ≥ kcri el dato Si no es consistente y S debe rechazarse o analizar los datos y eliminar hasta
que S sea aceptable.
Si k< kcri el dato Si es consistente.
7
 PARTE III: ESTUDIO DE PRECISIÓN 3. HERRAMIENTAS ESTADÍSTICAS PARA LOS ESTUDIOS DE REPETIBILIDAD

B) EVALUACIÓN DE DATOS
B1: Análisis de consistencia y valores atípicos intra-ensayos (ISO 16269-4)
Para evaluar si todos los resultados pertenecen a la misma población estadística y si existen valores
atípicos, se utiliza la prueba “C” de Cochran’s. El procedimiento es el siguiente:
a) Calcule la desviación estándar de las mediciones individuales.
∑𝒏
𝒌=𝟏(𝒙𝒌 −𝑿)
Ecuación 1
𝒏−𝟏
Donde n es el número de mediciones individuales.
b) Calcule “C” para cada resultado.
𝑆𝑖2
∑𝑁 2 Ecuación 2
𝑆
𝑖=1 𝑖

Donde N es el número S estudiadas.

c) Compare el valor C con un valor crítico tabulado Ccri (vea Anexo B) para un determinado nivel
de significación y un número de datos de conjunto.
Si C ≥ Ccri el dato Si debe rechazarse.
Si C< Ccri el dato Si debe aceptarse.

8
 PARTE III: ESTUDIO DE PRECISIÓN 3. HERRAMIENTAS ESTADÍSTICAS PARA LOS ESTUDIOS DE REPETIBILIDAD

B) EVALUACIÓN DE DATOS
B2: Calculo de la desviación estándar de repetibilidad (ISO 5725-2)
Con los datos de la desviación estándar de le misma población estadística se procede a
calcular la desviación estándar de repetibilidad en términos porcentuales según:

1. Calcular la desviación estándar de las mediciones individuales

2. Calcular el coeficiente de variación de las mediciones individuales
3. Calcular la desviación estándar de repetibilidad Sr:

 n  1s
n 2

i
Sr  i 1
n

 n  1 
i 1

Donde: Sr es la repetibilidad, S es la desviación estándar de las tres mediciones individuales; n es el

número mediciones individuales; CV es el coeficiente de variación.
9
 PARTE III: ESTUDIO DE PRECISIÓN 3. HERRAMIENTAS ESTADÍSTICAS PARA LOS ESTUDIOS DE REPETIBILIDAD

B) EVALUACIÓN DE DATOS

B2: Calculo de la desviación estándar de repetibilidad (ISO 5725-2)

4. Determine la repetibilidad según el modelo constante (ecuaciones del paso 3)
5. Determine la repetibilidad según el modelo lineal

10
 PARTE III: ESTUDIO DE PRECISIÓN 3. HERRAMIENTAS ESTADÍSTICAS PARA LOS ESTUDIOS DE REPETIBILIDAD

B) EVALUACIÓN DE DATOS
B2: Calculo de la desviación estándar de repetibilidad (ISO 5725-2)
6. Determine la repetibilidad según el modelo lineal con intersección en cero

7. Determine la repetibilidad según el modelo exponencial

11
 PARTE III: ESTUDIO DE PRECISIÓN 3. HERRAMIENTAS ESTADÍSTICAS PARA LOS ESTUDIOS DE REPETIBILIDAD

B) EVALUACIÓN DE DATOS

B2: Calculo de la desviación estándar de repetibilidad (ISO 5725-2)

Determine el error de la estimación (SEE)

SS error
SEE 
n2

SS error   Y  Y 2

Y  Sr
*
Y  Sr ( Estimada según la relación funcional )

12
 PARTE III: ESTUDIO DE PRECISIÓN 3. HERRAMIENTAS ESTADÍSTICAS PARA LOS ESTUDIOS DE REPETIBILIDAD

B) EVALUACIÓN DE DATOS
B2: Calculo de la desviación estándar de repetibilidad (ISO 5725-2)
9. Determinación de la repetibilidad

Repetibilidad de patrones - Calibración de temperatura (CEM TH-004e)

Nº TIPO SEE ECUACIÓN

1 Constante 0,0087 Sr= 0,025 r= 0,109

2 Modelo lineal 0,0073 Sr= 0,007 + 0,000 X r= 0,104+ 0,000 X

3 Modelo lineal con intersección cero 0,0124 Sr= 0,000 X r= 0,000 X

Modelo potencial 0,0064 Sr= 9,03E-04 X 0,585 r= 5E+02 X 0,585

4

La repetibilidad del método de ensayo está dada por el modelo que tiene menor valor de SEE

13
 PARTE III: ESTUDIO DE PRECISIÓN 3. HERRAMIENTAS ESTADÍSTICAS PARA LOS ESTUDIOS DE REPETIBILIDAD

B) EVALUACIÓN DE DATOS
B3: Calculo del límite de repetibilidad (ISO 5725-6)
Con los datos de la Sr se procede a calcular el límite de repetibildiad “r” r  1,96 * n * S r
Donde: t es el valor del tabulado de tablas a 95% e infinito grados de libertad, y r es el límite de repetibiliad; n es el número de
mediciones individuales
B4: Grafique Sr versus Concentración

14
 PARTE III: ESTUDIO DE PRECISIÓN 3. HERRAMIENTAS ESTADÍSTICAS PARA LOS ESTUDIOS DE REPETIBILIDAD

C) CRITERIO DE ACEPTACIÓN O RECHAZO

C1 CRITERIO DE ACEPTACIÓN O RECHAZO SEGÚN CLSI EP15-A
• El criterio verificación o validación puede estar dado en términos de CV(%)r, por lo tanto realice la conversión
en unidades de medición usando la siguiente ecuación.
% ∗

• Determine los grados de libertad totales según el diseño realizado.

•
• Determine el valor del test estadístico con de probabilidad (use la herramienta de MS Excel).
• Determine el valor de aceptación o rechazo según la siguiente ecuación.
. ⁄
•
C2 CRITERIO DE ACEPTACIÓN O RECHAZO SEGÚN ISO 33
• Determine el valor de según la siguiente ecuación

• Determine el valor de aceptación o rechazo según la siguiente ecuación.

; ,
( )
15
 PARTE III: ESTUDIO DE PRECISIÓN 3. HERRAMIENTAS ESTADÍSTICAS PARA LOS ESTUDIOS DE REPETIBILIDAD

C) CRITERIO DE ACEPTACIÓN O RECHAZO

Compare el valor Sr con un valor de verificación o validación para un determinado nivel de significación y un número
de datos del conjunto.
Para el caso de Verificación:
• Si Sr ó  Valor de verificación; el estudio tiene como conclusión que el laboratorio no tiene las condiciones para
usar el método normalizado en condiciones de repetibilidad.
• Si Sr ≤ Valor de verificación: el estudio tiene como conclusión que el laboratorio reúne todas las condiciones
para usar el método normalizado en condiciones de repetibilidad.

Para el caso de Validación:

• Si Sr ó  Valor de validación; el estudio tiene como conclusión que el laboratorio no tiene las condiciones
apropiadas para el uso previsto del método validado en condiciones de repetibilidad.
• Si Sr ≤ Valor de validación: el estudio tiene como conclusión que el laboratorio reúne todas las condiciones
apropiadas para el uso previsto del método validado en condiciones de repetibilidad.

16
 PARTE III: ESTUDIO DE PRECISIÓN 4. HERRAMIENTAS ESTADÍSTICAS PARA LOS ESTUDIOS DE REPRODUCIBILIDAD INTERNA

A) DISEÑO DE LAS PRUEBAS Y CAPTURA DE DATOS

 x 

n
xk 2 Consistencia inter ensayos Valores atípicos de centralidad
MEDICIONES
n
X
X  k 1
S k 1 k
2
N FECHA RESPONSABLE MUESTRA % % % % %
n n 1 n (n-1)S Xi  X
𝑛 𝑋−𝑋 h h<hcritico G
Xi  X
G<Gcritico
x1 x2 x3 x4 x5 % % Sd Sd

4
5

6
7

Las mediciones deben ser

realizadas de acuerdo al plan de
verificación o validación en
Muestras naturales

17
 PARTE III: ESTUDIO DE PRECISIÓN 4. HERRAMIENTAS ESTADÍSTICAS PARA LOS ESTUDIOS DE REPRODUCIBILIDAD INTERNA

B) EVALUACIÓN DE DATOS
B1: Análisis de consistencia y valores atípicos inter-ensayos (ISO 16269-4)
Para evaluar si todos los resultados son consistentes en condiciones de reproducibilidad se utiliza la prueba
“h” de Mandel. El procedimiento es el siguiente:
a) Calcule el promedio de las mediciones individuales
b) Calcule el promedio del promedio de las mediciones individuales
∑𝑁
𝑖=1 𝑋 𝑖
𝑑 Ecuación 1
𝑁
Donde N es el número considerados en el estudio.
c) Calcule la desviación estándar de los promedios de las mediciones individuales.
∑𝑵
𝒊=𝟏 𝑿𝒊 −𝑿
𝒅 Ecuación 2
𝑵−𝟏
d) Calcule “h” para cada resultado.
𝑋 𝑖 −𝑋
Ecuación 3
𝑆𝑑

e) Compare el valor h con un valor crítico tabulado G hcri

cri (Ver anexo C) para un determinado nivel
de significación y un número de datos de conjunto.
Si h ≥ hcri el dato Si no es consistente y 𝑖 debe rechazarse o analizar los datos y eliminar hasta
que 𝑖 sea aceptable.
Si h< hcri el dato 𝑖 es consistente
18
 PARTE III: ESTUDIO DE PRECISIÓN 4. HERRAMIENTAS ESTADÍSTICAS PARA LOS ESTUDIOS DE REPRODUCIBILIDAD INTERNA

B) EVALUACIÓN DE DATOS

B1: Análisis de consistencia y valores atípicos inter-ensayos (ISO 16269-4)

Para evaluar si todos los resultados pertenecen a la misma población estadística) se utiliza la prueba “G”
de Grubbs.
• Calcule el promedio de las mediciones:
• Calcule el promedio del promedio de las mediciones individuales:
Donde N es el número considerados en el estudio.
• Calcule la desviación estándar de los promedios de las mediciones individuales.
𝑵
𝒊 𝟏 𝒊

• Calcule “G” para cada resultado:

• Compare el valor G con un valor crítico tabulado Gcri para un determinado nivel de significación y un
número de datos de conjunto.
• Si G ≥ Gcri el dato debe rechazarse.
• Si G< Gcri el dato debe aceptarse
19
 PARTE III: ESTUDIO DE PRECISIÓN 4. HERRAMIENTAS ESTADÍSTICAS PARA LOS ESTUDIOS DE REPRODUCIBILIDAD INTERNA

B) EVALUACIÓN DE DATOS
B2: Calculo de la desviación estándar de reproducibilidad interna (ISO 5725-2)
Con los datos de la desviación estándar de le misma población estadística se procede a
calcular la desviación estándar de reproducibilidad interna en términos porcentuales
según:
1. Calcular la desviación estándar de repetibilidad:

2. Calcular la desviación estándar entre los grupos:

3. Calcular la desviación estándar de reproducibilidad interna SL:

20
 PARTE III: ESTUDIO DE PRECISIÓN 4. HERRAMIENTAS ESTADÍSTICAS PARA LOS ESTUDIOS DE REPRODUCIBILIDAD INTERNA

B) EVALUACIÓN DE DATOS

B2: Calculo de la desviación estándar de reproducibilidad interna (ISO 5725-2)

4. Determine la reproducibilidad interna según el modelo constante (siga las

directrices dadas en repetibilidad)
5. Determine la reproducibilidad interna según el modelo lineal constante (siga las
directrices dadas en repetibilidad)
6. Determine la reproducibilidad interna según el modelo lineal con intersección en
cero constante (siga las directrices dadas en repetibilidad)
7. Determine la reproducibilidad interna según el modelo exponencial constante
(siga las directrices dadas en repetibilidad)
8. Determine el error de la estimación (SEE) (siga las directrices dadas en
repetibilidad)

21
 PARTE III: ESTUDIO DE PRECISIÓN 4. HERRAMIENTAS ESTADÍSTICAS PARA LOS ESTUDIOS DE REPRODUCIBILIDAD INTERNA

B) EVALUACIÓN DE DATOS
B2: Calculo de la desviación estándar de reproducibilidad interna (ISO 5725-2)
9. Determinación de la reproducibilidad interna

Reproducibilidad interna de patrones - Calibración de temperatura (CEM TH-004e)

Nº TIPO SEE ECUACIÓN

1 Constante 0,0133 SL = 0,041 rL = 0,180

2 Modelo lineal 0,0110 SL = 0,021 + 0,000 X rL = 0,092+ 0,000 X

3 Modelo lineal con intersección cero 0,0230 SL = 0,000 X rL = 0,001 X

Modelo potencial 0,0101 SL = 4,55E-03 X 0,387 rL = 2E-02 X 0,387

4

La reproducibilidad interna del método de ensayo está dada por el modelo que tiene menor valor de SEE

22
 PARTE III: ESTUDIO DE PRECISIÓN 4. HERRAMIENTAS ESTADÍSTICAS PARA LOS ESTUDIOS DE REPRODUCIBILIDAD INTERNA

B) EVALUACIÓN DE DATOS
B3: Calculo del límite de reproducibilidad interna (ISO 5725-6)
Con los datos de la Sw se procede a calcular el límite de reproducibilidad interna “rL”

Donde: t es el valor del tabulado de tablas a 95% e infinito grados de libertad, y rw es el límite de reproducibilidad; n es el
número de mediciones individuales

B4: Grafique SL versus Concentración

23
 PARTE III: ESTUDIO DE PRECISIÓN 4. HERRAMIENTAS ESTADÍSTICAS PARA LOS ESTUDIOS DE REPRODUCIBILIDAD INTERNA

C) CRITERIO DE ACEPTACIÓN O RECHAZO

C1 CRITERIO DE ACEPTACIÓN O RECHAZO SEGÚN CLSI EP15-A

• Determine los grados de libertad totales según el diseño realizado:

.

• Determine el valor del test estadístico con de probabilidad (use la herramienta de MS Excel).
• Determine el valor de aceptación o rechazo según la siguiente ecuación
𝝈𝑳 . 𝝌𝟐𝟏 𝜶⁄
𝜾
𝑻

C2 CRITERIO DE ACEPTACIÓN O RECHAZO SEGÚN ISO 33

• Determine el valor de según la siguiente ecuación

• Determine el valor de aceptación o rechazo según la siguiente ecuación.

; ,
y

24
 PARTE III: ESTUDIO DE PRECISIÓN 4. HERRAMIENTAS ESTADÍSTICAS PARA LOS ESTUDIOS DE REPRODUCIBILIDAD INTERNA

5. EVALUACIÓN DE LA REPRODUCIBILIDAD INTERNA

C) CRITERIO DE ACEPTACIÓN O RECHAZO

Compare el valor Sr con un valor de verificación o validación para un determinado nivel de significación y un número de
datos del conjunto.
Para el caso de Verificación:
• Si SL ó  Valor de verificación; el estudio tiene como conclusión que el laboratorio no tiene las condiciones para usar el
método normalizado en condiciones de reproducibilidad interna.
• Si SL ó ≤ Valor de verificación: el estudio tiene como conclusión que el laboratorio reúne todas las condiciones para
usar el método normalizado en condiciones de reproducibilidad interna.

Para el caso de Validación:

• Si SL ó  Valor de validación; el estudio tiene como conclusión que el laboratorio no tiene las condiciones apropiadas
para el uso previsto del método validado en condiciones de reproducibilidad interna .
• Si SL ó ≤ Valor de validación: el estudio tiene como conclusión que el laboratorio reúne todas las condiciones
apropiadas para el uso previsto del método validado en condiciones de reproducibilidad interna.

25
 PARTE III: ESTUDIO DE PRECISIÓN EVALUACIÓN

1. Indique que se persigue con los estudios de precisión

durante el proceso de verificación o validación
2. Indique los parámetros de desempeño de un método
de ensayo que se debe considerar en los estudios de
precisión.
3. Indique la diferencia entre repetibilidad y
reproducibilidad
4. Indique las condiciones en las que se puede realizar las
mediciones para determinar la reproducibilidad
interna
5. Indique los modelos que se usan para determinar la
repetibilidad y reproducibilidad interna
6. Indique en función de que se establece la repetibilidad
y reproducibilidad interna
EVALUACIÓN
PARTE III Responda las preguntas y luego presente al instructor
26
guerreropostigo@Gmail.com