Standard Practice for Conducting Ruggedness Tests

VALIDACIÓN Y VERIFICACIÓN DE MÉTODOS DE

ENSAYOS
HUGO P. GUERRERO POSTIGO

1. Introducción
2. Selectividad y especificidad
3. Robustez
4. Análisis de datos
5. Evaluación sesión 6
Aprendizaje
esperado
Conocimiento y comprensión
de los criterios y fundamentos
de los estudios sensibilidad, y
robustez especificidad
2
 Determinación de los parámetros característicos
1 2 3 4
Diseño y Determinación de Evaluación y
Informe de
desarrollo de plan los parámetros procesamiento de
validación
de validación característicos datos

Medir Analizar Mejorar Controlar

Durante el proceso de validación además de los parámetros de desempeño vistos en capítulos

anteriores, se debe evaluar los efectos de matriz y los cambios introducidos en función del
tiempo en la ejecución de las mediciones o uso del método de ensayo.

Estos aspectos están son determinados por los estudios de selectividad, especificidad y robustez
3
del método
• Usualmente, la selectividad de un método se investiga mediante el estudio de su
capacidad para medir el analito de interés en porciones de prueba a las
cuales deliberadamente se han introducido interferencias específicas (aquéllas
que se cree probable estén presentes en las muestras).
• Nótese que las pruebas a realizar para asegurar la selectividad o especificidad de
método podrán ser diferentes en función del tipo de muestra a analizar, la técnica
utilizada, la información bibliográfica disponible, etc.
• Entre las pruebas más utilizadas se encuentran las siguientes:
1. MÉTODO DE ADICIONES (CLSI EP7-A)
2. COMPARACIÓN DE RESULTADOS OBTENIDOS POR UN MÉTODO (CLSI-EP9-A)
3. TRABAJAR CON LOS DATOS DEL PROCESO DE VERIFICACIÓN DEL MODELO
LINEAL

4
A) MÉTODO DE ADICIONES

• Comparando los resultados (o la respuesta) de la muestra que contiene las posibles interferencias con
el resultado de otra muestra sin dichas interferencias. En este caso los valores de exactitud (sesgo y
precisión) evaluados y verificados nos deben llevar a emitir una conclusión sobre la
selectividad/especificidad del método.

• El procedimiento general es:

• Realizar las mediciones en muestras naturales sin interferencias
• Realizar las mediciones en muestras naturales con interferencias
• Calcular la desviación estándar en ambos casos
• Comparar la desviación estándar con el valor de la repetibilidad o reproducibilidad interna establecida con los
estudios de precisión
• Realizar adiciones estándar a las muestras con interferencias y sin interferencias
• Calcular el sesgo relativo
• Comparar los valores del sesgo relativo con el valor del sesgo establecido en los estudios de sesgo.
• Para establecer que el método es específico y selectivo se debe cumplir.
S si  S r  S w bs i  b
5
S ci  S r  S w bci  b
B) COMPARACIÓN DE RESULTADOS OBTENIDOS POR UN MÉTODO
• Con los resultados obtenidos por otro método (método de confirmación). Es importante que el método
de confirmación sea un método normalizado, en este caso también los niveles de exactitud (sesgo y
precisión) y los procesos de verificación son elementos importantes para establecer la
selectividad/especificidad de un método de ensayo

• Se sigue los criterios del método 1 de los estudio de veracidad y se debe demostrar

• Para b en unidades de medida:

• Para b en %:
• Donde β es el criterio de verificación o de validación definido en el plan.
6
C) TRABAJAR CON LOS DATOS DEL PROCESO DE
VERIFICACIÓN DEL MODELO LINEAL
En este caso el modelo es lineal, la pendiente debe ser constante en todo el rango de trabajo, esto muestra que el
método es selectivo/especifico en dicho rango. El procedimiento general es:

Paso 1: Dividir la curva del modelo lineal en tres o cuatro partes.

Paso 2: Determinar por separado el coeficiente de correlación lineal de cada parte (r1, r2, r3, r4).
Paso 3: Calcular las pendientes (b1, b2, b3, b4).
Paso 4: Verificar la linealidad de cada curva individual
Paso 5: Comparar estadísticamente cada una de las pendientes individuales con el valor de la pendiente b de la curva
original en todo el rango, la diferencia se calcula según:
Di = bi – b
Paso 6: Calcular el promedio de las diferencias y la desviación estándar para este promedio

D  D 
D0 1 ni 2
Paso 7: Calcular el valor de texp con de la expresión t Exp 
SD S   i
n
D
n i i 1
 1

Paso 8: Comparar texp en valor absoluto con un valor tabulado tcri para un determinado nivel de significación (p) y un
número de datos de conjunto.
Si texp ≥ tcri el método no es selectivo ni específico y las interferencias de matriz si son significantes; 7
Si texp < tcri el método es selectivo y específico dentro del rango estudiado.
C) TRABAJAR CON LOS DATOS DEL PROCESO DE VERIFICACIÓN
DEL MODELO LINEAL

Paso 9: Calcular el intervalo de confianza;

/

Paso 10: Evaluar si el valor objetivo (0) se encuentra dentro del

intervalo de confianza.

Dt 0 Dt

1 / 2
* SD 1 / 2
* SD
n n

En el caso de que el intervalo de confianza no contenga al 0

significa que los niveles de los efectos de matriz son significantes y
el método presenta interferencias.

Paso 11: Graficar dentro del

intervalo de confianza los valores
individuales de Di. 8
Definición según
Sensibilidad (SE)
habilidad del método de referencia o método alternative para
detectar el analito
Especificidad (SP)
ISO 16140-1 habilidad del método de referencia o método alternative para
no detectar el analito

9
La ‘sensibilidad’ es la proporcion de muestras con una determinada condicion, p. ej., concentracion superior a la
concentracion de corte, que proporciona resultados positivos al analisis. La sensibilidad diagnostica es una
caracteristica fundamental del metodo cualitativo, que expresa su capacidad para detectar pequenas cantidades del
analito en una muestra, de manera que se obtenga la respuesta binaria Si/No para un nivel de probabilidad predefinido

*100
La ‘especificidad diagnostica’ es la proporcion de muestras sin condicion alguna, p. ej., concentración inferior a la
concentracion de corte, que dan resultados negativos al analisis cualitativo.

*100
10
 La selectividad de un metodo de medida
cualitativo es un concepto ordinal: la
extension en la que analitos distintos al
incluido en la especificacion interfieren en
el analisis. Esta característica fundamental
del método se puede definir también como
su capacidad para producir resultados que
no están influidos por efectos de matriz

Selectividad *100
Definición según

ISO 16140-1
DESVIACIÓN POSITIVE (PD): Resultado positivo (confirmado) del método alternativo cuando el correspondiente método de referencia tiene un
resultado es negative
11
DESVIACIÓN NEGATIVA: resultado negativo del método alternativo cuando el correspondiente método de referencia tiene un resultado es positivo
 CRITERIO DE
ACEPTACIÓN Y RECHAZO

Analice el comportamiento se la selectividad, sensibilidad y especificidad con el intervalo de verificación.

Para el caso de Verificación:

Si selectividad, sensibilidad y especificidad no están dentro del intervalo de verificación: el estudio tiene como conclusión que el
laboratorio
. no tiene las condiciones para demostrar consistencia con el método normalizado.
Si selectividad, sensibilidad y especificidad están dentro del intervalo de verificación: el estudio tiene como conclusión que el laboratorio
reúne todas las condiciones para demostrar consistencia con el método normalizado y se puede usar.

Para el caso de Validación:

Si selectividad, sensibilidad y especificidad no están dentro del intervalo de validación: el estudio tiene como conclusión que el
laboratorio no tiene las condiciones para demostrar consistencia con el uso previsto del método.
Si selectividad, sensibilidad y especificidad están dentro del intervalo de validación: el estudio tiene como conclusión que el laboratorio
reúne todas las condiciones para demostrar consistencia con el uso previsto del método. 12
 CRITERIO DE
ACEPTACIÓN Y
RECHAZO

Número de Estudio de métodos emparejados Estudio de métodos no apareados

categorías
(ND-PD (ND + PD) (ND – DP)
1 3 6 3
2 4 8 4
3 5 10 5
4 5 12 5
5. 5 14 5
6 6 16 6
7 6 18 7
8 6 20 7
ND = número de muestras con resultados de desviación negativa en el nivel fraccionario L1.

PD = número de muestras con resultados de desviación positiva en el nivel fraccional L1.

13
 ROBUSTEZ
Definición según

Medida de la capacidad del método a permanecer

inalterado por variaciones pequeñas pero deliberadas
en los parámetros del método y proporciona una
indicación de su confiabilidad durante su uso normal.

• El objetivo de la prueba de robustez es optimizar el método analítico y describir que bajo las
condiciones establecidas (incluidas sus tolerancias) se pueden obtener resultados
suficientemente exactos con una alta seguridad, de manera que el procedimiento funcione
confiablemente si se utiliza en otros laboratorios o después de intervalos largos de tiempo.
• Un método es más robusto entre menos dependan los resultados del análisis de una
modificación en las condiciones de éste. Al desarrollar un nuevo método analítico debe
determinarse la modificación 14
Un método analítico es robusto si los resultados no son muy sensibles a
las variaciones en las condiciones experimentales.

Tales condiciones experimentales pueden ser:

• temperatura,
• duración de la extracción o agitación, t
• técnica de agitación,
• pH,
• pureza de los reactivos,
• entre otros

El método más conveniente para estimar la robustez es el denominado

“diseño factorial parcial de Youden y Steiner”, el cual con sólo 8
repeticiones se pueden variar y analizar 7 factores.

15
 DISEÑO EXPERIMENTAL PROPUESTO
ASTM E 1169

a) MODELO

• Yijk = la puntuación del sujeto bajo la combinación del i valor del

factor A, j del valor del factor B y k del valor del factor C.
• μ = la media común a todos los datos del experimento.
• αi = el efecto o impacto del j nivel de la variable de tratamiento A.
• ßj = efecto del j valor de la variable de tratamiento B.
• = efecto del k valor de la variable de tratamiento C.
• = efecto del m valor de la variable de tratamiento D.
• (αß)ij = ecto aleatorio de muestreo. 16
 DISEÑO EXPERIMENTAL PROPUESTO
ASTM E 1169

MODELO
Según la estructura del modelo son estimables siete efectos.

Por esa razón, se plantean tres hipótesis de nulidad relativas a la variable A,

variable B, variable C, variable D e interacción:
H0: α1 = α2 = 0
H0: ß1 = ß2 = 0
H0: 1 = 2 = 0
Test estadístico
H0: 1 = 2 = 0 Si t < tcri Los efectos no son significativos

Si t ≥ tcri los efectos son significativos

17
 DISEÑO EXPERIMENTAL PROPUESTO
ASTM E 1169
ARREGLO EXPERIMENTAL
k = N - 1 variables en N corridas,
donde N es un múltiplo de K=7; N=8

K=11;
N=12

18
 DISEÑO EXPERIMENTAL PROPUESTO
ASTM E 1169

Paso 1: Defina los 7 factores con dos niveles del estudio

Factor Descripción Nivel inferior (-) Nivel superior (+)

A Técnico H L

B Equipo (estufa incubación) E1 E2

C Temperatura incubación 36,5°C 37,5°C

D Medio de cultivo MC1 MC2

E Tiempo de incubación 23h 26h

-4 -6
F Dilución 10 10

G Condición de lectura En ambiente abierto Bajo campana de flujo laminar

Paso 2: Realice las mediciones bajo las condiciones del arreglo experimental por
replicado y en condiciones de repetibilidad 19
 DISEÑO EXPERIMENTAL PROPUESTO
ASTM E 1169
Paso 3: Calcule los efectos de cada factor con los resultados de las mediciones individuales
(x1, X2) y del promedio de las mediciones
Donde: A(+) es la respuesta o resultados cuando la variable de la cual se
desea conocer su efecto se encuentra en su nivel alto, mientras que A(-) es
la respuesta o resultados cuando la variable de la cual se desea conocer su
efecto se encuentra en su nivel bajo.

Paso 4: Calcule la desviación estándar de los efectos (datos del paso 3)

20
 DISEÑO EXPERIMENTAL PROPUESTO
ASTM E 1169
5. 2 Evaluación de la significancia de los efectos individuales (Según ASTM E 1169)
Paso 5: Calcular el valor de “t” para cada factor E como sigue

Evalúe los datos

Comparar t en valor absoluto con un valor tabulado tcri para un determinado
nivel de significación (p), un número de datos de conjunto y dos colas.

Si t < tcri Los efectos no son significativos y el método es robusto a los cambios
realizados.

Si t ≥ tcri los efectos son significativos; entonces es necesario identificar las

condiciones que deben ser cuidadosamente controladas y descubrir
aquellas circunstancias bajo las cuales se necesita un cuidado especial. 21
 DISEÑO EXPERIMENTAL PROPUESTO
ASTM E 1169
5. 3 Determinación de la ecuación de regresión

Paso 6: Determine los coeficientes de cada factor; , y establezca la ecuación de regresión

𝐶𝑜𝑒𝑓𝑖𝑐𝑖𝑒𝑛𝑡𝑒
Factor Descripción E MODELO DE ECUACIÓN DE LA REGRESIÓN

A Técnico -0.005 -0.00228

B Cantidad de HNO3 -0.004 -0.00188 Promedio = 0.46202 mg/l
C Estabilidad de HLC-Cu 0.040 0.01997
D Flujo de acetileno -0.007 -0.00349
E Corrección de fondo 0.009 0.00446
F Tiempo de integración -0.005 -0.00267
Volumen eliminado de agua durante la digestión Donde x1, x2, x3, x4, x5, x6 y x7 son las condiciones de los factores
G 0.003
(sometido a calentamiento de 50ml) 0.00140

22
guerreropostigo@gmail.com

23