Está en la página 1de 64

SISTEMAS DE MANTENIMIENTO, CALIDAD

Y LABORATORIO

CURSO/TALLER : VALIDACIÓN DE
MÉTODOS

2019

Ing. Mónica Torres O.

Validación y Verificación de métodos

12/11/2019 2

1
IMPORTANCIA DE LOS ENSAYOS
ENSAYOS

ENSAYOS
ENSAYOS CUALITATIVOS CUANTITATIVOS

ENSAYOS
SEMICUANTITATIVOS

Identificación de las especies Determinación de las características ,


que componen la muestra, componentes, propiedades, composición mediante un
atributos o propiedades valor numérico

Cuantificación de contaminantes:
Ensayos positivos o negativos
Glucosa, colesterol total, de Brucella, NMP
metales pesados, Microorganismos,
Análisis sensoriales, análisis formulados,
cualitativos instrumentales, determinación de propiedades de una
identificación de microorganismos, sustancia,: pH, densidad, viscosidad.
etc. Cuantificaciones bromatológicas:
F1 cenizas, proteína, etc.
3

Variables Estadísticas
Variables. es una característica o cualidad que al ser medida en diferentes
individuos de una población es susceptible de adoptar diferentes valores.
Para que se considere un dato estadístico debe tener 2 características:
a) Que sean comparables entre sí. b) Que tengan alguna relación.

La variable puede
Ordinal tomar distintos valores
(cuasicuantintativa) ordenados siguiendo
una escala establecida
Dicotomía (Dos
Cualitativas
valores)
La valores de la
Nominal variable no pueden ser
sometidos a un criterio
Variables de orden
estadísticas
Un número finito de
Discreta valores entre dos
valores cualesquiera de
una característica.
Cuantitativas
Puede tomar un número
infinito de valores entre
Continua dos valores cualesquiera
de una característica.

12/11/2019 4

2
Requisitos para Validar

Equipos adecuados y
calibrados Técnicos autorizados

Métodos Muestras
documentados representativas
necesarias para validar

Patrones de
referencia confiables Procedimiento de
(MRC) validación/verificación

Verificación/Validación de Métodos
Definición
VERIFICACIÓN, (ISO 9000:2015, 3.8.12)

“Confirmación mediante la aportación de evidencia objetiva, de que se han


cumplido los requisitos especificados”.

VERIFICACIÓN, (VIM -2.44)


Aportación de evidencia objetiva de que un
elemento dado satisface los requisitos
especificados

Evidenciar experimentalmente bajo las condiciones del


propio laboratorio, que un método normalizado ha
sido apropiadamente implementado y que por tanto
es apto para su propósito, es decir, que las
características de desempeño son capaces de producir
resultados de acuerdo con las necesidades del
problema analítico, conociéndose también como
"validación
12/11/2019 parcial". 6

3
Verificación/Validación de Métodos
Definición
VALIDACIÓN, (ISO 9000:2015, 3.8.13)

“Confirmación mediante la aportación de evidencia objetiva, de que se han


cumplido los requisitos para una utilización o aplicación específica prevista”.

VALIDACIÓN, (VIM -2.45)


Verificación de que los requisitos especificados son
adecuados para un uso previsto

Evidenciar experimentalmente bajo las condiciones del


propio laboratorio o con otros laboratorios que un
método es apto para su propósito, verificando el
cumplimiento de las características de desempeño o
requisitos del método.

12/11/2019 7

7. Norma NTE INENISO/IEC 17025:2018


7.2.1.4 Cuando el cliente no especifica el método a utilizar, el laboratorio debe
seleccionar un método apropiado e informar al cliente acerca del método elegido.
Se recomiendan :
 los métodos publicados en normas internacionales, regionales o nacionales
 o por organizaciones técnicas de confianza,
 o en textos o revistas científicas pertinentes,
 o como lo especifique el fabricante del equipo.

También se pueden utilizar métodos desarrollados por el


laboratorio o modificados.

7.2.1.5 El laboratorio debe verificar que puede llevar a cabo


apropiadamente los métodos antes de utilizarlos, asegurando que
se pueda lograr el desempeño requerido.
Se deben conservar registros de la verificación. Si el método es
actualizado por el organismo que lo publicó, la verificación se
debe repetir en la extensión necesaria.
12/11/2019 8

4
7. Norma NTE INENISO/IEC
17025:2018
CRGA 01
condiciones del laboratorio.

12/11/2019 9

7. Norma NTE INENISO/IEC


17025:2018
CRGA 01
condiciones del laboratorio.

En ensayos físicos y calibraciones

12/11/2019 10

5
7. Norma NTE INENISO/IEC
17025:2018
7.2.2 Validación de los métodos

7.2.2.1 El laboratorio debe validar los métodos no normalizados, los


métodos desarrollados por el laboratorio y los métodos normalizados
utilizados por fuera de su alcance previsto o de otra forma modificados.
.
 Objeto
 Alcance e intervalo de trabajo
 Condiciones ambientales
 Equipamiento con las especificaciones técnicas
 Descripción del ensayo
 Aseguramiento de la validez de los resultados
 Incertidumbre
 Cálculos, y forma de reporte
 Documentos y/o registros asociados
(Información que debería tener un procedimiento interno)
12/11/2019 11

7. Norma NTE INENISO/IEC


17025:2018
7.2.2.1 La validación debe ser tan amplia como sea necesario para
satisfacer las necesidades de la aplicación o el campo de aplicación dados.

NOTA 1 La validación puede incluir procedimientos para muestreo,


manejo y transporte de los ítems de ensayo o calibración.

a) calibración y/o evaluación del sesgo y precisión usando


patrones de referencia o materiales de referencia;
b) una evaluación sistemática de los factores que influyen
en el resultado;
NOTA 2 Las técnicas usadas
c) la robustez del método a través de la variación de parámetros controlados
para la validación del método tales como la temperatura de la incubadora, el volumen suministrado, etc.;
pueden ser una de las
d) la comparación de los resultados logrados con otros métodos
siguientes o una combinación validados;
de ellas:
e) comparaciones interlaboratorio;

f) evaluación de la incerttidumbre de la medición de los resultados con


base en el entendimiento de los principios teóricos de los métodos y en la
experiencia práctica del desempeño del método de muestreo o ensayo.

12/11/2019 12

6
7. Norma NTE INENISO/IEC
17025:2018
7.2.2.2 Cuando se hacen cambios a un método validado, se debe determinar
la influencia de estos cambios, y cuando se encuentre que éstos afectan la
validación inicial, se debe realizar una nueva validación.

7.2.2.3 Las características de desempeño de los métodos de validación


evaluados para el uso previsto, deben ser pertinentes para las necesidades del
cliente y deben ser coherentes con los requisitos especificados.

NOTA Las características de desempeño pueden incluir,


pero no se limitan a, el rango de medición, la exactitud, la
incertidumbre de medición de los resultados, el límite de
detección, el límite de cuantificación, la selectividad del
método, la linealidad, la repetibilidad o la reproducibilidad,
la resistencia contra influencias externas (robustez) o la
sensibilidad cruzada contra interferencia de la matriz de la
muestra o del objeto de ensayo y el sesgo.

12/11/2019 13

Norma NTE INENISO/IEC


17025:2018
7.2.2.4 El laboratorio debe conservar los siguientes registros de validación:

a) procedimiento de b) la especificación de
validación utilizado; los requisitos;

c) la determinación de las
d) los resultados
características de
obtenidos;
desempeño del método;

e) una declaración de la
validez del método,
detallando su aptitud
para el uso previsto
12/11/2019 14

7
CRITERIOS GENERALES DE ACREDITACIÓN
CR GA 01 R05
Validación de métodos
C 7.2.2.1: El laboratorio debe ejecutar una validación con un número de datos que sean
estadísticamente válidos considerando mínimo tres niveles en el rango del alcance de
acreditación solicitado, excepto los métodos que por su rango estrecho de aplicación no lo
permita. La variedad de matrices o instrumentos y los parámetros específicos para cada tipo
de ensayo/calibración.
Para laboratorios de ensayo, dependiendo del caso, debe considerarse las siguientes
características de desempeño del método:

12/11/2019 15

CRITERIOS GENERALES DE ACREDITACIÓN


CR GA 01 R05

NOTA 1. En caso que se evidencie cualquier falsificación de datos o no disponibilidad de los registros primarios
de confirmación o validación de los métodos, inmediatamente se suspenderá la evaluación del ensayo/calibración
correspondiente para poner a consideración de la Comisión de Acreditación.
NOTA 2. La suspensión de la evaluación también aplicará si se detecta cualquier tipo de colusión o falsificación
de datos primarios en cualquier requisito de la norma.

7.2.2 El laboratorio deberá documentar los cambios


12/11/2019 16
a un método validado con
un análisis que respalde la nueva validación.

8
Características del desempeño
de un método

Selectividad /Especificidad

Límite de detección

Límite de cuantificación

Intervalo de trabajo (Linealidad)

Veracidad (Sesgo, recuperación)

Precisión (repetibilidad, precisión intermedia y reproducibilidad)

Sensibilidad Analítica

Incertidumbre

Robustez

12/11/2019 17

Límite de Detección
LOD
Conocido también como “valor mínimo detectable”, o, en las directivas de la UE,
CCβ.
 Según ISO (11843:2002 e ISO 3534) es “valor mínimo detectable de la variable
en estado neto”.
 Según IUPAC (1995): “la concentración neta mínima detectable”

Existe limite de detección del equipo y el limite de


detección del método.
El limite de detección del equipo puede basarse en el
análisis de una muestra, usualmente un blanco de
reactivo, sometido directamente al instrumento (es decir,
omitiendo cualquier paso de preparación de muestra), o
en la relación señal/ruido en p.ej.: un cromatograma.
Para obtener el limite de detección de un método:
El LOD debe basarse en el análisis de muestras de ensayo
que hayan sido sometidas a todo el proceso de medición
obteniendo
12/11/2019 18

9
Límite de Detección
LOD
Consideraciones:

 Muestras blanco, es decir, muestras que no tengan el parámetro, se recomienda


cuando el método da una señal medible . Ejemplo: espectrofotometría
 Muestras de ensayo con concentraciones del parámetro cercanas o por debajo
del Límite de cuantificación se utiliza en métodos que no dan una señal con el
blanco o en métodos instrumentales que hay señal de ruido como:
cromatografía.
 Si el alcance cubre matrices muy diversas, es necesario determinar para cada
matriz.
 La desviación utilizada es bajo condiciones de repetibilidad.
 El numero de replicas (m) debería ser suficiente para obtener un estimado
adecuado de la desviación estándar. Típicamente se consideran necesarias de 6 a
15; usualmente se recomiendan 10 replicas

12/11/2019 19

Límite de Detección
LOD

12/11/2019 20

10
Límite de Detección
Eurachem 2014
LOD
Qué hacer Cuántas Qué calcular a Fórmula Comentarios
veces partir de
los datos
Muestras blanco, es decir 10 - Calcule la
matrices que no contengan desviación So
cantidades detectables del estándar, de
analito. los resultados.
o Medidas replicadas de la - Calcule So´
muestra de ensayo con una - Calcular el
baja concentración del LOD LOD = 3 × So´

analito.
Blancos de reactivo. 10 - Calcule la Es aceptable cuando
o Medidas replicadas de desviación So no es posible obtener
blancos de reactivos estándar, de muestras blanco o
fortificados con una baja los resultados. muestras de ensayo
concentración del - Calcule So´ con una baja
analito. - Calcular el concentración.
LOD LOD = 3 × So´

Para algunas técnicas analíticas, p. ej. Cromatografía, puede ser necesario fortificar muestras de ensayo conteniendo
una concentración demasiado baja o blancos de reactivo, para obtener una desviación estándar diferente de cero.
El procedimiento de medición debería ser repetido enteramente para cada determinación.
La desviación estándar se expresa en unidades de concentración. Cuando la desviación estándar se expresa en el
21
ámbito de la señal, el LOD es la concentración correspondiente a la señal del blanco yB + 3 × So´

Límite de Detección
LOD
Límite de detección: Aplicado a análisis microbiológicos cualitativos –
Número más bajo de microorganismos que se pueden detectar, pero en
cantidades que no pueden estimarse exactamente [OMS: 2013].
La estimación del límite de detección requiere del empleo de
suspensiones de inóculo con niveles de concentración bajos.
Por tanto, es aceptable comprobar el método con bajos niveles de
inóculos de microorganismos diana de forma que se evalúen diferencias
entre las distintas matrices, analistas, equipos etc., verificándose la
capacidad del laboratorio para obtener resultados reproducibles y eficaces
a estos niveles.
Los requisitos suponen la definición de un valor
mínimo de ufc detectado, con una probabilidad
determinada.
Para fijar criterios hay que valorar:
a) La probabilidad de detección exigida no puede
ser mayor del 90%, para asegurar que no se exigen
más de 10 repeticiones por nivel.
12/11/2019 22

11
NORMA NTE INEN-ISO 6887-1

PRINCIPIO
Preparación de la suspensión inicial de
manera que se obtenga una
distribución, tan homogénea como sea
posible, de los microorganismos
presentes en la fracción de ensayo

NORMA NTE INEN-ISO 6887-1


DISOLVENTES
Mejorar la reproducibilidad

1. Preparado completo
deshidratado

2. Instrucciones del fabricante


(Ficha técnica)

3. Los reactivos de calidad


analítica reconocida (ISO
11133)

4. Agua destilada o equivalente


(INEN 1105)

12
NORMA NTE INEN-ISO 6887-1

DILUCIONES DECIMALES SUCESIVAS

CARACTERISTICAS DE LAS MUESTRAS


A UTILIZARSE
Contener matriz (alimento, agua, etc…) representativa de lo
que se desea analizar,

Incluir en general microorganismos acompañantes, que


pueden ser naturales, ó adicionados

Muestras con valores de referencia para validación de métodos


cuantitativos es aconsejable en rango y que superen el valor más
alto de recuento en placa, para validar, la capacidad del laboratorio
de realizar diluciones.

En el caso de límites de detección de métodos cualitativos


requerirán muestras de varios niveles descendentes del
microorganismo objetivo y sin flora acompañante.

En el caso de otros parámetros cualitativos los niveles del microorganismo


objetivo deben ser superiores a los de la zona de detección y deben ir
acompañados de microorganismos naturales e interferentes para poder valorar
las características del método
26

13
CARACTERISTICAS DE LAS MUESTRAS
A UTILIZARSE

Las acompañantes deberían ser de dos tipos:

 Organismos similares al objetivo que demuestran la selectividad


del método. Por ejemplo: coliformes no fecales, para método de
coliforme fecal, Shigella spp para Salmonella spp, Listeria innocua
para método Listeria monocytogenes. Generalmente deben ser
adicionadas.
 Otra flora acompañante habitual. Ejemplo : Pseudomonas.
Generalmente se obtiene de muestras naturales. En algún caso es
necesario adicionarla porque debe partirse de muestra estéril
ante la dificultad ó inseguridad de disponer de muestras en las
que conozcamos el valor del microorganismo objetivo ó su
ausencia.

27

Límite de Cuantificación
LOQ
El LOQ es el mínimo nivel del parámetro que puede ser determinado con desempeño
aceptable. “Desempeño aceptable” es considerado de diversas formas por diferentes guías
incluyendo precisión y veracidad, o incertidumbre de medición.
En la práctica, sin embargo, el LOQ se calcula de acuerdo a la mayoría de las convenciones
como la concentración del analito correspondiente a la desviación estándar obtenida a
niveles bajos multiplicada por un factor, kQ. El valor por defecto para kQ es 10.

Qué hacer Cuántas Qué calcular a partir de Fórmula Comentarios


veces los datos

Muestras blanco, es decir 10 - Calcule la El valor del multiplicador kQ


matrices que no contengan cantidades desviación So usualmente es 10, pero se
detectables del analito. estándar, de los usan comunmente otros
O Medidas replicadas de la resultados. valores como 5 o 6
muestra de ensayo con una baja - Calcule So´ (basado en criterios de
concentración del analito. - Calcular el LOQ “adecuacion al uso”).
LOQ = 10 × So´

Blancos de reactivo. 10 - Calcule la Es aceptable cuando no es


o Medidas replicadas de blancos de desviación So posible obtener muestras
reactivos fortificados con una baja estándar, de los blanco o muestras de ensayo
concentración del resultados. con una baja
analito. - Calcule So´ concentración.
- Calcular el LOQ
12/11/2019 28 LOQ = 10 × So´

14
Límite de Cuantificación
LOQ
Los multiplicadores 5 y 6 también ha sido usados ocasionalmente lo cual
corresponde a valores de RSD de 20 % y 17 % respectivamente.
El límite de cuantificación es una característica de desempeño que marca la
habilidad de un proceso de medición para ‘cuantificar’ adecuadamente.
Los cálculos del LOD y LOQ son valores indicativos.

Si se encuentran disponibles resultados


de control de calidad para muestras de
ensayo a niveles de concentración
bajos, la desviación estándar de estos
resultados puede ser utilizada en la
estimación de LOD y LOQ

12/11/2019 29

Intervalo de trabajo
Linealidad
El ‘intervalo de trabajo’* es el intervalo en el cual el método proporciona
resultados con una incertidumbre aceptable. (CALCULAR LA INCERTIDUMBRE EN
EL RANGO).
 El extremo inferior del intervalo de trabajo esta determinado por el limite de
cuantificación, LOQ. El extremo superior del intervalo de trabajo esta definido
por las concentraciones a las cuales el método no tiene una respuesta adecuada.
 El intervalo de trabajo del método que se va a validar, debe indicarse en el
alcance del procedimiento documentado.

 Durante la validación, se debe evaluar tanto


el intervalo de trabajo del instrumento como
el del método.
 Dentro del intervalo de trabajo puede existir
un intervalo de respuesta lineal. La señal de
respuesta tiene una relación lineal con la
concentración.

12/11/2019 30

15
Intervalo de trabajo
Linealidad
El intervalo de trabajo del método se relaciona con las unidades del
resultado de la muestra. Por ejemplo: mg/kg, ug/L, unidades de pH,
ml/L, g/100 g, etc. El intervalo de trabajo del equipo (en los casos que
aplique) está definido en términos de la concentración de una muestra
de ensayo procesada presentada al instrumento para su medición en
función de la respuesta del instrumento. Ej. : mg/L vs A.

El instrumento debe estar calibrado de acuerdo a un procedimiento.

12/11/2019 31

Intervalo de trabajo
Linealidad
Evaluación del intervalo de trabajo del método:

 Las muestras utilizadas deberían someterse al procedimiento de


medición completo
 Las concentraciones de las diferentes muestras deben cubrir, de
preferencia, todo el rango de interés (Criterios del Organismo de
Acreditación):
Mínimo tres niveles Validación

Mínimo dos niveles Verificación

 La evaluación del intervalo de trabajo se sustentará con datos de


estudios de precisión y sesgo
 Se debe establecer el intervalo de trabajo del método para la
variedad de matriz cubierta en el alcance del método.

12/11/2019 32

16
Intervalo de trabajo
Linealidad
Evaluación del intervalo de trabajo del equipo (LINEALIDAD):

 La respuesta del equipo sigue una relación conocida, por ejemplo,


lineal, curvilineal, etc.
 Durante la validación, es necesario confirmar esta relación y
demonstrar que el intervalo de trabajo del equipo es compatible
con el rango indicado en el alcance del método.
 Verificar el procedimiento de calibración propuesto mediante
verificaciones adecuadas.

12/11/2019 33

Intervalo de trabajo
(Microbiología)
En cuanto a límite superior, depende del número de ufc’s que pueden detectarse
en una placa, sin problemas de invasión ó dificultad de recuento, dependiendo
del método.
En cuanto a límite inferior también llamado límite de
cuantificación con el seguimiento de la distribución de
Poisson, para pequeño número de unidades formadoras de
colonias.

Aún si se calculase el límite de cuantificación,


debería poderse continuar dando valores inferiores al
calculado, por lo que su determinación no tiene una utilidad
excesiva en la expresión de resultados, como en otros
campos (química).
La realización de las pruebas experimentales en la zona del límite
de cuantificación conlleva la necesidad de establecer requisitos
de aceptación amplios debido a la variabilidad de las medidas.
ISO/ TR 13843 aconseja que las pruebas de exactitud y precisión
se realicen en zonas de recuentos superiores (al menos 30 ufc de
recuento)
12/11/2019 34

17
Linealidad- Regresión
lineal
Consideraciones para elaborar una curva de calibración :
 La evaluación inicial del intervalo se realiza mediante una
inspección visual de la curva de respuesta.
 Para evaluar el intervalo de trabajo del equipo y confirmar su
aptitud para el uso, se debe disponer de patrones de calibración con
un alcance de concentración que sobrepase el rango de
concentración esperado en ± 10 % o incluso ± 20 % y graficar las
señales.
Para un rango de (1 a 100 ) mg/L, sería de (0,8 a 120 ) mg/L.
Para un rango de (0,2 a 3 ) mg/L, sería de (0,16 a 3,6) mg/L

 Se debe preparar concentraciones uniformemente


para el rango establecido.
 Confirmar la relación entre la concentración y la
respuesta del instrumento revisando las estadísticas.

12/11/2019 35

Linealidad- Regresión
lineal
1. Graficar la respuesta en función de la
concentración.
2. Determinar la linealidad (u otra relación), valorar
el grado de ajuste de esa recta estimada a la
realidad observada para decidir si es aceptable,
mediante el coeficiente de correlación (R o r) y
más comúnmente usado el coeficiente R2 o
coeficiente de determinación.
n n n

Y=a+bX n  xi y i   xi  y i
i 1 i 1 i 1
b yx 
b
2
el coeficiente es la PENDIENTE n  n 
n  xi2  
  xi 
el coeficiente a es la ORDENADA AL ORIGEN i 1  i 1 
(intercepto ) n n
 yi  b yx  xi
i 1 i 1
a yx 
n
12/11/2019 36

18
Linealidad- Regresión
lineal
Propiedades del coeficiente de correlación (puede utilizarse el r2 )
- r mide la fuerza de la asociación LINEAL entre X e Y.
 ( x  x)( y  y)
- -1 ≤ r ≤ 1 CORRELACIÓN LINEAL
i i
r i
  2
- r = 0 implica que no hay relación lineal  ( x  x )   ( y  y )
  i
i
2

i
i 

- r = ± 1 cuando todos los puntos caen sobre la recta

12/11/2019 37

Linealidad- Regresión
lineal
Por si solo el valor de r no garantiza el valor de linealidad, pero es
necesario realizar otra prueba estadística.
En la práctica analítica las gráficas de calibración proporcionan valores
de r mayores que 0,99; valores de r menores de 0,9 son poco
comunes.
La recta de regresión incluye los errores aleatorios en el proceso de
medición de los estándares de calibración y por tanto se calcula
su desviación estándar así: sy / x
sb 
desviación estándar de la pendiente
(x
i
i  x) 2

x
2
desviación estándar del intercepto i

sa  s y / x i

n ( x  x)
i
2

error aleatorio en y
i

2
 ( yi  yˆ i )
sy / x  i
12/11/2019 n 382

19
Linealidad- Regresión
Intervalos de confianza lineal

Para de los parámetros b y a son:

a  t  Sa
b  t  Sb
donde la t es la t de Student para n-2 grados de libertad y
probabilidad de 0,05, es decir, se calcula el intervalo de
confianza que contiene el 95% de los datos de la población.
Obtenemos una buena aproximación de la región de confianza de la recta
(al nivel de significación establecido). La Sensibilidad analítica es la variación de la
respuesta del EQUIPO que corresponde a una
variación de la magnitud medida (por
ejemplo, una concentración de analito), es
decir, el gradiente de la curva de respuesta
(PENDIENTE). CORRESPONDE A LA
DIFERENCIA MAS PEQUEÑA EN LA
12/11/2019
RESPUESTA
39
DEL MÉTODO QUE SE PUEDE
DETECTAR. Permite utilizar un tamaño
adecuado de muestra.

Linealidad

Los residuales son las distancias de los puntos experimentales de la curva


de regresión lineal medidas en la dirección paralela al eje de las Y.
Gráficamente cuando los residuales están aleatoriamente distribuidos
indicarían un grado de linealidad. Por el contrario, si los puntos siguen una
tendencia determinada, i.e. no están regularmente distribuidos a ambos
lados de la X- coordenadas, la linealidad es dudosa.

20
Parámetros estadísticos
 La curva es simétrica alrededor de µ
 Cuanto más grande el valor de σ mayor es la dispersión de la
curva
 Aproximadamente 68% de los datos se encuentran entre µ±1σ
 Aproximadamente 95 % de los datos se encuentran entre µ±2σ
 Aproximadamente 99.7 % de los datos se encuentran entre
µ±3σ DISTRIBUCION NORMAL

16% 68% 16%


2,25% 95,5% 2,25%
x-2σ x-σ x x+σ

Parámetros estadísticos

Media n
xi 
n
xi = suma de resultados
i 1
x i 1

n
La media se calcula mediante la ecuación
n = número de resultados
Desviación estándar


n
LaMedia
desviación estándar i 1
( xi  x ) 2
Para comparar
está expresada en las s la dispersión de
mismas unidades que la ( n1) resultados que
media.
tienen diferente
s magnitud o
Desviación estándar relativa (RSD) RSD  unidades, la
x
RSD puede ser
s
Coeficiente de variación (CV) CV  % RSD  100 de más utilidad.
x

21
Parámetros estadísticos

s
Desviación estándar de la media sM 
n
Varianza S2, es el cuadrado de la desviación estándar

Las varianzas son aditivas


S2 = S12 + S22 +….+ Sn2
la varianza también describe la dispersión

Por la propiedad de aditividad de las varianzas sabemos que si los resultados están influidos
por n fuentes de error aleatorio diferentes e independientes, la varianza total de un
.
resultado es la suma de las varianzas de los componentes individuales.

Prueba-F
Es una prueba estadística empleada para la comparación de varianzas.

22
Prueba t de Student
Comparación de valores medios de dos conjuntos de
datos

Para decidir si la diferencia entre las medias de


los dos conjuntos de datos es
significativa,

es decir

Prueba t de
Student
Se calcula el estadístico
t:

CRITERIO:

23
Prueba t de
Student

Los grados de libertad:

Prueba de significación: t-test


(una misma población)

Media

Media

¿Los dos grupos de datos pertenecen a la misma población, o es la diferencia


observada debida a errores aleatorios?

La prueba de significación nos ayuda a decidir objetivamente si


la diferencia entre dos medias es significativa, o si ella puede
ser considerada como proveniente de variaciones aleatorias.

24
Prueba de significación: t-test
(diferente población)

Media

…o los dos grupos de datos provienen de dos poblaciones


diferentes?

Prueba de significación: t-test

 Comparación de una media experimental con un valor conocido

x
tcal 
s n
 Comparación de dos medias experimentales

Se aplica :

• Cuando dos métodos análiticos (A y B) son usados para analizar una


misma muestra

• Cuando un método se aplica repetidas veces para analizar dos muestras


diferentes
( x1  x 2 )
tobserved 
 1 1   s12 n1  1  s22 n2  1 
     
donde:
s : es la desviación estándar conjunta  n1 n2   n1  n2  2 
tobs tiene n1 + n2 - 2 grados de libertad

25
Prueba de significación: t-test

 Comparación entre pares de muestras

Existe diferencia
significativa entre
pares de muestras
(métodos)?

tcal = d / (sd /n)


Donde: d = la media de las diferencias de resultados
Sd = desviación estándar de las diferencias
n = número de diferencias
El número de grados de libertad del tcrit es n-1
Nota: El rango de variación entre las concentraciones de las diferentes muestras debe ser
restringido

Veracidad
VERACIDAD (“TRUENESS”) :

Grado de concordancia entre el promedio de una gran serie de mediciones y el


mensurando.

Proximidad entre el promedio de un número infinito de valores medidos


repetidos y un valor de referencia (2.14 VIM).

Puesto que no es posible realizar un número infinito de mediciones, no se puede medir la


veracidad. Sin embargo, podemos realizar una evaluación práctica de la veracidad. Por lo
general, esta evaluación se expresa cuantitativamente en términos de 'sesgo‘. (Guía
Eurachem 2014)

SESGO (bias):

Resultado de la medición menos el valor de referencia o valor asignado.

Valor estimado de un error sistemático (2.18 VIM).

12/11/2019 52

26
Veracidad
El cálculo del sesgo puede hacerse de diferentes maneras:
a) Utilizando materiales de referencia (matriz muy parecida a la
muestra)
b) Determinación de la recuperación utilizando muestras adicionadas
c) Comparación con resultados obtenidos mediante otro método

Los estudios deben cubrir el alcance del método, para lograrlo se


puede requerir una combinación de estos.

El sesgo puede expresarse en términos absolutos :

error= X - X ref.

o en términos relativos en porcentaje :

%e= X - X ref. x 100

X ref.
12/11/2019 53

Sesgo
En algunos sectores de medición analítica, también se utiliza la
recuperación relativa ('recuperación aparente') en porcentaje, R % :

R%= X x 100
X ref.

o como recuperación relativa de adiciones

R%= X X x 100
X adición

X media de los resultados


o
Lo recomendable son
X adición : concentración añadida 10 mediciones

X media de la muestra adicionada


54

27
Sesgo
 Es importante recordar que un determinado MR
debería utilizarse únicamente para un fin
durante un estudio de validación. Por ejemplo,
un MR usado para la calibración no debería
utilizarse para evaluar el sesgo. (Eurachem
2014).
 Para comparar dos métodos, se comparan los
resultados del método candidato y del método
alternativo (referencia), para la misma muestra
o muestras. La muestra o muestras pueden ser
MR internos, o simplemente muestras de ensayo
típicas.
 El MR ideal es un material de referencia de matriz certificado con valores de
las propiedades próximos a los de las muestras de ensayo de interés. Se
acepta en general que los MRC proporcionan valores trazables.

 El sesgo puede variar con la matriz y el nivel de concentración, lo cual


significa que el número de matrices y niveles de concentración que se va a
examinar, debe indicarse en el plan de validación.
55

Exactitud (Veracidad y
Precisión)
EXACTITUD :
La ‘exactitud’ de medición expresa la proximidad de un único
resultado a un valor de referencia.

Es la proximidad entre un valor medido y un valor verdadero de


un mensurando. (2.13 VIM).

12/11/2019 56

28
Exactitud (Veracidad y
Precisión)
VERACIDAD Y
PRECISIÓN

EXACTITUD
La validación de métodos trata de investigar
la exactitud de los resultados evaluando los
efectos sistemáticos y aleatorios sobre
resultados individuales. Por lo tanto,
normalmente la exactitud se estudia como
dos componentes: ‘veracidad’ y ‘precisión’

12/11/2019 57

Precisión
PRECISIÓN: proximidad entre las indicaciones o los valores
obtenidos entre mediciones de un mismo objeto los resultados de
mediciones sucesivas del mismo mensurando o de objetos similares,
bajo condiciones especificadas. (VIM 2.15)

12/11/2019 58

29
Exactitud (Veracidad y
Precisión)
La repetición es esencial para obtener estimaciones fiables de las
características de desempeño del método.

“deben ser diseñados para tener en cuenta todas las variaciones en las
condiciones operativas que se pueden esperar durante el uso rutinario
del método “.

REPETIBILIDAD : condición de medición que incluye:

• el mismo procedimiento
• los mismos operadores
• el mismo sistema de medida
• el mismo lugar
• las mismas condiciones de operación
• mediciones repetidas en el mismo objeto u objetos similares
• en un período corto de tiempo

12/11/2019 59

Exactitud (Veracidad y
Precisión)
REPRODUCIBILIDAD: condición de medición que
incluye :
• diferentes operadores
• diferentes sistemas de medida (pueden utilizar diferentes
procedimientos)
• diferentes lugares
• diferentes condiciones de operación
• mediciones repetidas en el mismo objeto u objetos similares

PRECISIÓN INTERMEDIA: condición de medición que


incluye :
• el mismo procedimiento
• el mismo lugar
• mediciones repetidas en el mismo objeto u objetos similares
• en un período amplio de tiempo
• que puede incluir otras condiciones que involucren variaciones
(analistas, sistema de medición, equipos, etc)

12/11/2019 60

30
Exactitud (Veracidad y
Precisión)
Entre estos dos extremos, “la precisión intermedia (de medida)” ofrece una
estimación de la variación en los resultados cuando las mediciones se realizan en
un solo laboratorio . El objetivo es obtener una estimación de la precisión que
refleje todas las fuentes de variación que se producirán en un solo laboratorio en
condiciones de rutina (diferentes analistas, períodos de tiempo prolongado,
diferentes piezas de equipo, reactivos, instrumetnos, s etc.)

PRECISO PERO NO VERAZ VERAZ PERO NO PRECISO

12/11/2019 61

Exactitud (Veracidad y
Precisión)
El objetivo de la validación es determinar la exactitud

NI PRECISO NI VERAZ VERAZ Y PRECISO

12/11/2019 62

31
Precisión
La evaluación de la precisión requiere la realización de mediciones
repetidas en materiales adecuadas.

 Los materiales deben ser representativos de las muestras de ensayo en


términos de la matriz y la concentración de analito, no necesitan ser
MRC.

 El número mínimo especificado de repeticiones, varía con los


diferentes protocolos, pero está típicamente entre 6 y 15 para cada
material utilizado en el estudio.

 Algunos diseños experimentales, analizados mediante análisis de


varianza (ANOVA), son una forma eficiente de obtener estimaciones
de repetibilidad y precisión intermedia con un número adecuado de
grados de libertad

12/11/2019 63

Precisión - ANOVA

El análisis de la varianza (ANOVA) es un método que se emplea para


comparar resultados obtenidos por distintos métodos, laboratorios,
analistas, etc., cuando el número de medias obtenidas es superior a dos.
También permite separar las contribuciones de uno o más factores a la
varianza global del sistema.

12/11/2019 64

32
Precisión - ANOVA
ANÁLISIS DE VARIANZA , ANalysis Of VAriance:

Es una prueba estadística que permite probar la


significancia entre dos o más medias o dos
varianzas , entre dos más grupos.

ANOVA permite
separar, calcular y
comparar diferentes
fuentes de variación.

65

Precisión - ANOVA
ANÁLISIS SIMPLE DE LA VARIANZA
Diferencias cuadráticas
Origen Grados de Sumas de diferencias
medias
de la varianza libertad () cuadráticas (SDC)
(DCM = SDC/) (varianzas)
5
Entre grupos
B = k-1 SDC B   p(Li  L) 2 DCM B 
SDC B
(Between) i 1 vB

Dentro del 5 5

grupo W = n-k SDCW   (Lij  Li ) 2 SDC W


i 1 j 1 DCM W 
(Within) v w

SDC T  SDC B  SDCW SDC t


Total  t = n-1 DCMt 
vt

k= número de grupos; p=número de repeticiones en cada grupo; n= número total de repeticiones


ISO 5725-3

33
Precisión - ANOVA
,

La cantidad de datos independientes usados para calcular el


estadístico se conoce como el número de grados de libertad, .

La desviación estándar de repetibilidad (sr) es:

sr  DCM W
La desviación estándar de reproducibilidad (sR) es
La precisión intermedia puede,

s R  s r2  s L2 calcularse combinando los


componentes de la varianza intra-
grupo y entre grupos, descritos
anteriormente

DCM B  DCM W
s L2 
p La contribución a la variación total del
factor de agrupamiento (si) también se Si S L2 <0; S L2 =0
obtiene a partir de la tabla ANOVA

Precisión - ANOVA

Para compararlo con el correspondiente F tabulado:

F = DCMB / DCMW ; VB ; vW

Si F cal < F tabulado NO EXISTEN DIFERENCIAS SIGNIFICATIVAS

Aunque en ANOVA se asume de que los datos y sus promedios estan


normalmente distribuídos, en la práctica por tenerse muy pocas mediciones, es
dificil demostrar la normalidad de las distribuciones. Sin embargo se ha
demostrado que aún grandes variaciones no tienen mayor efecto en las
decisiones hechas en base al resultado de la prueba-F.

34
Precisión
Qué hacer Cuántas Qué calcular a partir de Comentarios
veces los datos

Medir materiales de referencia (MR), muestras


excedentes de ensayo o blancos de muestra
adicionados a diversas concentraciones en todo el
intervalo de trabajo. La repetibilidad y la
precisión intermedia se pueden determinar a
partir de estudios por separado (véase a) y b) o
simultáneamente en un solo estudio (ver c).

a) Mismo equipo y mismo analista, 6-15 replicas para Determinar la desviación Estimar la desviación
mismo laboratorio, corto plazo de cada material. estándar (s) de los resultados estándar de repetibilidad
para cada material. sr para cada material
tiempo.
b) Analistas y equipos diferentes, 6-15 replicas para Determinar la desviación Estimar la desviación
cada material. estándar (s) de los resultados estándar de la precisión
mismo laboratorio, plazo prolongado
de tiempo.
para cada material. intermedia sI para cada
material.

c) Analistas y equipos diferentes, mismo 6-15 grupos de Calcular la desviación estándar de Estimar la desviación
medidas duplicadas repetibilidad de los resultados de estándar de repetibilidad
laboratorio, plazo prolongado de obtenidas bajo ANOVA para cada material. sr para cada material.
tiempo. condiciones de Calcular la desviación estándar Estimar la desviación
repetibilidad en entre grupos de los resultados de estándar de la precisión
ANOVA y combinarla con la
días/equipos
diferentes para cada desviación estándar de intermedia sI para cada
repetibilidad para cada material. material.
material.

12/11/2019 69

Precisión
Qué hacer Cuántas Qué calcular a partir de Comentarios
veces los datos

d) Analistas y equipos 6-15 grupos de Calcular la desviación Estimar la desviación


diferentes, laboratorios medidas duplicadas estándar de repetibilidad de estándar de repetibilidad
diferentes, plazo obtenidas bajo los resultados de ANOVA sr para cada material.
prolongado de tiempo. condiciones de para cada material. Estimar la desviación
repetibilidad en Calcular la desviación estándar de
diferentes estándar entre laboratorios de reproducibilidad sR para
laboratorios los resultados de ANOVA y cada material. Esto
para cada material. combinarla con la desviación requiere una comparación
estándar de repetibilidad para especial entre
cada material. laboratorios (‘ensayo
colaborativo’).

Una desviación estándar de repetibilidad también se puede estimar al reunir varios conjuntos pequeños de
datos , por ejemplo, n = 2, de diferentes dias.
Las mediciones duplicadas dentro de cada grupo proporcionara un número equilibrado de grados de libertad
para las estimaciones las desviaciones estándar inter y entre grupos. Aumentando el numero de repeticiones
por grupo aumentara el número de grados de libertad asociados con la estimación de la repetibilidad.

Eurachem. Guía de Validación , 2014

12/11/2019 70

35
Error Normalizado (aplicación en sistemas de
medición)

Error Normalizado

𝑋𝑖 − 𝑋𝑟
𝐸𝑛 =
𝑈2𝑖 + 𝑈2 𝑟

Donde:

En = Error normalizado Criterio de evaluación:


Xi = Valor promedio estimado del técnico
Xr = Valor referencial En ≤ 1 Satisfactorio
Ui = Incertidumbre expandida del técnico En > 1 No satisfactorio
Ur = Incertidumbre expandida referencial

71

Selectividad/Especificidad
Selectividad
Se relaciona con “el grado en el que un método puede ser utilizado
para determinar analitos particulares en mezclas o matrices sin
interferencias de otros componentes de comportamiento similar”
[Guía Eurachem 2014].
‘Especificidad
La capacidad de un método para medir solamente
lo que se pretende que mida.’ [AOAC - PVMC]

‘La especificidad es la capacidad de determinar el


analito inequívocamente en presencia de
componentes los cuales se espera que estén
presentes. Comúnmente, esto puede incluir
impurezas, degradantes, matriz, etc.’ [ICH Q2A,
CPMP/ICH/381/95]
12/11/2019 72

36
Selectividad/Especificidad

Cómo se determina la Selectividad ?


Salvo que se desarrolle un método totalmente nuevo estos parámetros de
desempeño se establecen bibliográficamente

Este parámetro se aplica a los análisis tanto cualitativos como cuantitativos y su


verificación depende del tipo de análisis a realizar.

Analizar el
comportamiento

Impurezas disponibles: Fortificado de las impurezas dentro de las muestras. Investigación


bibliográfica
Impurezas no disponibles: Degradación de la muestra bajo condiciones
específicas (luz, humedad, oxidación, hidrólisis, calor, ácido, etc. )
73

Robustez
La “robustez” de un procedimiento analítico es "una medida
de su capacidad para permanecer no afectado por pequeñas
variaciones premeditadas de los parámetros del método. La
robustez proporciona una indicación de la fiabilidad del
método durante su uso normal” (USP, 2003)

Un "ensayo de robustez" implica hacer cambios deliberados


en el método, e investigar el efecto subsiguiente en el
desempeño.* A continuación, es posible identificar las
variables en el método que tienen el efecto más significativo
y garantizar que, cuando se utiliza el método, están
controladas estrictamente
Cuando se utilizan métodos publicados por organismos de
normalización dentro del alcance de aplicación del método, la
robustez por lo general ha sido estudiada como parte del
proceso de normalización.

37
ROBUSTEZ
Un aspecto importante de la robustez es la estabilidad de todas
las muestras, estándares y reactivos, tanto en el
almacenamiento como durante las condiciones de ensayo. En
este caso pueden ser parámetros a probar:
· Sensibilidad a la temperatura, humedad.
· Sensibilidad a la luz.
· Hidrólisis p. ej. por la humedad del aire.
· Facilidad de oxidación.
· Descomposición química.
· Efectos catalíticos, p. ej. por las paredes del contenedor.
· Variación pequeña de tiempo.

DISEÑO DE ROBUSTEZ

12/11/2019 76

38
DISEÑO DE ROBUSTEZ

12/11/2019 77

ROBUSTEZ
 YOUDEN - STEINER  PLAKETT -BURMAN

12/11/2019 78

39
Datos Fuera de Límite
Datos separados en valor del resto.

 ISO 5725:2 1994, “Accuracy (trueness and precision) of


measurement methods and results”.

 ASTM E691 2011 Edition, Standard Practice for Conducting an


Interlaboratory Study to Determine the Precision of a Test
Method
Excluir los datos de los resultados que son identificables no válido
(por ejemplo, si se expresan en las unidades equivocadas o se
obtienen mediante el uso de un método prohibido) o son los
valores extremos (por ejemplo, fuera de la gama de ± 50% de la
media). (IUPAC )

Pruebas numéricas de outliers


Técnica gráfica de Mandel

79

Prueba de Outliers
- Pruebas numéricas de outliers

Test de Cochran:

Variabilidad dentro de laboratorios (WITHIN)

1. Calcular C para n replicas para p Laboratorios

SLMax = Máxima desviación

2. Obtener los valores críticos al 5% y al 1% (Tablas).


80

40
Datos Fuera de Límite
Evaluando resultados para Cochran y Grubbs Simple

12/11/2019 81

Datos Fuera de Límite

Test de Grubbs
Variabilidad entre laboratorios o grupos (Between).

Test de Grubbs Simple

1. Ordenar los valores en forma creciente para tomar la observación más


grande.

2. Se aplica para un valor extremo (mayor o menor) y se calcula el


estadístico

3. Obtener los valores críticos al 5 % y 1 % (Tablas)


4. Si el Test simple no ha detectado valores fuera de límite no
aplicamos otro test. 82

41
Datos Fuera de Límite

TEST DE GRUBBS DOBLE (Dos valores extremos pueden enmascarar el


análisis )

1. Obtener el estadístico de Grubbs

G = sp-1, p
2 2 p

s0 = å
2

s 0
2

i=1
(xi -x)
p-2 p-2

å xi sp-1, p = å
1 2
x p-1, p = (xi -x p-1, p )
2

p- 2 i=1 i=1

G = s1,2
p p
2 2
s1,2 = å å
2 1
s (xi -x1,2 ) x1,2 =
2

0 i=3 p- 2 i=3 xi

83

Datos Fuera de Límite

2. Obtener los valores críticos al 5 % y 1 % (Tabla de Grubbs


doble).

3. Comparar el valor de G calculado con los valores críticos

Gmáx (Gmín) ≥ G5% ACEPTADO

G5%< Gmáx (Gmín) ≥ DUDOSO


G1%
SE DESCARTA
Gmáx (Gmín) < G1%
84

42
Técnica Gráfica De Mandel
 Técnica gráfica de Mandel

1. Calcular el estadístico h (entre laboratorios) :

2. Representar gráficamente los valores

Técnica Grafica de Mandel


3. Calcular el estadístico k (dentro de cada laboratorio)-

2
p
(x- xi )
s= å n -1
;
i =1

ås 2
1
sr = i =1
p
4. Representar gráficamente los valores de k para cada
laboratorio.
Las líneas que se dibujan como
indicadores de los niveles de
significancia al 1% y 5% (Tablas)

43
MÉTODOS SEMICUANTITATIVOS Y
CUALITATIVOS
En los análisis se dan mediciones con respuestas rápidas de tipo cualitativo , en
algunos casos binarias (mas allá del tipo de detección)

SENSORIALES : Color, olor


 SI/NO

 POSITIVO/NEGATIVO ELISA

 REACTIVO/NO REACTIVO
UV-VIS
 PASA/NO PASA
SENSORES: Químicos,
 AUSENCIA /PRESENCIA bioquímicos

SEMICUANTITATIVOS CON UMBRAL

MÉTODOS SEMICUANTITATIVOS Y
CUALITATIVOS

12/11/2019 88

44
DETERMINACIÓN DEL NIVEL DE CORTE PARA UN
MÉTODO CUALITATIVO

Determinación de la concentración de corte para un método cualitativo


con un nivel de corte indicado igual a 100 μg L-1.

Se debería construir una curva de respuesta de porcentajes de resultados positivos o


negativos frente a la concentración o dilución, de la cual será posible determinar, por
inspección, la concentración umbral a la cual el ensayo se vuelve poco confiable.
12/11/2019 89

Tabla de Contingencia

Eurachem 2014

La ‘sensibilidad diagnostica’ es la proporción de muestras con una determinada condición, p. ej.,


concentración superior a la concentración de corte, que proporciona resultados positivos al
análisis, La sensibilidad diagnostica es una característica fundamental del método cualitativo, que
expresa su capacidad para detectar pequeñas cantidades del analito en una muestra, de manera que
se obtenga la respuesta binaria Si/No para un nivel de probabilidad predefinido.
La ‘especificidad diagnostica’ es la proporción de
muestras sin condición alguna, p. ej., concentración
inferior a la concentración de corte, que dan resultados
negativos al análisis cualitativo.
12/11/2019 90

45
Sensibilidad/Valor predictivo positivo
La ‘sensibilidad diagnostica’ es la proporción de muestras con una
determinada condición, p. ej., concentración superior a la concentración
de corte, que proporciona resultados positivos al análisis

VP
MUESTRA
VP + FN
(+) (-)

VERDADEROS FALSOS POSITIVOS


PRUEBA (+) POSITIVOS FP
VP b
VP
a VPP =
PRUEBA (-) d VP + FP
c VERDADEROS
FALSOS NEGATIVOS NEGATIVOS
FN VN

VALOR PREDICTIVO POSITIVO: La proporción de muestras con


un resultado positivo en el análisis cualitativo que tienen la condición.
Se tiene en cuenta la prevalencia de la condición en la población
objetivo de las muestras.

Especificidad/Valor predictivo negativo

. La ‘especificidad diagnostica’ es la proporción de muestras sin


condición alguna, p. ej., concentración inferior a la concentración
de corte, que dan resultados negativos al análisis cualitativo

VN
MUESTRA Especificidad: E =
(+) (-) VN + FP
VERDADEROS FALSOS POSITIVOS
PRUEBA (+) POSITIVOS
VP
FP
b
VN
a
VPN =
PRUEBA (-)
VN + FN
d
c VERDADEROS
FALSOS NEGATIVOS NEGATIVOS
FN VN

VALOR PREDICTIVO NEGATIVO: La proporción de muestras con


un resultado negativo en el análisis cualitativo que tienen la condición.
Se tiene en cuenta la prevalencia de la condición en la población
objetivo de las muestras.

46
Índice Kappa
El índice kappa puede aplicarse a pruebas cuyos resultados sólo tengan
dos categorías posibles o más de dos sin un orden jerárquico entre ellas.
El índice kappa puede adoptar valores entre -1 y 1. Es 1 si
existe un acuerdo total, 0 si el acuerdo observado es igual al esperado
y menor de 0 si el acuerdo observado es inferior al esperado
por azar
Po-Pe
K=
1 - Pe

Po= (a+d) /n

Pe= (P+N) /n

n= a+b+c+d

12/11/2019 93

Índice Kappa

12/11/2019 94

47
Métodos de ensayo y validación de
métodos micorbiologicos

48
VALIDACIÓN DE ENSAYOS
MICROBIOLOGICOS CR EA 01

CE 5.4.5.1.1 La validación de los métodos de ensayo debe reflejar las


condiciones reales de ensayo. La extensión de la validación necesaria
dependerá del método y su aplicación.

CE 5.4.5.2.1 El laboratorio debe demostrar que una versión modificada de


un método cumple las mismas especificaciones que el método original.

CE 5.4.5.2.2 Si se utilizan métodos oficiales, métodos normalizados o


métodos de organismos nacionales o internacionales reconocidos, o
basados en ellos, antes de analizar cualquier muestra, los laboratorios
deberán verificar su capacidad para cumplir de forma satisfactoria todos los
requisitos establecidos en dichos métodos, si no los tuvieran deberán
determinar al menos :

12/11/2019 97

VALIDACIÓN DE ENSAYOS
MICROBIOLOGICOS CR EA 01
EN ENSAYOS CUANTITATIVOS [CEA-ENAC-20 Rev1]

 Límite de cuantificación

 Recuperación (eficiencia) . Con valores de referencia.


 comparación con métodos de referencia
 muestras inoculadas con materiales de referencia o cepas de referencia
 de resultados de Inter laboratorios.

 Reproducibilidad (ISO/TS 19036) (precisión intermedia)

Cálculo de la precisión en muestras con diferentes niveles de


contaminación.

En el caso de muestras con alto nivel de contaminación se deben


realizar las correspondientes diluciones decimales (ej. normas ISO
8199 e ISO 7218)
12/11/2019 98

49
VALIDACIÓN DE ENSAYOS
MICROBIOLOGICOS CR EA 01
EN ENSAYOS CUALITATIVOS [CEA-ENAC-20 Rev1]

 Límite de detección (empleo de suspensiones de inóculo con


niveles de concentración bajos, se evalúen diferencias entre las
distintas matrices, analistas, equipos etc.)

Asimismo, puede obtenerse información sobre las características de


funcionamiento de los métodos de:
- Actividades de control de calidad interno: Los resultados obtenidos en
las actividades de control de calidad interno aplicando el método de
ensayo a confirmar, pueden ser utilizados en la comprobación del
método (ej. verificación de nuevas matrices).
-Participación en intercomparaciones
(Control de calidad externo)

99

VALIDACIÓN DE ENSAYOS
MICROBIOLOGICOS CR EA 01
CE 5.4.5.3.2 Para la validación de los métodos de ensayo
microbiológicos cualitativos, tales como los que el resultado se
expresa en términos de detectado/no detectado, y los procedimientos
de confirmación e identificación del microorganismo, deben ser
validados estimando, cuando sea apropiado:
- Especificidad,
- Sensibilidad
- Desviación positiva
- Desviación negativa,
- Límite de detección,
- Eficiencia (recuperación),
- Efecto matricial (debe realizarse cuando se está desarrollando un
método nuevo o fuera de su alcance). [CEAENAC-20 Rev1]

12/11/2019 100

50
Tabla de Contingencia

Eurachem 2014

Sensibilidad (%) = a/(a+b)


Especificidad (%) = d/(d+c)
Recuperación (%) = (a+d)/N
Falsos positivos (%)= c/(a+c)
Falsos negativos (%)= b/(b+d)
12/11/2019 ISO 13843 :2017 101 Selectividad = Log [(a+c)/N]

Sensibilidad
Sensibilidad: Fracción del número total de cultivos o colonias
positivos que son asignados correctamente con el método
utilizado [ISO 13843].
MUESTRAS
(+) (-)
VP
VP + FN

VERDADEROS FALSOS POSITIVOS


PRUEBA (+) POSITIVOS V FP
VP
a b

PRUEBA (-) c d
VERDADEROS
FALSOS NEGATIVOS NEGATIVOS
FN VN

51
Especificidad
Especificidad: Fracción del número total de cultivos o colonias
negativos que son asignados correctamente con el método
utilizado [ISO 13843].
MUESTRAS
(+) (-)
VN
Especificidad: E =
VN + FP
VERDADEROS FALSOS POSITIVOS
POSITIVOS FP
PRUEBA (+) VP
a b
c d
PRUEBA (-) FALSOS NEGATIVOS VERDADEROS
FN NEGATIVOS
VN

Desviación positiva
Ocurre cuando el método alternativo da un resultado positivo
sin confirmación y el método de referencia da un resultado
negativo. Esta desviación se convierte en un resultado falso
positivo cuando puede demostrarse que el resultado verdadero
es negativo. MUESTRAS
(+) (-)

VERDADEROS FALSOS POSITIVOS


PRUEBA (+) POSITIVOS FP
VP b
FP
a
FP =
PRUEBA (-) d FP + VN
c VERDADEROS
FALSOS NEGATIVOS NEGATIVOS
FN VN

52
Desviación negativa
Ocurre cuando el método alternativo da un resultado negativo
sin confirmación y el método de referencia da un resultado
positivo. Esta desviación se convierte en un resultado falso
negativo cuando puede demostrarse que el resultado verdadero
es positivo
MUESTRAS
(+) (-)

VERDADEROS FALSOS POSITIVOS


PRUEBA (+) POSITIVOS
VP b
FP
FN
a
FN =
PRUEBA (-)
FN + VP
d
c VERDADEROS
FALSOS NEGATIVOS NEGATIVOS
FN VN

Eficiencia/recuperación,
exactitud
Grado de concordancia entre los resultados del método
evaluado y los obtenidos utilizando un método de referencia
reconocido.

MUESTRAS
(+) (-)

VERDADEROS FALSOS POSITIVOS


PRUEBA (+) POSITIVOS FP VP+VN
VP b Efic. =
a
PRUEBA (-)
VP+VN+FP+FN
d
c VERDADEROS
FALSOS NEGATIVOS NEGATIVOS
FN VN

53
VALIDACIÓN DE ENSAYOS
MICROBIOLOGICOS CR EA 01
VALIDACION de Sistemas de ensayo comerciales (kits)

 Los laboratorios deben conservar los datos sobre la validación de los


sistemas de ensayo comerciales (kits) que utilicen.

 Estos datos pueden obtenerse de ejercicios de intercomparación o de


datos sobre validación remitidos por los fabricantes y sujetos a la
evaluación de una tercera parte (p. ej., AOAC). www.aoac.org

 Si no se dispone de datos sobre validación o si éstos no son


plenamente aplicables, el laboratorio será responsable de completar
la validación del método.
CE 5.4.5.2.3 Cuando la acreditación abarca
diversos tipos de muestras (por ejemplo:
alimentos), las diferencias debidas a las
matrices deben tenerse en cuenta al
momento de validar el método.
107

VALIDACIÓN DE ENSAYOS
MICROBIOLOGICOS CR EA 01
CE 5.4.5.2.4 Los laboratorios deben mantener los datos sobre
validación de los sistemas de ensayo comerciales (kits) que
utilicen. (intercomparación o del fabricantes. Si no se dispone
de datos sobre o si éstos no son plenamente aplicables, el
laboratorio será responsable de completar la validación del
método

CE 5.4.5.3.1 Para la validación de métodos de


ensayos microbiológicos cuantitativos cuando
sea aplicable: debe considerarse los límites de
detección y cuantificación. Exactitud y
precisión para diferentes niveles. [CEA-ENAC-
20 Rev1]

En ensayos de recuento microbiológicos , independiente del nivel


de contaminación en la muestra , mediante diluciones seriadas , se
realiza e recuento dentro de un intervalo de medida (ej. ISO 8199
10-150 o 10-300 ufc/placa , ISO 7218 (15-300
12/11/2019 108 o 15 a 150 ufc/placa

54
VALIDACIÓN MÉTODOS
CUANTITATIVOS
• Límite de cuantificación: Aplicado a análisis microbiológicos
cuantitativos – Número mínimo de microorganismos dentro de una
variabilidad definida que puede determinarse en las condiciones
experimentales del método evaluado

• Solo relevante cuando el principio de medida del método no se basa en el


recuento de colonias visibles del microorganismo objeto de estudio. Ej.
Medidas instrumentales de conductividad o de fluorescencia que a su vez
se correlacionan con el crecimiento del microorganismo.

PRECISIÓN

En recuentos de colonias realizados en una suspensión homogénea y


siguiendo una distribución de Poisson, se observa una clara
dependencia de %RDS (CV) respecto al promedio de colonias
recontadas (C). Los recuentos en torno a 20, 25, 30 UFC/placas se
consideran estadísticamente fiables. (Efecto de sobredispersión).
1
%𝑅𝐷𝑆𝑝𝑜𝑖𝑠𝑠𝑜𝑛 109 = 𝑋100
√𝐶

VALIDACIÓN MÉTODOS
CUANTITATIVOS
PRECISIÓN.- Técnica de duplicados con pares de valores

Parámetros estadísticos
Parámetros de distribución o dispersión
Varianza 𝑥1 − 𝑥 2
𝑠2 =
𝑛−1
Desviación estándar s= √𝑠 2
Desviación estándar relativa 𝑆
𝑅𝐷𝑆 =
𝑥
1
%𝑅𝐷𝑆𝑝𝑜𝑖𝑠𝑠𝑜𝑛 = 𝑋100
√𝐶

Repetibilidad 𝑥1 − 𝑥 2
𝑠𝑟 2 =
𝑛−1
Reproducibilidad 𝑥1 − 𝑥 2
𝑠𝑅 2 =
𝑛−1

110

55
VALIDACIÓN MÉTODOS
PRECISIÓN
CUANTITATIVOS
Técnica de duplicados con valor de referencia

Parámetros estadísticos
Parámetros de distribución o dispersión
− 𝑠𝑑
Reproducibilidad 𝑅𝑝% = 1 − 10 . 100
Desviación estándar relativa 1
%𝑅𝐷𝑆𝑝𝑜𝑖𝑠𝑠𝑜𝑛 = 𝑋100
√𝐶

Criterio 𝑅𝑝% ≤ 2,0 ∗ 𝑅𝐷𝑆%𝑃𝑜𝑖𝑠𝑠𝑜𝑛


−𝑑
Recuperación 𝑅𝑒𝑐 % = 10 ∗ 100
T-student para muestras 𝑑
apareadas 𝑡𝑐𝑎𝑙 =
𝑆𝑑
𝑛

111

Estimación de la incertidumbre
ISO/TS 19036
Tres opciones para estimar SR
- SR intralaboratoio
- SR Método derivado de estudio interlaboratorio
- SR de un ensayo interlaboratorio

U = 2 uc (y) = 2 SR
Considerar:
- Modelo caja negra
- Estimar según microrganismo, matriz, método de análisis
- Tener bajo control factores críticos:
y = son los datos
SR transformados a log base
Cálculo de SR
10

12/11/2019 112

56
CONSIDERACIONES PARA
VALIDAR
 Recopilación de la normativa aplicable (métodos de ensayo,
reglamentación legal, requisitos del cliente, etc. ).

 Elaboración el procedimiento de ensayo , AL FINAL DE LA VALIDACÓN


ESTE PROCEDIMIENTO SERÁ MODIFICADO DE ACUERDO A LOS
RESULTADOS DEL DESEMPEÑO DEL MÉTODO. (detalles adicionales
cuando sea necesario para el método normalizado- VERIFICACIÓN).

 El laboratorio debe considerar, teniendo en cuenta, las limitaciones


impuestas, los requisitos legales y de clientes, las experiencias y
herramientas disponibles (la validación es siempre un equilibrio entre
costos, riesgos y posibilidades técnicas).

 Identificar las muestras que se van a emplear (muestras de rutina, muestras


adicionadas, MRC, MR soluciones fortificadas, blancos,
instrumentos/equipos, patrones, marca, lote, fecha, etc.), la forma de
empleo, como se van a marcar, los M.R. que se van a utilizar, patrones de
medida etc.

CONSIDERACIONES PARA
VALIDAR
 Definir el nº de ensayos/calibraciones necesarios para obtener los
valores de Las características del desempeño.
 La ejecución experimental debe ser en las CONDICIONES RUTINARIAS
DE TRABAJO.

 Si se emplean datos históricos, especificar exactamente cuales son y todos


los datos que permitan su trazabilidad.

 Comprobación que los equipos a utilizar estén calibrados y/o verificados y


en perfecto estado de funcionamiento antes de a validación.

 El laboratorio tiene que decidir cuáles son las características de desempeño.


En función al tipo de ensayo
 Cuantitativo
 Semicuantitativo
 Cualitativo /Identificativo
 La información relativa al proceso de validación debe ser registrada
(REGISTROS DE VALIDACIÓN).

57
Objetivos de Validación
Objetivos de validación : Definir las condiciones por cumplir:
OBJETIVOS DE VALIDACIÓ. Por ejemplo: límite de detección < 5 mg/L,
intervalo de trabajo
( 0,1 a 5 ) mg/kg , incertidumbre <20%, CVr %<10%, etc.

Como definirlos:

En el caso más sencillo ya fueron establecidas por el cliente del


laboratorio o por alguna instancia oficial (autoridad, reglamento o
norma )
Si éste no es el caso, el responsable del ensayo debe establecerlas lo
más de acuerdo posible con el cliente del laboratorio.
Existen ecuaciones que permiten fijar los objetivos. Ej. Horwitz
Cuando no es posible contactar al cliente del laboratorio, debe
definirlas el responsable del ensayo de manera confiable y científica.

La Ecuación de Horwitz

Concentración (ppb) (mg/kg) (g/100g) 100%

Relativa 10-9 10-8 10-7 10-6 10-5 10-4 10-3 10-2 10-1 100
RSDR(%) 45 32 23 16 11 8.0 5.6 4.0 2.8 2.0

Horwitz Value RSDR =2C-0.1505 R = 0.02C0.8495

58
Documentación de Validación
/Verificación
Para la validación de un método en el laboratorio se requiere:

UN PROCEDIMIENTO QUE DESCRIBA LAS TÉCNICAS ESTADÍSTICAS


APLICADAS

Según la Norma ISO/IEC 17025:


“7.2.1 Selección y verificación de métodos

7.2.1.1 El laboratorio debe usar métodos y procedimientos apropiados para:

- todas las actividades del laboratorio


- cuando sea apropiado, para la evaluación de la incertidumbre de las
mediciones,
- al igual que las técnicas estadísticas para el análisis de datos.”

12/11/2019 117

Documentación de Validación
/Verificación
7.2.2.4 El laboratorio debe conservar los siguientes registros de validación:

a) procedimiento de validación usado;

b) la especificación de los requisitos;

c) la determinación de las características de desempeño de


los métodos;

d) los resultados obtenidos;

e) una declaración de la validez del método, especificando


en detalle su aptitud para el uso previsto

12/11/2019 118

59
Documentación de Validación
/Verificación
a) Procedimiento de validación usado;
 Es un procedimiento donde se detalla las condiciones y diseño
experimental para ejecutar la validación en el laboratorio para el
procedimiento establecido

 Se lo puede denominar de diferentes nombres: Protocolo, informe,


Plan, diseño.

 El mismo debe ser lo más conciso y claro posible

 La información mínima que debe contener es:

- Objeto y alcance (rango, tipos de ítems, exclusiones, etc.)


- Fundamento técnico y posibles interferentes
- Identificación del personal que participó con sus
responsabilidades
12/11/2019 119

Documentación de Validación
/Verificación
a) Procedimiento de validación usado;
- Tipo de ítems de ensayo /calibración utilizados en la validación
- Equipamiento utilizado: Patrones , MR, MRC utilizados (trazabilidad),
los equipos usados con especificación técnica y serie, reactivos, material
auxiliar (condiciones ambientales), software, etc.
- Cambios en el método, cuando aplique en el equipamiento o en
alguna condición para ver robustez (tiempo, pH , temperatura,
reactivos, materiales, variedad de equipos).
- Requisitos del método: Identificar las características del desempeño y
los valores o condiciones a obtener. (Objetivos)

- Diseño experimental : Ensayos para el determinar las características de


desempeño. Cuantos días, número de ensayos en condiciones de
repetibilidad, condiciones de precisión intermedia o reproducibilidad, en
caso de métodos instrumentales-número de curvas, niveles de validación
(cubra el intervalo de trabajo), numero de ensayos nivels para el análisis
de sesgo, etc.
12/11/2019 120

60
Documentación de Validación
/Verificación
a) Procedimiento de validación usado;

- Estadística aplicada o direccionamiento al procedimiento.


- Resultados generales en base a los objetivos, criterios de aceptación,
conclusiones y actualización
- Fechas que faciliten la rastreabilidad de la información
(ejecución de ensayo para determinar las características
de desempeño)
- Registros : Direccionamiento a los documentos y
archivos asociados. (donde están los datos primarios,
cálculos, declaración de aptitud del uso.
- Referencias bibliográficas: Normas legales, métodos, cálculos

12/11/2019 121

Documentación de Validación
/Verificación
b) Especificación de los requisitos (Objetivos de
validación ):

Definir las condiciones por cumplir en cada característica de


desempeño que aplique al método:
Por ejemplo:
 límite de detección < 0,2 mg/L,
 intervalo de trabajo : ( 0,1 a 5 ) mg/kg ,

 incertidumbre <20%,

 Precisión: %CVr <10%, %RSDR <20%,

 Veracidad (sesgo): Recuperación (90 a 110) %,

 etc.

61
Documentación de Validación
/Verificación

b) Especificación de los requisitos (Objetivos de


validación ):

COMO DEFINIRLOS:
 Establecidos por el cliente del laboratorio o por alguna
instancia oficial o autoridad ( resoluciones, reglamentos
o normas técnicas ).
 Por Organizaciones científicas internacionales.

 Por Redes de laboratorios

 Características de desempeño del método

 Ecuaciones que permiten fijar los objetivos. Ej. Horwitz

Documentación de Validación
/Verificación
b) Especificación de los requisitos (Objetivos de validación ):

Si no existe esta información

 Se debe consultar con laboratorios pares nacionales o


internacionales.

 Definirlas el personal técnico del ensayo de manera confiable y


científica (histórica, condiciones de país).

 Se debe establecerlas lo más de acuerdo posible con el cliente


del laboratorio.

62
Documentación de Validación
/Verificación
c) Determinación de las características de desempeño de los
métodos;

Se deberá considerar los siguientes puntos,


cuando corresponda:

 Datos Primarios (trazabilidad) de ejecución


de los ensayos/calibraciones.

 Los cálculos realizados, conforme a la


estadista aplicada

Si no es software comercial las hojas de cálculo deben ser validadas

12/11/2019 125

Documentación de Validación
/Verificación

d) Los resultados obtenidos

 Incluye resultados de los requisitos de desempeño

 Considerar unidades, cifras significativas

 Conclusiones, criterios de aceptación

12/11/2019 126

63
Documentación de Validación
/Verificación
e) Declaración de la validez del método, especificando en detalle
su aptitud para el uso previsto

Cada validación debe ir acompañada de una declaración de


Aptitud del uso El mismo debe ser preparado por el
analista/operador/ técnico y revisado por Personal Calificado .
 Se confrontan los resultados de los parámetros del desempeño del método
obtenidos, con los objetivos establecidos, establecer posibles restricciones

 Definir claramente su campo de aplicación para el uso (DETALLADO).

 Puede ocurrir que uno de los parámetros no concuerde con lo esperado en


ese método y que de todas maneras, se considere el método adecuado,
esto debe ser fundamentado en el ámbito de la validación/verificación por
el responsable, con las justificaciones técnicas.

Analizar homogeneidad de los datos con estadísticos (t o F)


Una vez analizado técnicamente debe ser aprobado por el
responsable designado.

64

También podría gustarte