Simposio de Metrologa 2004

25 al 27 de Octubre

LA VALIDACIN DE MTODOS: UN ENFOQUE PRCTICO

Rubn J. Lazos Martnez e Ignacio Hernndez Gutirrez Centro Nacional de Metrologa km 4,5 Carretera a Los Cus, El Marqus, Qro., Mxico Tel. (442)211 0575, FAX (442)211 0568, rlazos@cenam.mx, ihernan@cenam.mx Resumen: La validacin de mtodos es frecuentemente materia de controversia, y an motivo de conflictos, en la evaluacin de laboratorios de calibracin o de ensayo, al ser exigido como un requisito de la norma ISO 17025. El propsito de este trabajo es aclarar el concepto y su importancia para obtener resultados confiables planteando al objeto de la validacin como una herramienta para cubrir una determinada funcin. La funcin est asociada con requisitos y la herramienta con caractersticas. Los requisitos y las caractersticas se comparan para decidir si la herramienta es apropiada o no para la funcin. En este proceso se pone de manifiesto que la validacin completa de un mtodo de hecho est dividida en pasos sucesivos, que de no entenderse apropiadamente pueden causar confusin. Este enfoque es tambin aplicable a la validacin de otros objetos como diseos, paquetes computacionales, productos, etc. 1. INTRODUCCIN En ISO 17025 la validacin se define como la confirmacin por examen y la provisin de evidencia objetiva de que se cumplen los requisitos particulares para un uso especfico propuesto, tomada de la antigua norma sobre vocabulario ISO 8402 [4], ahora sustituida por ISO 9000:2000. Puede aceptarse que las diferencias conceptuales no son significativas, y por tanto no se encuentran mayores controversias al respecto. Por ejemplo la referencia [5] an toma la definicin de validacin dada en ISO 8402. Por su actualidad, para fines de este trabajo se considerar la que se encuentra en ISO 9000:2000. En particular para mediciones analticas, la referencia [5] tambin define la validacin de mtodos como el proceso de establecer las caractersticas de desempeo y las limitaciones de un mtodo y la identificacin de las influencias que pueden cambiar esas caractersticas, y en qu medida1. Como alternativa, establece que la validacin de mtodos es el proceso de verificar que un mtodo es apropiado para un propsito dado, es decir, para usarse en la solucin de un problema analtico particular. Adicionalmente, existen trminos como verificar, confirmar, comprobar, probar, corroborar, autentificar, substanciar2, con significados muy
1

La validacin ha sido objeto de atencin por ser requerida en normas sobre sistemas de gestin de la calidad [1], sobre software y particularmente en la norma ISO 17025 [2] sobre requisitos generales para laboratorios de calibracin y ensayo. La aplicabilidad del requisito sobre validacin de mtodos, particularmente en ISO 17025, es frecuentemente materia de controversia dado que cabe la interpretacin de que cuando se menciona o se describe un mtodo en una norma, entonces denominado mtodo normalizado, no es ya necesaria la validacin del mismo. Por otro lado y tambin en muchas ocasiones, los evaluadores de laboratorios exigen el cumplimiento del requisito de validacin cuando es suficiente la demostracin de la capacidad del evaluado para aplicar un mtodo suficientemente validado. El propsito de este trabajo es discutir el concepto de validacin, los elementos que lo constituyen y los procesos para llevarla a cabo, con la esperanza de reducir las controversias actuales. 2. QU ES VALIDACIN? La versin ms reciente de la definicin de validacin se presenta en la norma ISO 9000:2000 [3] en donde se establece que la validacin es la confirmacin y provisin de evidencia objetiva de que se cumplen los requisitos para un uso o aplicacin prevista.

Traduccin libre del texto original. El trmino proviene del ingls substantiate. Se encuentra traducido como verificar, confirmar o corroborar segn distintos diccionarios. Su acepcin en el idioma original es, segn el Webster Dictionary : To establish the existence or truth of by proof or competent evidence.

Simposio de Metrologa 2004

25 al 27 de Octubre

similares, no siempre uniformes, por lo que es recomendable mantener la atencin en el concepto, y no tanto en el trmino que lo describe. Por ejemplo, la validacin aplicada a un instrumento de medida se conoce tambin como confirmacin metrolgica, y es tratada con amplitud en [6]. El objeto de la validacin puede ser un mtodo, un proceso, un procedimiento, un diseo, un instrumento, un sistema, un producto, un servicio, un modelo, etc. En este trabajo el objeto de la validacin ser denotado como la herramienta, y el uso previsto como la funcin. 3. ELEMENTOS DE LA VALIDACIN Los elementos en un proceso de validacin son: La herramienta u objeto de la validacin La funcin o uso previsto Los requisitos para la funcin Las caractersticas de la herramienta La actividad de examinar La expresin del resultado La validacin se vuelve necesaria cuando se plantea el problema de asegurar que la herramienta propuesta sirva para satisfacer una funcin determinada, un uso previsto. Se asume que tal herramienta no ha sido probada previamente para esa funcin. Algunos ejemplos de funciones con sus respectivas herramientas se muestran en la Tabla 1. Es notable que una misma funcin pueda requerir de varias herramientas aplicadas de manera sucesiva o simultnea, cada una de las cuales debe ser probada; e inversamente, una herramienta puede ser til para varias funciones. Tabla 1. Ejemplos de funciones y herramientas. FUNCIN HERRAMIENTA Determinar la acidez Sistema de medicin de una muestra lquida Estimar la Modelo incertidumbre de la medida de dureza Simular el movimiento Software de un mecanismo Calibrar un tornillo mtodo micromtrico Calibrar un tornillo patrn micromtrico Calibrar un tornillo servicio micromtrico Las funciones se asocian con requisitos, y las herramientas con caractersticas de desempeo, de

modo tal que pueda compararse cada requisito con la caracterstica de desempeo correspondiente. Por ejemplo, puede hablarse de que la funcin a) determinar la acidez tiene como requisitos: la trazabilidad de los resultados a una referencia internacional, una incertidumbre de la medicin no mayor a 5%, un costo no mayor a un determinado monto; o que la funcin b) calibrar un tornillo micromtrico tiene como requisitos: la trazabilidad de los resultados al metro como unidad SI; una incertidumbre de medicin mxima de 5 m, que pueda ser efectuada a temperaturas con variaciones de 20 oC 3 oC. Para cada requisito se encuentra una caracterstica de desempeo. Por ejemplo, para el requisito trazabilidad de los resultados de la funcin determinar la acidez, la caracterstica puede ser la desviacin del valor de la referencia; para el requisito incertidumbre mxima de 5 % est la incertidumbre obtenida en la determinacin, etc. Adems, debe notarse que el cumplimiento de cada requisito puede estar asociado a diferentes herramientas. En la funcin calibrar un tornillo micromtrico, los tres requisitos especificados se asocian con las tres herramientas mostradas. El resultado de una validacin es una declaracin sobre el cumplimiento, o incumplimiento, de los requisitos para el uso o aplicacin dada, sustentada en evidencias, necesariamente objetivas. 4. PROCESO DE VALIDACIN El proceso de validacin es de hecho una aplicacin del conocido como ciclo de Deming o ciclo PHVA (Planear, Hacer, Verificar, Ajustar), tambin interpretado como una aplicacin del mtodo cientfico. Siguiendo este ciclo, se hacen planes para que las caractersticas de la herramienta satisfagan los requisitos establecidos, se experimenta con la herramienta, se comparan los resultados del experimento, es decir las caractersticas de la herramienta, con los requisitos, y en su caso se ajusta la herramienta en lo pertinente con la intencin de que los nuevos resultados con la herramienta modificada satisfagan los requisitos.

Simposio de Metrologa 2004

25 al 27 de Octubre

ajustar

de que la herramienta no sea realmente apropiada para la funcin.

HERRAMIENTA

FUNCIN

X examen

requisitos

caractersticas

HERRAMIENTA validada para la FUNCIN

Figura 1. Relacin entre los elementos de la validacin. Conviene subrayar que el ajuste es sobre la herramienta y no sobre los requisitos. Si se modifica la funcin y por tanto los requisitos, debe expresarse con toda claridad que la herramienta ha sido validada para una funcin distinta a la original. El proceso de validacin de una herramienta dada puede desglosarse en los siguientes pasos: Paso 1. Identificar la funcin La identificacin precisa de la funcin es de vital importancia dado que constituye la referencia para decidir el resultado de la validacin. Por ejemplo, la funcin de la azotea de una casa con el fin de proteger de las inclemencias del tiempo a sus moradores es distinta a la de servir de piso a un nivel superior. Cuando se trata de herramientas relacionadas con una medicin, un sistema de medicin, un instrumento de medicin, un mtodo de medicin, la funcin incluye usualmente una determinacin precisa del mensurando, magnitud particular sujeta a medicin [7]. Debe asegurarse que el detalle de esta determinacin sea tal que su relacin con la funcin quede claramente establecida. Paso 2. Especificar los requisitos de la funcin y las caractersticas de la herramienta. El siguiente paso es identificar las caractersticas de la herramienta y los requisitos de la funcin correspondientes, preferentemente expresados de manera cuantitativa. Tiene que aceptarse que en ocasiones no es posible o no es conveniente cuantificar el requisito, por ejemplo, como parte de la funcin inspeccionar el aspecto de una pieza basta establecer el requisito de que la misma no presente rayaduras a simple vista. Una especificacin demasiado exigente de estos requisitos implica costos innecesarios. Por otro lado, un requisito demasiado laxo implica el riesgo

Cuando la funcin est relacionada con medir un determinado mensurando, las caractersticas de la herramienta pueden ser, por ejemplo, el alcance de la medicin, la incertidumbre de la medida, el error, la estabilidad, la deriva, el lmite de deteccin. De hecho, los requisitos para mtodos de medicin empleados en las llamadas mediciones analticas se tratan ampliamente en [5]. Paso 3. Determinar el desempeo de las caractersticas de la herramienta Este paso consiste en determinar el desempeo de la herramienta para cada caracterstica establecida en el Paso 2, preferentemente mediante la realizacin de pruebas o experimentos. Como recomendacin general, se espera que en esta determinacin del desempeo se empleen herramientas diferentes de la herramienta bajo estudio y no se limite a repetir la aplicacin de la herramienta. Algunas alternativas son: usar otro mtodo, otro procedimiento, un experimento distinto, hacer una simulacin, cambiar el modelo, examinar las condiciones extremas, cancelar, reducir o introducir influencias. Por ejemplo, para validar un mtodo puede emplearse un mtodo alterno y no simplemente aplicar el mismo mtodo repetidas veces; o para validar un modelo es til una comparacin de resultados con un laboratorio que use otro modelo. En algunos casos como en la validacin del diseo, puede no ser factible la realizacin de experimentos con la herramienta por lo que cabe experimentar a escala o, en ltimo caso, recurrir a informacin sustentada que pueda aplicarse a las condiciones especficas del objeto bajo validacin. Esta opcin se propone como alternativa slo cuando ha sido agotada la posibilidad de realizacin de experimentos para la validacin de mtodos de medicin. En todos los casos se hace acopio de las evidencias pertinentes de modo que los resultados puedan ser demostrados y reproducidos de ser necesario. Paso 4. Comparar los resultados del desempeo con los requisitos Se comparan los resultados del desempeo obtenidos en el Paso 3 con los correspondientes requisitos establecidos en el Paso 2. Si la comparacin indica un desempeo pobre, entonces puede ajustarse la herramienta y regresar al Paso 3.

Simposio de Metrologa 2004

25 al 27 de Octubre

Es muy conveniente prestablecer los lmites de aceptacin o rechazo para esta etapa.
IDENTIFICAR LA FUNCIN

estndar sj. Despus de M de estos experimentos, el promedio de los M promedios es Xc. Los criterios propuestos de aceptacin del resultado Xk son

Paso 1

X k X c t , M 1 s k X k X c < MEP

(1) y (2),

ESPECIFICAR LOS REQUISITOS DE LA FUNCIN Y LAS CARACTERSTICAS DE LA HERRAMIENTA

Paso 2

DTERMINAR EL DESEMPEO DE LAS CARCTERSTICAS DE LA HERRAMIENTA

con t,M-1 el valor t de Srudent para un nivel de confianza y M-1 grados de libertad y MEP el mximo error permitido de acuerdo al fabricante.
Paso 3

COMPARAR LOS RESULTADOS DEL DESEMPEO CON LOS REQUISITOS

Paso 4

Por simplicidad, se asume que otras magnitudes de influencia {Yi} presentes estn siendo medidas o controladas. Supngase que se aplica el procedimiento y que se observa el cumplimiento de los criterios estadsticos propuestos. Se realiza entonces una comparacin del patrn con un patrn de control de lo cual resulta una diferencia estadsticamente significativa., esto es, los requisitos de la funcin no se cumplen y por tanto la herramienta NO se valida para la funcin prevista. De un examen del procedimiento se deduce que existe la posibilidad de: a ) que el valor de Xc no coincida inicialmente con el valor obtenido en la calibracin Xo; o b), que el valor del patrn derive de manera similar a la deriva del instrumento de medida y por tanto la diferencia no sea detectable. Entonces, la herramienta se ajusta modificando los criterios estadsticos a:

EXPRESAR LOS RESULTADOS

Paso 5

Figura 2. Proceso de validacin. Paso 5. Expresar el resultado del proceso Finalmente, cuando los resultados del desempeo cumplen todos los requisitos establecidos se declara que la herramienta ha sido validada para la funcin. Adems debe declararse la funcin o uso previsto y los requisitos cumplidos, adems de poner a disposicin las evidencias que soporten tales declaraciones. 4. APLICACIN Como ejemplo, considrese la funcin de mantener la trazabilidad de un patrn con un solo valor, como sucede en masa, resistencia, longitud o dureza, dentro de una incertidumbre compatible con las especificaciones del fabricante, y como herramienta un mtodo estadstico como una parte del propuesto en [8]. Este mtodo consiste en realizar mediciones peridicamente y verificar que los resultados satisfagan dos criterios estadsticos, o que la funcin tiene dos requisitos: que la diferencia entre el mejor estimado de las mediciones y el valor obtenido en la calibracin se conserve dentro de la especificacin del fabricante, y que la dispersin de las mediciones no presente variaciones estadsticamente significativas. Se asume que se han hecho los ajustes necesarios para cumplir el primer requisito. El procedimiento propuesto en [8] requiere la toma de lecturas repetidas, al menos cuatro, con un instrumento de prueba en el estado del arte, de las cuales se obtiene un promedio Xj y una desviacin

X k X o t ,M 1 s k X k X o < MEP

(3) y (4),

en los cuales se usa el valor obtenido en la calibracin Xo como referencia. Se entiende que el uso de los criterios contenidos en las ecuaciones (1) y (2) vigilan la reproducibilidad de las medidas pero no aseguran su exactitud. La herramienta as ajustada satisfara entonces los requisitos de la funcin y por tanto la herramienta quedara validada para la funcin prevista. 5. DISCUSIN Estrictamente, un mtodo de medicin es la secuencia lgica de las operaciones, descritas de manera genrica, utilizada en la ejecucin de las mediciones [7], por lo que el detalle de esta

Simposio de Metrologa 2004

25 al 27 de Octubre

descripcin puede variar desde una completa en la que ningn detalle es dejado a la discrecin de quien aplica hasta un enunciado que permite libertades amplias al mismo. En este punto cabe considerar que cuando la descripcin de un mtodo de medicin es suficientemente detallada, entonces puede confundirse con el procedimiento de medicin: conjunto de operaciones, descritas especficamente, para realizar mediciones particulares de acuerdo a un mtodo dado [7]. Como consecuencia, es posible que al final se valide la herramienta mtodo mediante la validacin de la herramienta procedimiento. La validacin de un mtodo o procedimiento de medicin por un laboratorio se hace necesaria cuando el enunciado del mtodo o procedimiento permite libertades a quien lo aplique tales que el resultado de la aplicacin pueda variar significativamente como consecuencia. En muchos casos, se tienen procedimientos de medicin descritos en normas, cuyo detalle no es suficiente para asegurar su aplicacin y desempeo uniformes y como consecuencia se hace necesaria la validacin parcial en algunos parmetros. De hecho, cuando un laboratorio desarrolla un mtodo o cuando aplica uno desarrollado por alguien ms, necesita asegurarse que el mtodo es adecuado para la funcin o el uso previsto. Es natural suponer que el laboratorio que lo desarrolla tiene la obligacin de hacerlo plenamente antes de publicarlo y declarar su validez [9]. No obstante, an cuando el laboratorio encargado de su desarrollo haya cumplido esta obligacin, pueden quedar aspectos cuya descripcin no sea suficiente, o que el quien lo aplique no disponga de los mismos equipos, instalaciones o personal competente de modo que no sea posible replicar los resultados del desarrollador. Entonces, puede afirmarse que todo mtodo debe ser validado, y que una parte de la validacin es realizada por el desarrollador y otra parte por quien lo aplica. 6. CONCLUSIONES La validacin es una actividad indispensable para asegurar que un objeto satisfaga los requisitos

necesarios para un cierto uso. Todo mtodo de medicin debe ser validado. Para ello, puede haber uno o ms involucrados, entre los cuales debe estar quien desarrolle el mtodo u objeto de la validacin. Puede darse el caso que el mtodo haya sido suficientemente validado y descrito por quien lo desarrolle y quien lo aplique slo tenga que demostrar su competencia para aplicarlo, lo cual ya no es parte de la validacin. Los elementos que constituyen una validacin son: El uso propuesto o funcin, el objeto de la validacin o herramienta, los requisitos para la funcin propuesta, el aporte de evidencias objetivas de desempeo de la herramienta, la actividad de examinar y la expresin del resultado. El resultado de una validacin debe ser expresada como que la herramienta cumple los requisitos para la funcin prevista, con una mencin explcita a los requisitos y a la funcin, uso o aplicacin, prevista. REFERENCIAS [1] NMX-CC-9001-IMNC-2001 Sistemas de gestin de la calidad - Requisitos [2] NMX-EC-17025-IMNC-2000 Requisitos generales para la competencia de los laboratorios de ensayo y de calibracin [3] NMX-CC-9000-IMNC-2001 Sistemas de gestin de la calidad Principios y vocabulario. [4] NMX-CC 001 Administracin de la calidad y aseguramiento de calidad - Vocabulario equivalente a ISO 8402:1994 [5] The Fitness for Purpose of Analytical Methods. A Laboratory Guide to Method Validation and Related Topics. EURACHEM Guide, 1998. Disponible en http://www.eurachem.ul.pt/. [6] NMX-CC-10012-IMNC-2004. Sistema de gestin de las mediciones. [7] NMX-Z-055-1996-IMNC Metrologa Vocabulario de trminos fundamentales y generales. [8] Mahmood M., A., Cal Lab, (Oct 2003), pp. 36 [9] Karel Sefcik, Design and development of new methods, CMI, Czech Republic .