Material de Respaldo Modulo - 2 - Parte II

“Curso de Esquemas de Evaluación Externa de la Calidad”
Módulo 2 – Parte II
Contenido
Introducción...................................................................................................................................................................... 2
Criterios ............................................................................................................................................................................. 2
Informe .............................................................................................................................................................................. 2
EQA/PT: Modelo de informe ...................................................................................................................................... 4
Página 1 de 36 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni

distribución gratuita u onerosa.
Introducción
Existen muchos esquemas de evaluación externa de la calidad disponibles para laboratorios clínicos. No todos
los esquemas son iguales, no obstante, los informes de participación deben presentar la información relevante.
Los distintos esquemas pueden ofrecer una variedad de indicadores, pero la información básica nunca debería
estar ausente.
Criterios
Supongamos que vamos a evaluar la participación en un esquema de evaluación externa de la calidad. Tenemos
disponibles en el mercado distintos esquemas y debemos seleccionar uno.
¿Cuáles son los criterios a considerar al momento de seccionar un esquema evaluación externa de la calidad
(EQA/PT)?
 Matriz: Las muestras desafío deberían tener una matriz apropiada, conmutable y homogénea. Las
muestras deben ser semejantes a las muestras que procesamos rutinariamente.
 Concentraciones: Deben estar próximas o representar niveles de decisión médica. Es importante que
los niveles de decisión médica evaluados sean relevantes para el procedimiento de medida
considerando su uso previsto.
 Tratamiento estadístico: Debe ser correcto y permitir la exclusión de datos atípicos. Si el esquema
está acreditado por la norma ISO 17043 o sigue sus lineamientos, por lo general el tratamiento
estadístico de los datos se ajusta a los lineamientos de la norma ISO 13528 recurriendo a estadística
robusta.
 Cantidad de participantes: La cantidad de participantes es crítica. Recordemos que, si nos
aseguramos un grupo de comparación con una buena cantidad de participantes, respetando el concepto
de trazabilidad metrológica, aseguramos la consistencia del grupo de comparación.
 Frecuencia: La frecuencia de participación es importante. Diferentes esquemas ofrecen distintas
frecuencias de comparación para distintas especialidades del laboratorio. A mayor cantidad de
participaciones más consistencia tendrán los resultados y podremos obtener información confiable.
 ISO 17043:2101: Esta Norma Internacional especifica los requisitos generales para la competencia de
los proveedores de programas de ensayos de aptitud y para el desarrollo y la operación de los
programas de ensayos de aptitud. Estos requisitos son generales para todos los tipos de programas de
ensayos de aptitud, y pueden utilizarse como base para definir requisitos técnicos específicos para
campos particulares de aplicación.
 Educación: Los esquemas de evaluación externa de la calidad (EQA) o ensayos de aptitud (PT)
también tienen un rol educativo importante. Si el proveedor del EQAS/PT trata los datos sobre la base
de diferentes métodos analíticos y trata también los resultados de incertidumbre reportados por los
participantes, esto puede dar información valiosa para la evaluación adicional de los métodos analíticos.
Informe
De acuerdo a la norma ISO 17043:2010, los informes de los esquemas de evaluación externa de la calidad y/o
ensayos de aptitud (PT/EQA) deben ser claros y exhaustivos e incluir información sobre los resultados de todos
los participantes, junto con una indicación del desempeño de los participantes individuales.

La norma establece que los informes deben incluir los elementos siguientes, salvo que no corresponda o que el
proveedor tenga razones válidas para no hacerlo así:
a) nombre y datos de contacto del proveedor del esquema (EQA/PT);
b) nombre y datos de contacto del coordinador;
c) nombre(s), función(es), y firma(s) o identificación equivalente de la(s) persona(s) que autoriza(n) el

informe;
d) indicación de las actividades subcontratadas por el proveedor de ensayos de aptitud;
e) fecha de emisión y estado del informe (por ejemplo, preliminar, provisional o final);
f) número de páginas y una indicación clara del final del informe;
g) declaración del alcance de la confidencialidad de los resultados;
h) número del informe e identificación clara del programa de ensayos de aptitud;
i) descripción clara de los ítems de ensayo de aptitud utilizados incluyendo los detalles necesarios de la
preparación del ítem de ensayos de aptitud y de la evaluación de la homogeneidad y estabilidad;
j) resultados de los participantes;
k) datos y resúmenes estadísticos, incluyendo valores asignados y rango de resultados aceptables y

representaciones gráficas;
l) procedimientos utilizados para establecer cualquier valor asignado;
m) detalles de la trazabilidad metrológica e incertidumbre de medida de todo valor asignado;
n) procedimientos utilizados para establecer la desviación estándar para la evaluación de aptitud, u otros
criterios de evaluación;
o) valores asignados y resúmenes estadísticos para los métodos/procedimientos de ensayo utilizados por cada
grupo de participantes (si distintos grupos de participantes utilizan métodos diferentes);
p) comentarios del proveedor de ensayos de aptitud y asesores técnicos sobre el desempeño de los
participantes;
q) información sobre el diseño y la implementación del programa de ensayos de aptitud;
r) procedimientos utilizados para el análisis estadístico de los datos;
s) asesoramiento sobre la interpretación del análisis estadístico; y
t) comentarios o recomendaciones, basados en los resultados de la ronda de ensayos de aptitud.

EQA/PT: Modelo de informe
Pensemos ahora específicamente en los modelos de informes que se utilizan en el área de laboratorios clínicos.
La información básica de portada incluye:
- Nº de identificación del laboratorio

- Nombre del laboratorio
- Área
- Ciclo
- Muestra
- Responsable de la emisión
- Edición
- Fecha de emisión
- Datos del proveedor
- Paginado
Ahora vamos a ver la información general asociada a un procedimiento de medida específico.
La información que no puede faltar es:
- Identificación del laboratorio

- Identificación del mensurando
Recordemos que mensurando es la cantidad que se desea medir.
Por otro lado, debemos tener:
- Información sobre la agrupación

- Valor informado
Ya sabemos que el mensurando es la cantidad que se desea medir.
Los proveedores de los esquemas suelen presentar la información del método. Recordemos que el principio de
medida es el fenómeno que sirve como base de una medición y que el método de medida hace referencia a la
descripción genérica de la secuencia lógica de operaciones utilizadas en una medición.
A manera de información recordemos la definición de procedimiento de medida: descripción detallada de una

medición conforme a uno o más principios de medida y a un método de medida dado, basado en un modelo de
medida y que incluye los cálculos necesarios para obtener un resultado de medida.

También en los informes se presenta de manera clara el valor informado por el laboratorio. El valor informado
representa el valor medido de una magnitud, recordemos que el valor medido de una magnitud es el valor de
una magnitud que representa un resultado de medida.
Desglosaremos la parte central de un informe “tipo” en sus distintos componentes.
Comparador
Podemos ver en el informe que existen tres niveles de comparación:
- Todos los laboratorios

- Método
- Grupo par
Cuando hablamos de “todos los laboratorios” nos referimos a todos los participantes del esquema que informan
un valor para el mensurando en cuestión, independientemente del método empleado y la plataforma analítica
en uso. En nuestro ejemplo, todos los laboratorios que informan ácido úrico en suero mg/dL

Aspectos positivos: El Nº suele ser muy grande.
Aspectos negativos: No se puede asegurar que todos los participantes tengan la misma trazabilidad
metrológica para el procedimiento de medida empleado.
Cuando hablamos de agrupación por método, consideramos a todos los laboratorios participantes que utilizan
el mismo principio y método de medida para el mensurando en cuestión. En nuestro ejemplo, todos los
laboratorios participantes que informan ácido úrico en suero en mg/dL recurriendo a un mismo método:
Uricasa/Colorimétrico.
Aspectos positivos: El Nº suele ser más grande que el del grupo par.
Aspectos negativos: No se puede asegurar que todos los participantes tengan la misma trazabilidad
metrológica para el procedimiento de medida empleado, aún con el mismo método.
Cuando hablamos de grupo par de comparación consideramos:
- Equipo (o familia)
- Método
- Reactivo
- Calibrador
Aspectos positivos: Trazabilidad asegurada.

Aspectos negativos: En algunos casos el grupo tiene un tamaño reducido (Nº pequeño).
Cantidad de laboratorios
Cuando el comparador es “Todos los laboratorios” el Nº es grande, si el comparador es el método el Nº

disminuye, pero puede seguir siendo aceptable, en tanto que, si el comparador es el grupo par, el N (cantidad
de laboratorios) es un limitante.
También recordemos que solo el grupo par nos asegura que todos los participantes del grupo tienen la misma
trazabilidad metrológica. Si el comparador es el método puede que la trazabilidad de todos los participantes sea
la misma o no, ya que distintos fabricantes pueden ofrecer diferente trazabilidad metrológica para un mismo
procedimiento de medida (siendo el método el mismo). Cuando el comparador es “todos los laboratorios”, es
muy poco probable que todos los participantes tengan la misma trazabilidad metrológica.

La norma ISO 171043:2010 en el punto 4.4 habla del diseño de los programas de ensayos de aptitud. En el
apartado 4.4.4.3 menciona los aspectos a los cuales el proveedor de ensayos de aptitud debe prestar atención al
momento de diseñar un análisis estadístico de los datos.
La citada norma establece que el número mínimo de participantes en el programa de ensayos de aptitud
necesarios para lograr los objetivos del diseño estadístico es un aspecto crítico. También nos dice que en los
casos en que el número de participantes sea insuficiente para lograr estos objetivos o para producir un análisis
estadísticamente significativo de resultados, el proveedor de ensayos de aptitud debe documentar y
proporcionar a los participantes, detalles de los enfoques alternativos utilizados para evaluar el desempeño de
los participantes.
La norma ISO 13528:2015 en el punto 5.4 hace referencia a consideraciones para esquemas con pocos
participantes. Referenciando a la norma ISO 17043:2010, nos dice que el diseño estadístico de un esquema de
ensayos de aptitud debe considerar el número mínimo de participantes que se necesitan para cumplir con los
objetivos del diseño y establecer enfoques alternativos que se utilizarán si el número mínimo no se logra.
También nos dice que los métodos estadísticos que son apropiados para esquemas con un gran número de
participantes pueden no ser apropiados para esquemas con un número limitado de participantes. El problema
es que las estadísticas determinadas a partir de un pequeño número de resultados de los participantes pueden
no ser lo suficientemente confiables, y un participante podría ser evaluado frente a un grupo de comparación
inadecuado.
Según esta norma el número mínimo de participantes necesario para los diversos métodos estadísticos
dependerá de una variedad de situaciones:
- los métodos estadísticos utilizados, por ejemplo, el método robusto particular o la estrategia de
eliminación de los atípicos elegidos;
- la experiencia de los participantes en el sistema de pruebas de aptitud;
- la experiencia del proveedor de ensayos de aptitud con la matriz, el mensurando, los métodos y el
grupo de participantes;
- si la intención es determinar el valor asignado o la desviación estándar (o ambas).

La norma tiene un anexo D (procedimientos para un pequeño número de participantes) que hace referencia a
la situación de los esquemas de evaluación externa de la calidad y ensayos de aptitud para laboratorios clínicos:
Muchos esquemas de pruebas de aptitud tienen pocos participantes, o tienen grupos de comparación con un
pequeño número de participantes, incluso si hay un gran número de participantes en el esquema. Esto puede
suceder con frecuencia cuando los participantes se agrupan y puntúan por método o grupo par, como se hace
comúnmente en las pruebas de la aptitud y/o esquemas de evaluación externa de la calidad, para los
laboratorios clínicos.
La norma, referenciando las guías de IUPAC establece que cuando el número de participantes es pequeño, el
valor asignado debe determinarse idealmente utilizando un procedimiento metrológicamente válido,
independientemente de los participantes, por ejemplo, por formulación o por un laboratorio de referencia. Los
criterios de evaluación del desempeño también deben basarse en criterios externos, como el criterio de un
experto o criterios basados en la aptitud para el propósito. En estas situaciones ideales, el rendimiento se
evalúa utilizando el valor asignado predeterminado y el criterio de rendimiento, por lo que las pruebas de
aptitud pueden realizarse con un solo participante.
Sabemos muy bien que esta situación no es factible en el área de clínicos y por lo tanto enfrentamos un gran
desafío.
En los EQA/PT de laboratorios clínicos el valor asignado y la dispersión de los datos se deriva de los resultados
de los laboratorios participantes. Si el número de participantes es demasiado pequeño para los procedimientos
particulares utilizados, la evaluación del desempeño puede volverse poco fiable; Por lo tanto, es importante
considerar si se debe fijar un número mínimo de participantes para la evaluación del desempeño.
Valor asignado a partir de grupos con pocos participantes

Los valores asignados derivados de pequeños conjuntos de datos de participantes deben, cuando sea posible,
cumplir el criterio de incertidumbre del valor asignado.
Cada valor asignado tiene una incertidumbre asociada. Cuando el valor asignado se obtiene a partir del
tratamiento estadístico de los valores informados por los participantes, la incertidumbre del valor asignado se
estima como:
El criterio de incertidumbre del valor asignado es el siguiente:

Para esquemas que utilizan una media simple como valor asignado y una desviación estándar de los resultados
como desviación estándar para la evaluación de la competencia, este criterio no puede cumplirse para una
distribución normal con p≤12, después de cualquier eliminación de valores atípicos.
Para el uso de la mediana como valor asignado, el criterio no puede cumplirse para p≤18.
Otros estimadores robustos, como el Algoritmo A (media robusta), tienen una eficiencia intermedia y pueden
cumplir el criterio para p> 15.
En resumen, existen limitaciones en el tamaño de los conjuntos de datos sobre la aplicabilidad de algunos
estimadores de tendencia central.
Dispersión de datos
No se recomienda el uso de criterios de desempeño basados en la dispersión de los resultados de los
participantes en pequeños conjuntos de datos debido a la muy alta variabilidad de las estimaciones de
dispersión. Por ejemplo, para p = 30, se espera que las estimaciones de la desviación estándar para los datos
normalmente distribuidos varíen aproximadamente un 25% a cada lado de su valor verdadero (basado en un
nivel de confianza del 95%).
Guía IUPAC para esquema con pocos participantes

Los lineamientos generales ofrecidos por distintas guías y documentos se orientan principalmente hacia
esquemas EQA/PT para un número (No P) relativamente grande de laboratorios o participantes (mayores o
iguales a 30), denominados en adelante "grandes esquemas". Esto es importante desde el punto de vista
estadístico, ya que con N <30, las evaluaciones por métodos estadísticos son poco fiables, especialmente para N
<20.
Si el N (o P) es mayor de 30, la incertidumbre del valor asignado (obtenida a partir de los datos del grupo) es lo
suficientemente pequeña para no ser considerada en las evaluaciones. Cuando N (o P) es menor de 30 y más
aún, cuando N (o P) es menor de 20 ya no podemos omitir considerar la incertidumbre del valor asignado en
las evaluaciones.
Las desviaciones de una distribución normal son más difíciles de identificar si N (o P) es pequeño. No se
recomiendan estadísticas robustas cuando N <20.

Por lo tanto, el valor asignado no puede calcularse con seguridad a partir de los resultados de las mediciones
obtenidas por los participantes (resultados EQA/PT) como un valor consensuado: su incertidumbre se hace lo
suficientemente grande como para afectar los puntajes en "pequeños esquemas", es decir, esquemas con un
pequeño número de participantes (menos de 30). El rango "gris" intermedio de 20 ≤ N <30 se incluye en el
rango de esquemas pequeños ya que tales valores de N pueden influir también en la planificación e
interpretación del EQA/PT.
La diferencia entre los parámetros de población y las correspondientes estimaciones de la muestra aumentan
con la disminución del tamaño de la muestra N.
En conclusión, los valores medios de consenso y las desviaciones estándar observadas de los resultados de las
mediciones de los laboratorios que participan en EQA/PT no son suficientemente fiables para evaluar el
desempeño de un laboratorio en un EQA/PT con un número limitado de participantes (menos de 30).
Valor informado
El valor informado representa el valor medido de una magnitud. Recordemos que el valor medido de una
magnitud es el valor de una magnitud que representa un resultado de medida.
Debemos prestar atención a:
- Unidades
- Cantidad de decimales
- Errores de transcripción

Valor asignado
Existen, según se describe en la norma ISO 13528:2015, esencialmente cinco métodos disponibles para obtener
el valor asignado.
1. Formulación.
2. Valores de referencia certificados.
3. Valores de referencia.
4. Valores de consenso de los laboratorios de expertos.
5. Valor de consenso de los participantes.
Formulación: El elemento de ensayo de aptitud puede prepararse mezclando materiales con diferentes
niveles conocidos de una propiedad en proporciones especificadas, o añadiendo una proporción especificada de
una sustancia a un material de base.
Valores de referencia certificados: Cuando la muestra del EQA/PT es un material de referencia

certificado (CRM, por sus siglas en ingles), su valor de propiedad certificado xCRM se utiliza como valor
asignado xpt. Esto tiene la ventaja de proporcionar un valor atribuible rastreable, pero es un enfoque costoso y
los CRM adecuados a menudo no están disponibles.
Valores de referencia: Una selección de muestras preparados de EQA/PT, son medidas por un laboratorio
elegido, ya sea utilizando un método primario o junto con un material de referencia certificado (CRM). El valor
asignado se deriva directamente del método primario utilizado o de una calibración con respecto al valor de
referencia certificado del CRM. Esto proporcionará un valor rastreable a través del método principal o al CRM
utilizado, pero se basa en los resultados de un único laboratorio y los métodos primarios apropiados o CRM
pueden no estar disponibles.

Valores consenso de los laboratorios expertos: El valor asignado surge de la estimación de un valor
consenso obtenido a partir de los resultados de un grupo de laboratorios expertos. Los valores asignados
pueden determinarse usando un estudio de comparación interlaboratorio con laboratorios expertos, tal como
se describe en la Guía ISO 35 para el uso de comparaciones entre laboratorios para caracterizar un CRM. No se
utiliza en esquemas para laboratorios clínicos.
Valor consenso de los participantes: Con este enfoque, el valor asignado xpt para el ítem de prueba de
aptitud usado en una ronda de un esquema de prueba de aptitud es la estimación de tendencia central (por
ejemplo, media robusta, mediana o media aritmética) formada a partir de los resultados reportados por los
participantes en la ronda, utilizando un procedimiento adecuado (estadística robusta). Esta opción es la más
utilizada por los proveedores de esquemas de evaluación externa de la calidad. El valor asignado (valor de
referencia) termina siendo la media robusta del grupo de comparación cuando el esquema está acreditado o
sigue los lineamientos de la norma ISO 17043:2010.
Desviación estándar del EQA/PT
Existen, como se describe en la norma ISO 13528:2015, esencialmente cinco enfoques para determinar la
desviación estándar para la evaluación de la competencia, es decir, el rango aceptable de resultados de los
participantes:
1. Valor prescrito.
2. Por percepción.
3. De un modelo general.
4. A partir de los resultados de un experimento de precisión.
5. A partir de los datos obtenidos en la ronda de un esquema EQA/PT.

Valor prescrito: La desviación estándar para la evaluación de la competencia puede fijarse en un valor
requerido para una tarea específica de interpretación de datos, o puede derivarse de un requisito dado en
legislación.
Por percepción: La desviación estándar para la evaluación de la competencia puede fijarse en un valor que
corresponda al nivel de rendimiento que el proveedor de EQA/PT desearía que los laboratorios pudieran
lograr.
A partir de un modelo general: El valor de la desviación estándar para la evaluación de aptitud puede ser
derivado de un modelo general para la reproducibilidad del método de medición.
A partir de los resultados de un experimento de precisión: Cuando el método de medición a utilizar

en el EQA/PT está estandarizado, y la información sobre la repetibilidad y reproducibilidad del método está
disponible, la desviación estándar para la evaluación de la competencia se puede calcular utilizando esta
información.
Datos obtenidos en la ronda de un esquema EQA/PT: Con este enfoque, la desviación estándar para la
evaluación de competencia utilizada en una ronda de un esquema se deriva de los resultados informados por
los participantes en la misma ronda. Será la desviación estándar robusta de los resultados reportados por todos
los participantes.
Esta última opción es la que se utiliza en la mayoría de los esquemas del área de clínicos. La limitación reside
en la cantidad de participantes del grupo de comparación. Para que los estimados sean consistentes, el N del
grupo debe ser mayor de 30.
Coeficiente del grupo de comparación

Recordemos la ecuación del coeficiente de variación porcentual:
Contamos con el desvío estándar del grupo que por lo general surge de la estadística robusta. Contamos con la
media del grupo de comparación que por lo general surge de la estadística robusta. Por lo tanto, reemplazando:
Incertidumbre del valor asignado
Vamos a considerar, como ocurre en la mayoría de los EQA/PT del área de clínicos, que el valor asignado ha
sido estimado a partir de los resultados de los participantes del grupo de comparación recurriendo a la media
robusta.
¿Cómo estimamos en este caso la incertidumbre del valor asignado?
La incertidumbre estándar del valor asignado se estima a partir de la siguiente ecuación:

El factor 1.25 se basa en la desviación estándar de la mediana, representa la eficiencia de la mediana como una
estimación de la media, en un gran conjunto de resultados obtenidos a partir de una distribución normal. Se
aprecia que la eficiencia de métodos robustos más sofisticados puede ser mucho mayor que la de la mediana,
justificando un factor de corrección menor que 1.25. Sin embargo, este factor se ha recomendado porque en las
pruebas de aptitud (EQA/PT) la distribución de los resultados, por lo general, no es estrictamente normal y
contienen proporciones desconocidas de resultados de diferentes distribuciones ("resultados contaminados").
El factor de 1.25 se considera una estimación conservadora (alta), para tener en cuenta la posible
contaminación. Los proveedores de pruebas de aptitud (EQA/PT) pueden ser capaces de justificar el uso de un
factor más pequeño, o una ecuación diferente, dependiendo de la experiencia y el procedimiento robusto
utilizado.
Para obtener la incertidumbre expandida del valor asignado recurrimos a la siguiente ecuación:
Para un intervalo de confianza del 95 % el factor K asume un valor de 1.96. Por lo tanto, la ecuación nos queda:
Vamos a trabajar nuestro ejemplo:

Primero prestamos atención a los datos del grupo par:
Recordemos la ecuación que nos permite estimar la incertidumbre estándar del valor asignado:
Ahora vamos a identificar los datos necesarios para llevar a cabo la estimación. Comencemos con el desvío
estándar robusto del grupo de comparación (S*):

Ahora vamos a identificar la cantidad de laboratorios participantes (P):
Reordenando nos queda que:
Entonces:

La incertidumbre estándar del valor asignado es:
Recordemos la ecuación que nos permite estimar la incertidumbre expandida del valor asignado:
Recordemos el valor obtenido para u(x):
Reemplazando:
La incertidumbre expandida del valor asignado es de:

Regresando a la tabla:
Por lo tanto, el valor asignado es:

Empleo de la incertidumbre del valor asignado para evaluar el grupo de
comparación
Si la incertidumbre estándar del valor asignado, u(xpt) es grande en comparación con el criterio de evaluación
del desempeño, existe el riesgo de que algunos participantes reciban señales de acción y advertencia debido a la
inexactitud en la determinación del valor asignado, no por causa del participante. Por esta razón, la norma ISO
17043 solicita que se determine la incertidumbre estándar del valor asignado y se informará a los participantes
(véase ISO / IEC 17043: 2010, 4.4.5 y 4.8.2).
Si se cumple el siguiente criterio, la incertidumbre del valor asignado puede considerarse despreciable y no es
necesario incluirla en la interpretación de los resultados de la ronda de pruebas de aptitud:
Recordemos que:
En clínicos, por lo general, el desvío estándar del EQA/PT se estima a partir de los resultados de los
participantes. Sabemos que existen limitaciones y que el N del grupo debería ser mayor de 30.
Por lo tanto:
Entonces cuando el desvío estándar del EQA/PT sea obtenido a partir del resultado de los participantes (S*) el
criterio quedaría:
Vamos con nuestro ejemplo. Hasta ahora sabemos que:

La ecuación que vincula a la incertidumbre estándar con la expandida es la siguiente:
Por lo tanto:
Reemplazando:
Recordemos el criterio que debe cumplirse para considerar que la incertidumbre del valor asignado no es
significativa:

Recordemos que:
Y además que:
Apliquemos el criterio:
El criterio se cumple, el valor asignado es confiable, su incertidumbre estándar pequeña y por ende el grupo de
comparación consistente.

Evaluación del desempeño IDE “Índice de desvío estándar” (Zscore)
La evaluación del desempeño (o puntuación) por parte del proveedor de EQA/PT añade valor a los resultados
analíticos generados por el participante. El propósito de proporcionar una evaluación de desempeño
normalizada es hacer que todos los resultados del EQA/PT sean comparables, de manera que el participante
pueda apreciar inmediatamente la importancia de la evaluación. El uso de la incertidumbre de medición en la
evaluación del desempeño está aumentando a medida que la comprensión de este aspecto está mejorando. Se
pueden tener en cuenta dos tipos de incertidumbre de medición:
1. Incertidumbre de medición del valor asignado.
2. Incertidumbre de medición del resultado del participante.
Dada la diversidad de propósitos de los esquemas EQA/PT, no es posible definir un único método de
evaluación universal. Por lo tanto, existen disponibles una serie de diseños estadísticos utilizados para la
evaluación de rendimiento. Los más comunes se enumeran a continuación.
a) “Z score”: Es lo que se utiliza de manera más frecuente. No tiene en cuenta la incertidumbre del valor
asignado y la incertidumbre del valor informado por el participante.
Es fundamental que el N del grupo sea grande, ya que consideramos en la estimación el valor asignado
(media robusta del grupo de comparación) y el desvío estándar del grupo (dispersión de datos de los
participantes). Recordemos que estas estimaciones son confiables a partir de N mayores a 30.

Como en la mayoría de los esquemas que se aplican al área de clínicos, el valor asignado y el desvío estándar
son estimados a partir de los valores informados por los participantes, la ecuación nos queda:
Cuando los informes están en español se utiliza generalmente IDE en lugar de Z y la ecuación queda:
b) “Z´score”: En este caso se tiene en cuenta la incertidumbre del valor asignado. Este modelo de
estimación puede ser de utilidad cuando la incertidumbre del valor asignado es significativa, situación
que se presenta cuando los grupos de comparación tienen un N menor de 30.

Como en la mayoría de los esquemas que se aplican al área de clínicos, el valor asignado y el desvío estándar
son estimados a partir de los valores informados por los participantes, la ecuación nos queda:
Cuando los informes están en español se utiliza generalmente IDE en lugar de Z y la ecuación queda:
c) Zeta scores (ς): En este caso se considera la incertidumbre del valor asignado y la incertidumbre del
valor informado. Las puntuaciones de Zeta pueden ser útiles cuando un objetivo para el esquema
EQA/PT es evaluar la capacidad de un participante para generar resultados que estén cerca del valor
asignado dentro de su incertidumbre declarada. Es poco frecuente su uso en clínicos.

El uso de ζ puntuaciones permite una evaluación directa de si los laboratorios son capaces de entregar
resultados correctos, es decir, los resultados que coinciden con xpt dentro de sus incertidumbres de
medición. Los ζ scores se pueden interpretar utilizando los mismos valores críticos de 2,0 y 3,0 que para las
puntuaciones z o con múltiplos del factor de cobertura del participante utilizado para estimar la
incertidumbre expandida. Sin embargo, una puntuación adversa puede indicar una gran desviación de xi de
xpt, una subestimación de la incertidumbre por parte del participante, o una combinación de ambos.
d) En Number: Semejante al caso anterior, pero recurriendo a incertidumbres expandidas.

En este caso se considera la incertidumbre expandida del valor asignado y la incertidumbre expandida
del valor informado.
Interpretación de los valores obtenidos para Z, Z’, Z score y En

¿Cómo interpretamos los valores obtenidos?
Es simple, los valores de Z, Z`y Zeta score se interpretan de la misma forma:
Recordemos que los valores obtenidos podrán ser positivos o negativos según el valor informado sea mayor o
menor que el valor asignado. En le interpretación se considera el módulo de Z.

La interpretación de los valores obtenidos para En es aún más simple:
Gráficos de IDE (Z score)

Supongamos que tenemos los IDE de un conjunto de encuetas:

Vamos a graficar IDE en el eje “Y” y encuestas en el eje “X”. Para facilitar la interpretación visual de los datos
vamos a agregar dos líneas rojas, la primera paralela al eje “X” en el valor de IDE: 2 y la segunda paralela al eje
“X” en el valor de IDE: -2.
Estos gráficos nos permiten identificar desvíos y tendencias que tal vez no generen exclusiones, pero pueden
requerir atención. Es decir, aportan información importante para la prevención de efectos adversos sobre los
resultados de los pacientes.
Ya hemos mencionado que es fundamental revisar los resultados de la última encuesta frente a los resultados
de encuestas anteriores. Estos gráficos deben ser revisados de esa forma, revisando el IDE de la última
encuesta frente a los IDE de las encuestas anteriores para poder identificar desvíos, tendencias y/o alguna otra
situación anómala.
Error de medida
Estimar el error de medida es muy simple. Recordemos primero la definición de error de medida:
“Es la diferencia entre el valor medido de una magnitud y un valor de referencia”
Comencemos por el valor medido de una magnitud. El valor medido de una magnitud es el valor informado por
el participante.

El valor de referencia es el valor asignado. Cuando el valor asignado es obtenido a partir del consenso de los
resultados de los participantes, el valor de referencia es la media robusta del grupo de comparación.
Desde la definición decimos que vamos a evaluar la diferencia entre el valor obtenido y el valor de referencia.
Por lo tanto, según lo que hemos repasado, en nuestro caso es la diferencia entre el valor informado y la media
robusta del grupo de comparación.
Podemos estimar el error de medida en unidades de concentración y en porcentaje.
Para estimar el error de medida en unidades de concentración recurrimos a la siguiente ecuación:
Si queremos estimar el error de medida en porcentaje podemos recurrir a la siguiente ecuación:
El error de medida podrá ser positivo o negativo:

Vamos a trabajar con nuestro ejemplo.
Primero identificamos el grupo par de comparación:

Luego identificamos el valor informado:
Ahora vamos a identificar el valor de referencia, que es el valor asignado y en este caso está representado por la
media del grupo de comparación:

Recordamos la ecuación y los valores que hemos identificado:
Reemplazando:

En nuestra tabla ejemplo:
Evaluación del error de medida frente a especificaciones de desempeño analítico

El error de medida tiene un componente aleatorio y uno sistemático. Recordemos que en clínicos por lo general
efectuamos una única medición de la muestra de EQA/PT.
Es importante destacar que el concepto de error de medida está asociado a la exactitud y NO a la veracidad.
Error de medida no es sesgo. Recordemos que el sesgo es la diferencia entre la media de una serie de medidas
efectuadas sobre un material y el valor asignado al material.

Recordemos que el sesgo está asociado al concepto de veracidad y representa la estimación del error
sistemático.
Por lo tanto, si hemos escogido una especificación de desempeño analítico para el procedimiento de medida,
podemos enfrentar el error de medida de cada encuesta con la especificación de desempeño analítico.
Trabajemos con nuestro caso de aplicación.
La especificación de desempeño escogida para el procedimiento de medida es del 17 % y la fuente es CLIA

(https://www.westgard.com/clia.htm).
El error de medida para nuestro caso de aplicación es de 0.6 %

Por lo tanto, la condición planteada se cumple sin inconvenientes.
--Fin de Documento--


Material de Respaldo Modulo - 2 - Parte II

Cargado por

Información del documento

Descripción original:

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Material de Respaldo Modulo - 2 - Parte II

Cargado por

Copyright:

Formatos disponibles

“Curso de Esquemas de Evaluación Externa de la Calidad”

Página 1 de 36 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni

Página 2 de 36 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni

a) nombre y datos de contacto del proveedor del esquema (EQA/PT);

b) nombre y datos de contacto del coordinador;

c) nombre(s), función(es), y firma(s) o identificación equivalente de la(s) persona(s) que autoriza(n) el

d) indicación de las actividades subcontratadas por el proveedor de ensayos de aptitud;

f) número de páginas y una indicación clara del final del informe;

g) declaración del alcance de la confidencialidad de los resultados;

h) número del informe e identificación clara del programa de ensayos de aptitud;

j) resultados de los participantes;

k) datos y resúmenes estadísticos, incluyendo valores asignados y rango de resultados aceptables y

l) procedimientos utilizados para establecer cualquier valor asignado;

m) detalles de la trazabilidad metrológica e incertidumbre de medida de todo valor asignado;

q) información sobre el diseño y la implementación del programa de ensayos de aptitud;

r) procedimientos utilizados para el análisis estadístico de los datos;

s) asesoramiento sobre la interpretación del análisis estadístico; y

t) comentarios o recomendaciones, basados en los resultados de la ronda de ensayos de aptitud.

Página 3 de 36 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni

La información básica de portada incluye:

- Nº de identificación del laboratorio

Ahora vamos a ver la información general asociada a un procedimiento de medida específico.

La información que no puede faltar es:

- Identificación del laboratorio

Recordemos que mensurando es la cantidad que se desea medir.

Por otro lado, debemos tener:

- Información sobre la agrupación

Ya sabemos que el mensurando es la cantidad que se desea medir.

A manera de información recordemos la definición de procedimiento de medida: descripción detallada de una

Página 4 de 36 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni

Desglosaremos la parte central de un informe “tipo” en sus distintos componentes.

Podemos ver en el informe que existen tres niveles de comparación:

- Todos los laboratorios

Página 5 de 36 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni

Cuando hablamos de grupo par de comparación consideramos:

Aspectos positivos: Trazabilidad asegurada.

Página 6 de 36 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni

Cuando el comparador es “Todos los laboratorios” el Nº es grande, si el comparador es el método el Nº

Página 7 de 36 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni

- la experiencia de los participantes en el sistema de pruebas de aptitud;

- si la intención es determinar el valor asignado o la desviación estándar (o ambas).

Página 8 de 36 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni

Valor asignado a partir de grupos con pocos participantes

El criterio de incertidumbre del valor asignado es el siguiente:

Página 9 de 36 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni

Guía IUPAC para esquema con pocos participantes

Página 10 de 36 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni

Debemos prestar atención a:

Página 11 de 36 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni

2. Valores de referencia certificados.

4. Valores de consenso de los laboratorios de expertos.

5. Valor de consenso de los participantes.

Valores de referencia certificados: Cuando la muestra del EQA/PT es un material de referencia

Página 12 de 36 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni

Desviación estándar del EQA/PT

4. A partir de los resultados de un experimento de precisión.

5. A partir de los datos obtenidos en la ronda de un esquema EQA/PT.

Página 13 de 36 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni

A partir de los resultados de un experimento de precisión: Cuando el método de medición a utilizar

Coeficiente del grupo de comparación

Página 14 de 36 Desarrollado por GMigliarino Consultores prohibida su reproducción sin autorización ni

Incertidumbre del valor asignado