Investigacin, teora y mtodo

Evaluacin de pruebas diagnsticas. Estudios de concordancia

Bautista G.*, Tamayo MC.**

l estudio de concordancia mide la extensin en que los resultados producidos por dos tcnicas diferentes son iguales entre si, es decir, la extensin en la que una de las tcnicas podra servir como sustituta de la otra cuando se utilizan en el mismo sujeto de forma simultnea, esto ltimo, con el fin de asegurar que las diferencias encontradas sean inherentes a las tcnicas o instrumentos evaluados y no a cambios propios del sujeto. Ej. Cuando medimos la frecuencia cardiaca de un individuo, esta podra variar si la tomamos antes o despus de realizar alguna actividad fsica cardiovascular y esta a su vez puede comportarse diferente cuando se mide en el mismo momento pero en sujetos diferentes. Tiene como objetivo, establecer el grado de comparacin entre los resultados de dos pruebas diagnsticas o instrumentos de medicin y as determinar si las dos pruebas o instrumentos producen resultados lo suficientemente comparables que los haga intercambiables. El propsito de realizar este tipo de estudios responde por un lado, a la necesidad clnica de aplicar exmenes diagnsticos menos costosos e invasivos con alta exactitud y por otro lado a la necesidad de soportar la validez interna de los estudios cientficos la cual depende de que las mediciones que se realicen representen en realidad las variables que se estn evaluando. Existen dos tipos de estudio de concordancia:
*

**

Bc UIS Mcs Microbiologa. Especialista en Estadstica. Universidad Nacional de Colombia. Unidad de Investigacin. Facultad de Odontologa. Universidad El Bosque. Od. Periodoncista PUJ. Unidad de Investigacin. Facultad de Odontologa. Universidad El Bosque. Miembro Institucional FSFB.

Estudios de conformidad cuando se comparan las medidas de una tcnica nueva con las obtenidas de un patrn de oro claramente identificado como por ejemplo la sonda periodontal manual para el diagnstico de enfermedad periodontal. Estudios de consistencia, se usan para comparar los resultados de dos tcnicas entre si cuando no existe un patrn de oro reconocido y ninguna de las dos se asume como la correcta.

Investigacin: teora y mtodo La concordancia entre las resultados obtenidos de dos instrumentos o tcnicas se dan en trminos de precisin que elimina el error debido al azar incrementando el potencial del mtodo de estudio para la deteccin de errores y exactitud que elimina el error debido al sesgo e influye sobre la validez externa e interna de un estudio porque permite determinar el grado en que los resultados observados en la muestra estudiada pueden ser extrapolados a un universo o poblacin general. La precisin y exactitud son conceptos que deben ir juntos y deben lograrse en un instrumento de medicin o en una prueba diagnstica ya que indican su validez. evitar variaciones debidas a cambios propios del sujeto evaluado y lo suficientemente largos que permitan la existencia de fluctuaciones debidas al azar. Coherencia interna: mide el grado de correlacin entre dos variables que miden la misma caracterstica. Esta evaluacin se hace generalmente para validar cuestionarios y encuestas que presentan varias preguntas para evaluar la misma variable. Coherencia Inter. - examinadores: (Calibracin Inter.- examinadores) Determina la concordancia entre las mediciones a ciego realizadas por dos o mas observadores obtenidas de la misma muestra. Se sugiere que para esta calibracin se utilicen varias muestras que contengan todas las caractersticas posibles a ser evaluadas. Coherencia intra- examinador (Calibracin Intra-examinadores): Mide concordancia entre las mediciones a ciego realizadas por el mismo observador obtenidas de la misma muestra a diferentes tiempos. Se sugiere que para esta calibracin se realicen un numero de mediciones impares a partir de tres con un intervalo de tiempo suficiente que permita eliminar el sesgo de memoria. nocimiento, presencia de alguna incapacidad fsica, falta de concentracin en el momento de realizar las mediciones, empleo de palabras confusas o ambiguas durante la realizacin de entrevistas, etc. Ej. Variabilidad en la presin ejercida sobre una sonda periodontal durante examen clnico. VARIABILIDAD DEBIDA AL INDIVIDUO O MUESTRA OBSERVADA: se refiere ala variabilidad biolgica de los sujetos que se estudian Ej. ciclos circadianos, estado anmico del sujeto estudiado, alteracin fsica de la muestra por cambios de presin o temperatura, etc. ej. Cambios dimensionales de las impresiones en alginato por cambios de temperatura ambiental. VARIABILIDAD DEBIDA AL INSTRUMENTO: hace referencia a las variaciones inherentes al instrumento y a su funcionamiento que se pueden originar en alteraciones de tipo ambiental como ruidos de fondo, humedad, temperatura, deformaciones del instrumento etc. Ej. cuando se realizan mediciones de color dental visual sin estandarizar la intensidad y direccin de la luz.

Precisin
Se define como el grado en que una variable tiene valores similares cuando se mide varias veces. Entre ms precisa es una medicin, dado un tamao de muestra determinado, mayor es el poder estadstico para estimar los valores medios y comprobar la hiptesis. La precisin mide la Coherencia entre resultados de mediciones emparejadas en los siguientes casos: Coherencia examen reexamen (Calibracin de instrumentos): En estudios experimentales la precisin de las mediciones de experimentos repetidos aumenta la validez de los resultados. Cuando se trata de determinar la precisin de una prueba diagnstica se aplica en el mismo sujeto o en la misma muestra a intervalos de tiempo lo suficientemente cortos para

La precisin se ve afectada por errores de tipo aleatorio, entre mayor es el error, menos precisa es la medicin. Es as que cuando realizamos las mediciones puede haber tres fuentes de error: VARIABILIDAD DEBIDA AL OBSERVADOR QUE REALIZA LAS MEDICIONES, ya sea por falta de entrenamiento, co-

Para lograr aumentar la precisin de las medidas se debe reducir el error aleatorio tratando de contrarrestar la variabilidad debida al observador, al individuo y al instrumento, usando las siguientes estrategias. Estandarizar los mtodos de medicin estableciendo con claridad y por escrito en el protocolo las definiciones operativas o el manual de instrucciones que indique claramente como

UNIVERSIDAD EL BOSQUE FACULTAD DE ODONTOLOGA

75

Investigacin: teora y mtodo preparar la muestra o el sujeto, que indique los parmetros y condiciones para tomar las mediciones, cmo anotar los resultados de las mediciones, etc. Esta estrategia disminuye la variabilidad debida al observador y al individuo. Entrenar y calibrar a los examinadores intra e nter examinador, comprobando que tienen el conocimiento y el dominio de las tcnicas especificadas en el manual de instrucciones para la toma de mediciones, esta estrategia disminuye la variabilidad debida al observador mejorando la coherencia de las tcnicas de medicin. Calibracin de los instrumentos, validacin de encuestas y de ser necesario automatizarlos para que se disminuya la variabilidad debida al observador y al instrumento. Cerciorarse de la coherencia de los resultados realizando mediciones repetidas, para identificar las posibles fuentes de error lo cual reduce de manera considerable la variabilidad debida a los tres elementos: observador, instrumento e individuo.

Exactitud
Es el grado que una variable representa lo que intenta representar. La exactitud de las mediciones puede establecerse mediante la comparacin de estas con tcnicas de referencia o patrones de oro que se saben exactas. En la exactitud existen tres fuentes de error sistemtico o de sesgo: SESGO DEBIDO AL INDIVIDUO: Es una distorsin constante de la medicin debida al individuo que se esta observando generando una alteracin importante en el fenmeno observado. Esto puede suceder por que el individuo de manera consciente o inconsciente, al saberse evaluado puede alterar su comportamiento, sus hbitos, o sus respuestas ante una encuesta, lo que se conoce como Efecto Hawthorne. Tambin las ideas preconcebidas o informacin anterior sobre el tema investigado podra generar una percepcin alterada en el individuo con respecto al fenmeno estudiado. SESGO DEBIDO AL OBSERVADOR: Es la distorsin constante, conscien-

te o inconsciente en la percepcin o registro de la medicin por parte del observador. Esto ocurre cuando el observador es el mismo investigador y por el inters de comprobar su hiptesis tiende a supravalorar o infravalorar los resultados de un fenmeno estudiado, o tiende a hacer una bsqueda exhaustiva de una variable que sabe podra estar relacionada con el fenmeno evaluado. SESGO DEBIDO AL INSTRUMENTO: Cuando se usan instrumentos inapropiados para medir una variable, como por ejemplo, usar una escala de memoria para evaluar inteligencia, o cuando el instrumento se encuentra con deficiencias de funcionamiento.

Las estrategias para lograr la exactitud incluyen las mismas cuatro estrategias para alcanzar la precisin adems de las siguientes: Realizacin de mediciones ocultas, en las cuales el individuo no sea consciente de estar siendo evaluado para eliminar la posibilidad de sesgue conscientemente la variable, por tanto esta estrategia disminuye el sesgo debido al individuo. Realizacin de mediciones a doble ciego de tal manera que ni el individuo estudiado ni el observador sepan cual es el grupo de estudio y cual es el grupo control . Esto disminuye el sesgo debido al observador y al individuo. Calibracin peridica de los instrumentos con un patrn de oro y seleccin adecuada de los instrumentos con respecto las variables que van a ser evaluadas,

Grfica 1. Relacin de precisin y exactitud.

76

REVISTA CIENTFICA VOL. 11 NO. 2 2005

Investigacin: teora y mtodo con el fin de eliminar el sesgo debido al instrumento. Po=(a+d)/N Pe=((r1c1+r2c2)/(N*N) Kw = 1-(qo/qe) Cuando se trabajan datos cuantitativos, en algunas investigaciones se observa que el coeficiente de correlacin de Pearson es una medida usada para investigar la concordancia, sin embargo, teniendo en cuenta que sta es una estadstica de correlacin que refleja la tendencia entre los resultados de dos mtodos y no la concordancia porque no tiene en cuenta el sesgo sitemtico, su utilizacin no es adecuada. Para este tipo de datos la concordancia se evala utilizando: El coeficiente de correlacin intraclase = CCI tiene en cuenta lo anterior y combina correlacin con diferencia de medias. Para la situacin ms simple de concordancia entre dos mtodos u observadores, el coeficiente de correlacin intraclase se define como: CCI = A2+B2-C2/A2+B2+D2-C2/n donde,A es la desviacin estndar del mtodo u observador A, B es la desviacin estndar del mtodo u observador B, C es la desviacin estndar de las diferencias de los mtodos A y B, D es la diferencia promedio de los dos mtodos y n es el nmero de pacientes. En estudios de mayor complejidad se puede estimar el CCI asumiendo que los pacientes son evaluados por n clnicos. Si este es el caso, se deben plantear modelos matemticos que permitan evaluar la confiabilidad de las medidas tomadas. En estos casos la estimacin del CCI se logra utilizando estimadores obtenidos por la tcnica de Anlisis de Varianza

Pruebas estadsticas para evaluar concordancia

Las pruebas estadsticas utilizadas para evaluar la concordancia dependen del tipo de escala en la cual los datos bajo consideracin son expresados. La investigacin de la concordancia entre dos variables, mtodos o procesos requiere: que las dos variables sean expresadas en el mismo tipo de escala. que las dos variables contengan el mismo nmero de categoras.

El valor del ndice kappa de Cohen es 0 si la proporcin observada de concordancia es igual a la proporcin esperada de concordancia debida al azar. 1 si la concordancia esperada es perfecta. Menor de 0 si la concordancia observada es menor que la concordancia esperada debida al azar. Para su valoracin Landis y Koch (1977) propusieron la siguiente escala:
Valor de k Menor de 0 0-0.20 0.21-0.40 0.41-0.60 0.61-0.80 0.81-1.00 Magnitud de la concordancia Pobre Escasa Leve Moderada Sustancial Casi perfecta

A continuacin se presentan los ndices de concordancia utilizados en estudios de conformidad y consistencia, de acuerdo al tipo de datos tomados en consideracin. En datos medidos en escala nominal, la evaluacin de consistencia se lleva a cabo utilizando: el porcentaje de concordancia o de acuerdos definido por: (a+d/N)*100. Sin embargo, al no tener en cuenta la cantidad de acuerdos esperados por el azar ste proceso tiene una limitacin lo que hace poco recomendada su utilizacin. el Kappa de Cohen definido por: K=Po-Pe/1-Pe donde: Po es la proporcin observada de concordancia y Pe es la proporcin esperada de concordancia debida al azar, definidos por:

En muchas situaciones, el ndice de kappa puede servir como un ndice de conformidad y de consistencia. Para datos medidos en escala ordinal, la evaluacin de consistencia y conformidad se lleva a cabo utilizando: el Kappa Ponderado: en ste se asignan pesos o ponderaciones, basndose en la magnitud de las discordancias observadas. Se define de manera similar al kappa no ponderado pero debido a que es ms fcil de calcular basndose en la proporcin de desacuerdos que de acuerdos, es definido por:

UNIVERSIDAD EL BOSQUE FACULTAD DE ODONTOLOGA

77

Investigacin: teora y mtodo (ANOVA). El lector que desee profundizar en estos aspectos puede remitirse a Shoukri M., Pause CA, (1999) y Shoukri M.M, (2004). El CCI vara entre -1 y +1. Los valores cercanos a 1 reflejan incremento de la concordancia entre observadores o entre mtodos. Sin embargo esta medida (CCI) tiene sus limitantes tales como que asume que los mtodos evaluados provienen de una muestra al azar de una poblacin de mtodos y an cuando queramos comparar dos mtodos especficos, asume que el error de medicin es similar en los dos mtodos, adems depende de los sujetos estudiados; si la variabilidad entre los sujetos es muy poca, el coeficiente de correlacin intraclase va a ser bajo, independiente de que los mtodos tengan concordancia o no. Donde: r = coeficiente de correlacin de Pearson A = desviacin estndar del mtodo A B = desviacin estndar del mtodo B C = desviacin estndar de las diferencias del mtodo A y B D = diferencia promedio de los dos mtodos. Este coeficiente tiene un rango de 1 a +1. Cualquier desviacin de la lnea de perfecta concordancia produce valores para este coeficiente inferiores a 1, por lo cual se dice que valores cercanos a 1 reflejan incremento de la concordancia entre observadores o entre mtodos. WCV = MSW1/2/X Donde MSW es el cuadrado medio del error tomado del ANOVA X es el promedio de las mediciones. Segn sus autores, entre ms pequeo sea el WCV mejor es la reproducibilidad de las medidas. Se recomienda su utilizacin, cuando se desee comparar la reproducibilidad de dos mtodos o evaluadores que estn evaluando muestras independientes y se observe que el promedio de las medidas tomadas por el primer mtodo difiere sustancialmente del segundo mtodo. Con base en lo anterior se puede resumir que: Los mtodos estadsticos ms utilizados para determinar la exactitud y la precisin para datos medidos en escalas cuantitativas son: el coeficiente de correlacin-intraclase y el coeficiente de correlacin- concordancia.La precisin o reproducibilidad puede medirse adems utilizando el coeficiente de variacin dentro de sujetos. Para datos en medidos en escala nominal dicotmica el Kappa de Cohen y para aquellos medidos en escala ordinal el Kappa ponderado.

El coeficiente de variacin dentro de sujetos

Como se mencion anteriormente, el CCI depende de la variacin entre sujetos lo cual causa problemas al comparar los resultados de diferentes estudios.Tratando de solucionar este problema, Quan y Shih (1996) plantearon como una alternativa de el Coeficiente de variacin entre sujetos (Within-subject coefficient of variation:WCV), el cual es definido por:

Coeficiente de correlacin y concordancia (CCC)

Esta estadstica determina que tanto se desvan los datos obtenidos por los dos mtodos de la lnea de perfecta concordancia (lnea de 45 grados que se inicia en 0). Este coeficiente se define como: CCC= (2*r*A*B)/ (A2+B2+D2)

Referencias
Cepeda SM, Prez A. Estudios de Concordancia. Mtodos para determinar la intercambiabilidad entre diferentes sistemas de medicin en la prctica clnica. Capitulo 17 .Pg. 287 301 Editorial. CEJA Kramer M and Feinstein AR. 1981. Clinical Biostatistics.The biostatistics of concordance. Clin. Pharmacol.Ther. 29: 111 - 123 Hulley SB and Cummings SR. Planificacin de las mediciones: precisin y exactitud. Capitulo 4. Diseo de la Investigacin Clnica. Capitulo 4. Pgs. 35 46. Landis, J.R and Koch G.G (1977).The measurement of observer agreement for categorical data. Biometrics, 33, 159-174.

78

REVISTA CIENTFICA VOL. 11 NO. 2 2005

Investigacin: teora y mtodo

Quan, H. and Shih. W.J. 1996. Assessing reproducibility by the within- subject coefficient of variation with random effects models. Biometrics, 52, 1196-1203. Ruiz A. 2000. Introduccin a los diseos de investigacin en medicina clnica. Pg. 129 131 Editorial. CEJA Shoukri, M.M. and Pause, C.A. 1999. Statistical methods for health sciences. Segunda edicin. CRC Pres. Shoukri, M.M. 2004. Measures of Interobserver agreement. Primera edicin. CRC Press.

UNIVERSIDAD EL BOSQUE FACULTAD DE ODONTOLOGA

79