Investigación, teoría y método

Evaluación de pruebas diagnósticas.

Estudios de concordancia
Bautista G.*, Tamayo MC.**

E l estudio de concordancia mide la extensión en que los resultados produ-

cidos por dos técnicas diferentes son iguales entre si, es decir, la extensión
en la que una de las técnicas podría servir como sustituta de la otra cuando
se utilizan en el mismo sujeto de forma simultánea, esto último, con el fin de
asegurar que las diferencias encontradas sean inherentes a las técnicas o
instrumentos evaluados y no a cambios propios del sujeto. Ej. Cuando medi-
mos la frecuencia cardiaca de un individuo, esta podría variar si la tomamos
antes o después de realizar alguna actividad física cardiovascular y esta a su
vez puede comportarse diferente cuando se mide en el mismo momento
pero en sujetos diferentes.

Tiene como objetivo, establecer el grado de comparación entre los resulta-

dos de dos pruebas diagnósticas o instrumentos de medición y así determi-
nar si las dos pruebas o instrumentos producen resultados lo suficientemen-
te comparables que los haga intercambiables. El propósito de realizar este
tipo de estudios responde por un lado, a la necesidad clínica de aplicar exá-
menes diagnósticos menos costosos e invasivos con alta exactitud y por
otro lado a la necesidad de soportar la validez interna de los estudios cientí-
ficos la cual depende de que las mediciones que se realicen representen en
realidad las variables que se están evaluando.

Existen dos tipos de estudio de concordancia:

• Estudios de conformidad cuando se comparan las medidas de una

*
Bc UIS Mcs Microbiología. Especia- técnica nueva con las obtenidas de un patrón de oro claramente identi-
lista en Estadística. Universidad Na- ficado como por ejemplo la sonda periodontal manual para el diagnós-
cional de Colombia. Unidad de Inves-
tigación. Facultad de Odontología. tico de enfermedad periodontal.
Universidad El Bosque.
**
Od. Periodoncista PUJ. Unidad de In- • Estudios de consistencia, se usan para comparar los resultados de dos
vestigación. Facultad de Odontolo-
gía. Universidad El Bosque. Miembro técnicas entre si cuando no existe un patrón de oro reconocido y nin-
Institucional FSFB. guna de las dos se asume como la «correcta».

La concordancia entre las resultados
obtenidos de dos instrumentos o téc-
nicas se dan en términos de preci-
sión que elimina el error debido al
azar incrementando el potencial del
método de estudio para la detección
de errores y exactitud que elimina
el error debido al sesgo e influye so-
bre la validez externa e interna de
un estudio porque permite determi-
nar el grado en que los resultados
observados en la muestra estudiada
pueden ser extrapolados a un univer-
so o población general. La precisión
y exactitud son conceptos que de-
ben ir juntos y deben lograrse en un
instrumento de medición o en una
prueba diagnóstica ya que indican
su validez.
Precisión
Se define como el grado en que una
variable tiene valores similares cuan-
do se mide varias veces. Entre más
precisa es una medición, dado un
tamaño de muestra determinado, ma-
yor es el poder estadístico para esti-
mar los valores medios y comprobar
la hipótesis.
La precisión mide la Coherencia en-
tre resultados de mediciones empa-
rejadas en los siguientes casos:
• Coherencia examen– reexa-
men (Calibración de instru-
mentos): En estudios experi-
mentales la precisión de las me-
diciones de experimentos repe-
tidos aumenta la validez de los
resultados. Cuando se trata de
determinar la precisión de una
prueba diagnóstica se aplica en
el mismo sujeto o en la misma
muestra a intervalos de tiempo
lo suficientemente cortos para
UNIVERSIDAD EL BOSQUE • FACULTAD DE ODONTOLOGÍA
evitar variaciones debidas a
cambios propios del sujeto eva-
luado y lo suficientemente lar-
gos que permitan la existencia
de fluctuaciones debidas al azar.
• Coherencia interna: mide el
grado de correlación entre dos
variables que miden la misma
característica. Esta evaluación se
hace generalmente para validar
cuestionarios y encuestas que
presentan varias preguntas para
evaluar la misma variable.
• Coherencia Inter. - examinado-
res: (Calibración Inter.- exami-
nadores) Determina la concor-
dancia entre las mediciones a
ciego realizadas por dos o mas
observadores obtenidas de la
misma muestra. Se sugiere que
para esta calibración se utilicen
varias muestras que contengan
todas las características posibles
a ser evaluadas.
• Coherencia intra- examinador
(Calibración Intra-examinado-
res): Mide concordancia entre
las mediciones a ciego realiza-
das por el mismo observador
obtenidas de la misma muestra
a diferentes tiempos. Se sugiere
que para esta calibración se rea-
licen un numero de mediciones
impares a partir de tres con un
intervalo de tiempo suficiente
que permita eliminar el sesgo de
memoria.
La precisión se ve afectada por erro-
res de tipo aleatorio, entre mayor es
el error, menos precisa es la medi-
ción. Es así que cuando realizamos
las mediciones puede haber tres
fuentes de error:
• VARIABILIDAD DEBIDA AL OBSERVADOR
QUE REALIZA LAS MEDICIONES, ya sea
por falta de entrenamiento, co-
Investigación: teoría y método
nocimiento, presencia de algu-
na incapacidad física, falta de
concentración en el momento
de realizar las mediciones, em-
pleo de palabras confusas o am-
biguas durante la realización de
entrevistas, etc. Ej. Variabilidad
en la presión ejercida sobre una
sonda periodontal durante exa-
men clínico.
• VARIABILIDAD DEBIDA AL INDIVIDUO O
MUESTRA OBSERVADA: se refiere ala
variabilidad biológica de los su-
jetos que se estudian Ej. ciclos
circadianos, estado anímico del
sujeto estudiado, alteración físi-
ca de la muestra por cambios de
presión o temperatura, etc. ej.
Cambios dimensionales de las
impresiones en alginato por
cambios de temperatura am-
biental.
• VARIABILIDAD DEBIDA AL INSTRUMENTO:
hace referencia a las variaciones
inherentes al instrumento y a su
funcionamiento que se pueden
originar en alteraciones de tipo
ambiental como ruidos de fon-
do, humedad, temperatura, de-
formaciones del instrumento
etc. Ej. cuando se realizan medi-
ciones de color dental visual sin
estandarizar la intensidad y di-
rección de la luz.
Para lograr aumentar la precisión de
las medidas se debe reducir el error
aleatorio tratando de contrarrestar la
variabilidad debida al observador, al
individuo y al instrumento, usando
las siguientes estrategias.
• Estandarizar los métodos de
medición estableciendo con
claridad y por escrito en el pro-
tocolo las definiciones operati-
vas o el manual de instrucciones
que indique claramente como
75
Investigación: teoría y método
preparar la muestra o el sujeto,
que indique los parámetros y
condiciones para tomar las me-
diciones, cómo anotar los resul-
tados de las mediciones, etc. Esta
estrategia disminuye la variabi-
lidad debida al observador y al
individuo.
• Entrenar y calibrar a los exa-
minadores intra e ínter exami-
nador, comprobando que tie-
nen el conocimiento y el domi-
nio de las técnicas especificadas
en el manual de instrucciones
para la toma de mediciones, esta
estrategia disminuye la variabi-
lidad debida al observador me-
jorando la coherencia de las téc-
nicas de medición.
• Calibración de los instrumen-
tos, validación de encuestas y de
ser necesario automatizarlos pa-
ra que se disminuya la variabili-
dad debida al observador y al
instrumento.
• Cerciorarse de la coherencia de
los resultados realizando medi-
ciones repetidas, para identificar
las posibles fuentes de error lo
cual reduce de manera conside-
rable la variabilidad debida a los
tres elementos: observador, ins-
trumento e individuo.
Gráfica 1. Relación de precisión y exactitud.
76
Exactitud
Es el grado que una variable repre-
senta lo que intenta representar. La
exactitud de las mediciones puede
establecerse mediante la compara-
ción de estas con técnicas de referen-
cia o patrones de oro que se saben
exactas.
En la exactitud existen tres fuentes
de error sistemático o de sesgo:
• SESGO DEBIDO AL INDIVIDUO: Es una
distorsión constante de la medi-
ción debida al individuo que se
esta observando generando una
alteración importante en el fe-
nómeno observado. Esto puede
suceder por que el individuo de
manera consciente o incons-
ciente, al saberse evaluado pue-
de alterar su comportamiento,
sus hábitos, o sus respuestas
ante una encuesta, lo que se co-
noce como Efecto Hawthorne.
También las ideas preconcebi-
das o información anterior so-
bre el tema investigado podría
generar una percepción altera-
da en el individuo con respecto
al fenómeno estudiado.
• SESGO DEBIDO AL OBSERVADOR: Es la
distorsión constante, conscien-
te o inconsciente en la percep-
ción o registro de la medición
por parte del observador. Esto
ocurre cuando el observador es
el mismo investigador y por el
interés de comprobar su hipó-
tesis tiende a supravalorar o in-
fravalorar los resultados de un
fenómeno estudiado, o tiende a
hacer una búsqueda exhaustiva
de una variable que sabe podría
estar relacionada con el fenóme-
no evaluado.
• SESGO DEBIDO AL INSTRUMENTO: Cuan-
do se usan instrumentos inapro-
piados para medir una variable,
como por ejemplo, usar una es-
cala de memoria para evaluar in-
teligencia, o cuando el instru-
mento se encuentra con defi-
ciencias de funcionamiento.
Las estrategias para lograr la exacti-
tud incluyen las mismas cuatro es-
trategias para alcanzar la precisión
además de las siguientes:
• Realización de mediciones ocul-
tas, en las cuales el individuo no
sea consciente de estar siendo
evaluado para eliminar la posibi-
lidad de sesgue conscientemen-
te la variable, por tanto esta es-
trategia disminuye el sesgo
debido al individuo.
• Realización de mediciones a
doble ciego de tal manera que
ni el individuo estudiado ni el
observador sepan cual es el gru-
po de estudio y cual es el grupo
control . Esto disminuye el sesgo
debido al observador y al indi-
viduo.
• Calibración periódica de los ins-
trumentos con un patrón de oro
y selección adecuada de los ins-
trumentos con respecto las va-
riables que van a ser evaluadas,
REVISTA CIENTÍFICA • VOL. 11 • NO. 2 • 2005

con el fin de eliminar el sesgo
debido al instrumento.
Pruebas estadísticas
para evaluar
concordancia
Las pruebas estadísticas utilizadas
para evaluar la concordancia depen-
den del tipo de escala en la cual los
datos bajo consideración son expre-
sados. La investigación de la concor-
dancia entre dos variables, métodos
o procesos requiere:
• que las dos variables sean expre-
sadas en el mismo tipo de escala.
• que las dos variables contengan
el mismo número de categorías.
A continuación se presentan los ín-
dices de concordancia utilizados en
estudios de conformidad y consis-
tencia, de acuerdo al tipo de datos
tomados en consideración.
En datos medidos en escala no-
minal, la evaluación de consisten-
cia se lleva a cabo utilizando:
• el porcentaje de concordan-
cia o de acuerdos definido
por: (a+d/N)*100. Sin embargo,
al no tener en cuenta la cantidad
de acuerdos esperados por el
azar éste proceso tiene una limi-
tación lo que hace poco reco-
mendada su utilización.
• el Kappa de Cohen definido
por:
K=Po-Pe/1-Pe
donde: Po es la proporción observa-
da de concordancia y Pe es la propor-
ción esperada de concordancia de-
bida al azar, definidos por:
UNIVERSIDAD EL BOSQUE • FACULTAD DE ODONTOLOGÍA
Po=(a+d)/N
Pe=((r1c1+r2c2)/(N*N)
El valor del índice kappa de Cohen
es 0 si la proporción observada de
concordancia es igual a la propor-
ción esperada de concordancia debi-
da al azar. 1 si la concordancia espe-
rada es perfecta. Menor de 0 si la con-
cordancia observada es menor que
la concordancia esperada debida al
azar.
Para su valoración Landis y Koch
(1977) propusieron la siguiente
escala:
Valor de k Magnitud de
la concordancia
Menor de 0 Pobre
0-0.20 Escasa
0.21-0.40 Leve
0.41-0.60 Moderada
0.61-0.80 Sustancial
0.81-1.00 Casi perfecta
En muchas situaciones, el índice de
kappa puede servir como un índice
de conformidad y de consistencia.
Para datos medidos en escala
ordinal, la evaluación de consisten-
cia y conformidad se lleva a cabo uti-
lizando:
• el Kappa Ponderado: en éste
se asignan pesos o ponderacio-
nes, basándose en la magnitud
de las discordancias observadas.
Se define de manera similar al
kappa no ponderado pero debi-
do a que es más fácil de calcular
basándose en la proporción de
desacuerdos que de acuerdos,
es definido por:
Investigación: teoría y método
Kw = 1-(qo´/qe´)
Cuando se trabajan datos cuantita-
tivos, en algunas investigaciones se
observa que el coeficiente de co-
rrelación de Pearson es una me-
dida usada para investigar la concor-
dancia, sin embargo, teniendo en
cuenta que ésta es una estadística de
correlación que refleja la tendencia
entre los resultados de dos métodos
y no la concordancia porque no tie-
ne en cuenta el sesgo sitemático, su
utilización no es adecuada. Para este
tipo de datos la concordancia se eva-
lúa utilizando:
El coeficiente de correlación
intraclase = CCI tiene en cuenta
lo anterior y combina correlación
con diferencia de medias.
Para la situación más simple de con-
cordancia entre dos métodos u ob-
servadores, el coeficiente de corre-
lación intraclase se define como:
CCI = A2+B2-C2/A2+B2+D2-C2/n
donde,A es la desviación estándar del
método u observador A, B es la des-
viación estándar del método u obser-
vador B, C es la desviación estándar
de las diferencias de los métodos A
y B, D es la diferencia promedio de
los dos métodos y n es el número de
pacientes.
En estudios de mayor complejidad
se puede estimar el CCI asumiendo
que los pacientes son evaluados por
n clínicos. Si este es el caso, se deben
plantear modelos matemáticos que
permitan evaluar la confiabilidad de
las medidas tomadas. En estos casos
la estimación del CCI se logra utili-
zando estimadores obtenidos por la
técnica de Análisis de Varianza
77
Investigación: teoría y método
(ANOVA). El lector que desee profun-
dizar en estos aspectos puede remi-
tirse a Shoukri M., Pause CA, (1999)
y Shoukri M.M, (2004).
El CCI varía entre -1 y +1. Los valores
cercanos a 1 reflejan incremento de
la concordancia entre observadores
o entre métodos.
Sin embargo esta medida (CCI) tiene
sus limitantes tales como que asume
que los métodos evaluados provie-
nen de una muestra al azar de una
población de métodos y aún cuando
queramos comparar dos métodos
específicos, asume que el error de
medición es similar en los dos méto-
dos, además depende de los sujetos
estudiados; si la variabilidad entre los
sujetos es muy poca, el coeficiente
de correlación intraclase va a ser
bajo, independiente de que los mé-
todos tengan concordancia o no.
Coeficiente de correlación
y concordancia (CCC)
Esta estadística determina que tanto
se desvían los datos obtenidos por
los dos métodos de la línea de perfec-
ta concordancia (línea de 45 grados
que se inicia en 0). Este coeficiente
se define como:
CCC= (2*r*A*B)/ (A2+B2+D2)
Referencias
• Cepeda SM, Pérez A. Estudios de Concordancia. Métodos para determinar la intercambiabilidad entre diferentes siste-
mas de medición en la práctica clínica. Capitulo 17 .Pág. 287 – 301 Editorial. CEJA
• Kramer M and Feinstein AR. 1981. Clinical Biostatistics.The biostatistics of concordance. Clin. Pharmacol.Ther. 29: 111 - 123
• Hulley SB and Cummings SR. Planificación de las mediciones: precisión y exactitud. Capitulo 4. Diseño de la Investigación
Clínica. Capitulo 4. Págs. 35 – 46.
• Landis, J.R and Koch G.G (1977).The measurement of observer agreement for categorical data. Biometrics, 33, 159-174.
78
Donde: r = coeficiente de correla-
ción de Pearson
A = desviación estándar
del método A
B = desviación estándar
del método B
C = desviación estándar
de las diferencias del
método A y B
D = diferencia promedio
de los dos métodos.
Este coeficiente tiene un rango de –
1 a +1. Cualquier desviación de la
línea de perfecta concordancia pro-
duce valores para este coeficiente
inferiores a 1, por lo cual se dice que
valores cercanos a 1 reflejan incre-
mento de la concordancia entre ob-
servadores o entre métodos.
El coeficiente de variación
dentro de sujetos
Como se mencionó anteriormente,
el CCI depende de la variación entre
sujetos lo cual causa problemas al
comparar los resultados de diferen-
tes estudios.Tratando de solucionar
este problema, Quan y Shih (1996)
plantearon como una alternativa de
el Coeficiente de variación entre
sujetos (Within-subject coefficient
of variation:WCV), el cual es definido
por:
WCV = MSW1/2/X
Donde MSW es el cuadrado medio
del error tomado del ANOVA
X es el promedio de las mediciones.
Según sus autores, entre más peque-
ño sea el WCV mejor es la reproduci-
bilidad de las medidas. Se recomien-
da su utilización, cuando se desee
comparar la reproducibilidad de dos
métodos o evaluadores que estén
evaluando muestras independientes
y se observe que el promedio de las
medidas tomadas por el primer mé-
todo difiere sustancialmente del se-
gundo método.
Con base en lo anterior se puede
resumir que:
• Los métodos estadísticos más uti-
lizados para determinar la exac-
titud y la precisión para datos
medidos en escalas cuantita-
tivas son: el coeficiente de corre-
lación-intraclase y el coeficiente
de correlación- concordancia.La
precisión o reproducibilidad pue-
de medirse además utilizando el
coeficiente de variación dentro
de sujetos. Para datos en medidos
en escala nominal dicotómica
el Kappa de Cohen y para aque-
llos medidos en escala ordinal el
Kappa ponderado.
REVISTA CIENTÍFICA • VOL. 11 • NO. 2 • 2005
 Investigación: teoría y método

• Quan, H. and Shih. W.J. 1996. Assessing reproducibility by the within- subject coefficient of variation with random effects
models. Biometrics, 52, 1196-1203.
• Ruiz A. 2000. Introducción a los diseños de investigación en medicina clínica. Pág. 129 – 131 Editorial. CEJA
• Shoukri, M.M. and Pause, C.A. 1999. Statistical methods for health sciences. Segunda edición. CRC Pres.
• Shoukri, M.M. 2004. Measures of Interobserver agreement. Primera edición. CRC Press.

UNIVERSIDAD EL BOSQUE • FACULTAD DE ODONTOLOGÍA 79