Está en la página 1de 48

Uso

de instrumentos
psicomtricos en odontologa
PEDRO ARAVENA DDS, PhD

Dr. Pedro Aravena Torres


CIRUGIA BUCAL 2011
Objetivos:
1. Definir medicin en salud
2. Definir conceptos de Validez y Confiabilidad
3. Definir cuestionario, entrevista y escala
4. Describir los elementos de una escala validada
5. Describir los pasos para validacin de una escala en salud

Dr. Pedro Aravena Torres


CIRUGIA BUCAL 2011
!

Amin MM, Laskin DM. Oral Surg Oral Med Oral Pathol. 1983;55(5):448-51 .
Bjrnsson GA, ET AL. J Clin Pharmacol. 2003;55(4):405-12.4 !GA. et al. 2013.
1. Qu es medicin en salud?

...es simplemente el proceso de asignar valores a ciertos eventos


de la realidad.

Se requiere de:
- asignar correctamente valores
- determinar instrumentos vlidos y confiables

* KERLINGER F, LEE H. Investigacin del comportamiento. Mtodos de investigacin en ciencias sociales.


Mxico: McGraw-Hill, 2002.
Dolor:
OMS: Una experiencia sensorial y emocional desagradable
asociada con una lesin presente o potencial o descrita en
trminos de la misma.

escala
dolor caras medidas
fisiolgicas

observacin
clnica
concepto de dolor
Caries Temprana de la Infancia

Indice COPD
Recuento de
y manchas
UFC
blanca

n de biberon
nocturno Consulta a
dentista
concepto de CTI
2. Validez y Confiabilidad

Capacidad de medir exactamente


para lo que fue construido y
VALIDEZ discriminar otras unidades.

exactitud
Un instrumento
debe ser:

Capacidad de reproducir el mismo


resultado en distintas condiciones y
FIABILIDAD tiempo.

precisin o consistencia
Fiabilidad Validez
Grado en que una variable
Grado de valor de variable
definicin representa realmente lo que
medido varias veces
es

Comparacin entre Comparacin con un estandar


mejor modo evaluacin
mediciones repetidas de referencia

Aumentar la potencia para Aumentar la validez de las


Valor a estudiar
detectar defectos conclusiones

Error aleatorio (azar) Error sistemtico (sesgo)


Amenazado por Observador, participante e Observador, participante e
instrumento instrumento

Hulley S. et al. Diseo de investigaciones clnicas. 3ra edicin. Ed. Lippincott Willians & Wilkins. cap 4 pag. 49.
pregunta

Sobre la validez de un instrumento psicomtrico en


salud quiere decir que:

a. Estar impreso y es fcil de usar


b. Mida exactamente para lo cual fue diseado y descartar otras
variables
c. Puede ser aplicado a distintas poblaciones de inters, siempre
da mismo resultado
d. Solo puede ser usado por un investigador, evitando el sesgo
del investigador
de dnde extraer los datos?

Tipos de medicin Ejemplo Banco de datos


Historial mdico Medicamentos Ficha clnica
Tabaquismo
Hipertensin

Factores psicosociales Nivel socioeconmico Entrevista


Educacin Cuestionario
Escalas

Imgenes Densidad sea Placas radiogrficas


Ulceras epiteliales Fotografas
Quistes/tumores

Biolgicos Recuento leucocitos Examen de laboratorio


Hemograma Tablas normalidad
Perfil bioqumico
CUESTIONARIO
3. Cuestionario, entrevista y escalas

Cuestionario y entrevistas
Comunicacin verbal con el entrevistado donde el investigador aporta
informacin adicional.
Ventajas: Desventajas:
Bajo costo Comprensin lectora
3.1 Cuestionario Mayor numero de sujetos Preguntas simples y cerradas
Sesgo entrevistador No puede clarificar dudas
Estandarizacin del material No asegura quien responde

Ventajas
Entrevistas personales Alto n de sujetos
Control de tipo de preguntas
Clarifica dudas
3.2 Entrevista
Desventajas
Encuestas telefnicas Mayor costo y tiempo
Sesgo del entrevistador

* Argimn-Palls JM &Jimnez-Vila J.Mtodos de investigacin clnica y epidemiolgica. (3ra ed.) Elsevier. 2004.
ESCALAS
3. Cuestionario, entrevista y escalas

3.3 Escalas
Forma de autodeclaracin que evaluan conceptos abstractos y
complejos.
Permite clasificar fenmenos mediante suma de puntos.

Directa
1. Forma de variable
Indirecta

Tipo de Escalas
Adjetivas
2. Formato Tipo Likert
Visual Anloga
ESCALAS
3. Cuestionario, entrevista y escalas

Escalas adjetivas y visuales

* Streiner D. & Norman GR.Health measurement scales. (4th ed.) Oxford Ed. 2008.
ESCALAS
3. Cuestionario, entrevista y escalas

Escalas tipo Lickert

*American Psychiatric Association. Diagnostic and statistical manual of mental disorders. 4th ed. Washington, D.C.:
American Psychiatric Association, 1994:320-7
3. Cuestionario,
ANATOMIA entrevista
DE UNAy escalas
ESCALA

Escalas tipo Lickert


Concepto Dominio Item Puntos

Nivel de conciencia
ESCALA DE GLASGOW

Teasdale G, Jennet B. Assesment of coma and impaired consciosness, a pratical scale. Lancet 1974; 7872:81-4
Pregunta

La diferencia entre una escala visual anloga y una


escala tipo Lickert es que esta ltima:

a. Permite registrar aleatoriamente la opcin del sujeto


b. Es unipolar, por lo que las alternativas son ascendentes sobre
un tema a investigar
c. Contiene numero de aseveraciones declarativas con una escala
detras de cada aseveracin
d. Presenta una lista ordenada de variables que son interpretadas
posteriormente por el investigador
4. Cmo saber si es vlida y confiable?

review article

The COnsensus-based Standards for the selection of


health Measurement INstruments (COSMIN) and how
to select an outcome measurement instrument
Lidwine B. Mokkink1, Cecilia A. C. Prinsen1, Lex M. Bouter1,
Henrica C. W. de Vet1, Caroline B. Terwee1

ABSTRACT | Background: COSMIN (COnsensus-based Standards for the selection of health Measurement INstruments)
s an initiative of an international multidisciplinary team of researchers who aim to improve the selection of outcome
measurement instruments both in research and in clinical practice by developing tools for selecting the most appropriate
vailable instrument. Method: In this paper these tools are described, i.e. the COSMIN taxonomy and definition of
measurement properties; the COSMIN checklist to evaluate the methodological quality of studies on measurement
roperties; a search filter for finding studies on measurement properties; a protocol for systematic reviews of outcome
measurement instruments; a database of systematic reviews of outcome measurement instruments; and a guideline for
Mokkink LB, instruments
electing outcome measurement Prinsen CAC,for
Bouter
CoreLM, de Vet HCW,
Outcome SetsTerwee CB. Braz
in clinical J Phys
trials. Ther. 2016
Currently, Mar-Apr;
we are 20(2):105-113
updating the
COSMIN checklist, particularly the standards for content validity studies. Also new standards for studies using Item
FIABILIDAD

Consistencia
interna VALIDEZ
Fiabilidad
Test retest
Inter obs. de Contenido de Criterio
Intra- obs. (fachada) Concurrente
predictiva

de Constructo
Estructural
CAPACIDAD Prueba hiptesis.
trasncultural
RESPUESTA
tiempo,
formato,
forma

Mokkink LB, Prinsen CAC, Bouter LM, de Vet HCW, Terwee CB. Braz J Phys Ther. 2016 Mar-Apr; 20(2):105-113
4. Datos que debe tener una escala validada
Revisin literatura, opinin
DE CONTENIDO expertos y poblacin

VALIDEZ DE CRITERIO Estndar de oro

> 50 % de la varianza de
DE CONSTRUCTO
datos

CONSISTENCIA Alfa de Cronbach 0.7


INTERNA

FIABILIDAD INTRAOBSERVADOR
Correlacin de Pearson 0.7
Correlacin intraclase 0.8
Indice Kappa 0.70
INTEROBSERVADOR
Beattie et al. Systematic Reviews (2015) 4:97
vasta simplemente con aplicar una escala cualquiera para tener
resultados vlidos y confiables?

5. Proceso de validacin de una escala

1. ELECCIN DE LA ESCALA

2. TRADUCCIN

3. ESTUDIO PILOTO

4. ESTUDIO VALIDEZ Y
CONFIABILIDAD

5. FIABILIDAD DE USO

Ricardo Sanchez & Jairo Echeverry Rev. Salud pblica. 6 (3): 302-318, 2004
Pregunta

La consistencia interna de una escala mide:

a. La concordancia que explica un evento de los tems de una


escala
b. La concordancia de las respuestas entre los examinadores
c. La concordancia de las respuestas entre los sujetos
examinados
d. La correlacin de la escala con otra escala gold Estndar
5.1 Eleccin de una Escala

Clara Misrachi & Iris Espinoza . Revista Dental de Chile 2005; 96 (2): 28-35
5.2 Traduccin de una Escala

Objetivo: determinar equivalencia entre la versin original


y la traducida

Equivalencia conceptual1
Ej: aficcin por el baseball
uso de piercing

Equivalencia semntica1
Ej: cancelar (Chile: Pagar Espaa: Anular)
compadre (Chile: amigo; Mxico: padrinos; Nicaragua: desconocido).
alveolitis (Europa) - osteitis (EE.UU).

1. Streiner & Norman. Health Measurement Scale. 4th edition. 2009. Oxford University Press. Cap. 2 pag 29
5.2 Traduccin de una Escala
1) Traduccin ingls-espaol 1

Traduccin directa

EQUIVALENCIA CONCEPTUAL,
SEMNTICA Y OPERACIONAL.

EQUIVALENCIA MEDICIN:
METODOS ESTADSTICOS
(Analisis factorial y consistencia
interna)

Traduccin inversa

1. Guillemin F et al. Journal of Clinical Epidemiology. 1993. 46; 1417-32


5.3 Estudio piloto

Objetivo: observar el comportamiento del instrumento segn:

1) Componentes del dominio1


Comprensin del rubro
Ambiguedad ha estado deprimido ultimamente?
Frecuencia de respuesta
Amplitud de respuesta

2) Tiempo y ejecucin1
Tiempo y condicin de medicin
Formato
Asignacin de puntaje*

1. Ricardo Sanchez & Jairo Echeverry Rev. Salud pblica. 6 (3): 302-318, 2004
5.3 Estudio Piloto
a cuntas personas aplico el pilotaje?

Se recomienda una muestra de cinco observaciones


por tem1,2
qu obtengo?

1. Componentes del dominio 2. Calculo de Fiabilidad

Comprensin del rubro Frecuencia de respuesta


Ambiguedad Amplitud de respuesta
Frecuencia de respuesta

ANALISIS CUALITATIVO ANALISIS ESTADSTICO

1. HAIR, J. Et al. (1999): Anlisis multivariante. Prentice Hall Internacional, Madrid.


2. MORALES, P. (2004): en http://www.upco.es/personal/peter/investigacion//AnalisisFactorial.pdf.
5.1 Calculo de Validez y confiabilidad

Calculo de Fiabilidad
a. Mide si la respuesta de los sujetos es coherente unas con otras.
b. Permite eliminar los peores tems (sin concordancia alguna).
c. Permite agrupar dominios
d. Orienta al investigador a asignar valores a su escala definitiva

Anlisis Factorial Mtodo que simplifica la informacin de una


una matriz de correlaciones para hacerla facilmente interpretable1

Se basa en la varianza de los datos de una escala aplicada.


Varianza Clculo de diferencia de las respuestas1
1. MORALES, P. (2010): en http://www.upcomillas.es/personal/peter/investigacion/AnalisisFactorial.pdf
PUNTOS
1 2 3 4 5

Varianza cero

PACIENTE Preg 1 Preg 2 Preg 3 Preg 4


1 3 1 5 1
2 4 1 5 1
3 1 5 3 1
4 2 5 1 1
5 5 5 1 1
6 5 1 3 1
7 3 1 5 1

Clara Misrachi & Iris Espinoza . Revista Dental de Chile 2005; 96 (2): 28-35
Pregunta Respuesta
1. Limit la clase o cantidad de alimento Siempre / A menudo / a Veces /
debido a problemas con sus dientes o protesis Rara vez / Nunca
dentales?

2. Pudo comer cmodamente? si / no

3. sus dientes o prtesis dentales le Siempre / a Veces / Nunca


impidieron hablar del modo que usted quera?
5.1 Calculo de Validez y confiabilidad

Cargas factoriales >0.5

Alpha Cronbach >0.7


Item 1

Componente 1 Item 2
concepto

Item 3

Item 4

Componente 2 Item 5

Alpha Cronbach >0.7 Item 6

Confiabilidad inter
intraobservador >0.8 31
Pregunta

Cales son los valores estadsticos idoneos para


definir que una escala es valida y confiable

a. Una correlacion intraclase (ICC) <0.7 y alfa de Cronbach >0.7


b. Una correlacion de Pearson <0.8 y alfa de Cronbach >0.7
c. Alfa de Cronbach >0.7 y cargas factoriales <0.5
d. Alfa de Cronbach >0.7 y correlacin Pearson >0.8
Ej: Pregunta de Investigacin

Cules son los items y componentes de una escala vlida y confiable


para medir complicaciones postquirrgica en exodoncia de terceros
molares?

Aravena PC et al. Int J Oral Maxillofac Surg. 2014. Aug;43(8):1008-14.


Paso 1 Recolectar los items de la escala

Disear el cuestionario preliminar


Paso 2:
Diseo de escala preliminar Entrevista a expertos

Anlisis factorial exploratorio


Diseo escala preliminar

Uso de escala en pacientes


(controles postiquirrgicos)

Paso 3: anlisis factorial confirmatorio


Validez y confiabilidad de la Diseo final de escala
escala
Anlisis de validez y fiabilidad de la escala
(alfa de cronbach >0.7 / ICC >80%)

Presentacin escala final


Aravena PC et al. Int J Oral Maxillofac Surg. 2014. Aug;43(8):1008-14.
IMPORTANCE
ITEM 1: none 2: less 3: median 4: big 5: greatest
Abscess x
Alveolar bleeding x
Alveolitis x
Anesthesia x
Anxiety x
Bleeding x
Complication in socket x
Dehiscence x
Depression x
Discomfort x
Dysfunction facial nerve x
Dysfunction trigeminal nerve x
Dysphagia x
Ecchymosis x
Edema x
Erythema x
Exposure of socket x
Exudation x
Fever x
Halitosis x
Hematoma x
Hemorrhage x
Inflammation x
Jaw bone fracture x
Lymphadenopathy x
Neuropathy x
Orofacial fissure x
Osteitis x
Osteomyelitis x
Pain x
Paresthesia x
Petechiae x
Purulence x
Suppuration x
Temperature increase Aravena PC et al.xInt J Oral Maxillofac Surg. 2014. Aug;43(8):1008-14.
35
Trismus x
Elimination item criteria
Load factor factor coefficients with by experts
Item meanSD2
values < 0.2 differences <0.15 consensus
Suppuration 4.40.8
Abscess 4.40.8
Osteomyelitis 4.30.9
Purulence 3.91.1
Fever 3.81.0 *
Dysphagia 3.41.3 *
Pain 3.31.2
Trismus 3.31.0
Orofacial fissure 3.31.3 *
Alveolitis 3.31.2
Osteitis 3.31.1 *
Lymphadenopathy 3.21.2 *
Jaw bone fracture 3.11.6 *
Complication in socket 3.01.2 *
Temperature increase 3.01.0 *
Exudation 3.01.2 *
Inflammation 3.01.2
Exposure of socket 2.91.0 *
Erythema 2.71.1
Halitosis 2.61.1 *
Edema 2.51.1
Dehiscence 2.51.1 *
Neuropathy 2.41.4 *
Alveolar bleeding 2.41.3 *
Hematoma 2.41.1 *
Dysfunction trigeminal nerve 2.41.4 *
Bleeding 2.41.2 *
Dysfunction facial nerve 2.31.4 *
Hemorrhage 2.31.3 *
Paresthesia 2.31.3 *
Anesthesia 2.31.2 *
Petechiae 2.11.1 *
Discomfort 2.11.1 *
Ecchymosis 2.11.0 *
Depression 2.01.2 *
Anxiety Aravena PC et al. Int J Oral Maxillofac Surg. 2014. Aug;43(8):1008-14.
1.81.0 * 36
ANLISIS FACTORIAL Reduccin de tems

CONSISTENCIA INTERNA Alfa de Cronbach

Total Variance Explained

Initial Eigenvalues Rotation Sums of Squared Loadings


Component Total % of Variance Cumulative % Total % of Variance Cumulative %
1 3,016 30,161 30,161 2,778 27,777 27,777
2 2,286 22,864 53,024 2,021 20,213 47,990
3 1,228 12,279 65,304 1,731 17,314 65,304
4 ,817 8,169 73,473
5 ,664 6,645 80,118
6 ,583 5,832 85,950
7 ,478 4,780 90,730
8 ,364 3,636 94,366
9 ,319 3,190 97,557
10 ,244 2,443 100,000
Extraction Method: Principal Component Analysis.

Aravena PC et al. Int J Oral Maxillofac Surg. 2014. Aug;43(8):1008-14.


Escala preliminar

Aravena PC et al. Int J Oral Maxillofac Surg. 2014. Aug;43(8):1008-14.


3ra etapa: validez y confiabilidad de escala

3. ESTUDIO PILOTO Aplicacin instrumento 25 pacientes


Revisin CMF expertos (n=5)

Unir alveolitis y osteitis


supuracin y purulencia
dar ms ponderacion Alveolitis

Nuevo clculo AF y Consistencia Interna

4. ESTUDIO VALIDEZ Y Aplicacin instrumento > 100 pacientes.


CONFIABILIDAD Dos observadores aplican misma escala

Aravena PC et al. Int J Oral Maxillofac Surg. 2014. Aug;43(8):1008-14.


Agrupacin de items, cargas factoriales, consistencia interna y
confiabilidad interobservador de escala fiinal

Internal Interobserver Factor


Components Item
consistency1 reliability2 loading3
Inflammation .59
Component 1 .79 84.9% Edema .74
Pain .81
Abscess .78
Component 2 .71 87.9%
Alveolitis .78
1 Cronbach`s alpha >.70 is high internal consistency
2 Considering Intraclass correlation coefficient (ICC) greater than or 80%

3 Factor loading >0.5 by item in each component as ideal value.

Aravena PC et al. Int J Oral Maxillofac Surg. 2014. Aug;43(8):1008-14.


Surgical Complications Assessment Scale in
Third Molar Surgery (SCATM)
Component Item Description Score
None 1
Mild (intraoral and surgical area) 3
Inflammation
Moderate (intraoral and extraoral) 5
Severe (intraoral, extraoral and other regions of the 10
Secondary head)
complication None 1
Edema Intraoral 3
Intraoral and extraoral 5
Pain VAS scale: How much pain does the patient feel? 0 to 10
Absent 1
Abscess
Present 5
Infection
Absent 1
Alveolitis
Present 10
Total 4 to 40
WITHOUT COMPLICATION OR MILD < 13
MODERATE COMPLICATION 13 to 18
SEVERE COMPLICATION > 18
Aravena PC et al. Int J Oral Maxillofac Surg. 2014. Aug;43(8):1008-14.
Ej 2: Pregunta de Investigacin

DISEO DE UNA ESCALA PARA MEDIR MANEJO Y


ACTITUD DE LOS ODONTLOGOS CHILENOS
FRENTE A UN TRAUMATISMO DENTOALVEOLAR

Joselyn Candia
Marcela Paz Leal

Tesina de titulacin, UACh 2013.


Tesina de titulacin, UACh 2013.
Tesina de titulacin, UACh 2013.
Pregunta

Cmo consider la metodologa de pregunta-respuesta?

a. Excelente

b. Buena

c. Me es indiferente

d. Prefiero prueba escrita


Conclusin:
- El uso de instrumentos psicomtricos requieren de validez y
confiabilidad.
- Una simple traduccin y revisin de pares NO ES VALIDEZ.
- Se requiere valores estadsticos explcitos y en poblacin
blanco a usar.

Dr. Pedro Aravena Torres


CIRUGIA BUCAL 2011