Está en la página 1de 11

Machine Translated by Google

Papel original

Caries Nada 2015;49:99–108 Recibido: 7 de mayo de 2013


Aceptado después de la revisión: 17 de septiembre de 2014
DOI: 10.1159/000368562
Publicado en línea: 8 de enero de 2015

Influencia de los Puntos de Contacto en el Desempeño de


Métodos de detección de caries en superficies proximales
de molares primarios: un estudio in vivo

Apoena A. Ribeiro un, b Flávia Purger y Jonas A. Rodrigues


h Patrícia
Oliveira a Adrian Lussi HaimonRADL
y Antonio Henrique Monteiro D
Alves f Joaquim T. Assis g Adalberto B. Vasconcellos a ÿ

a Facultad de Odontología y b LabPECMA (Laboratorio de Investigaciones Clínicas, Microbiológicas y Químicas), Fluminense c Facultad de Odontología y d
Universidad Federal, Nueva Friburgo, Facultad de Ingeniería, Universidad Federal Fluminense y
Niteroi , Facultad de Odontología, Universidad Federal de Rio Grande do Sul, Porto Alegre, F laboratorio de instrumentación nuclear,
Programa de Ingeniería Nuclear – COPPE, Universidad Federal de Rio de Janeiro, e Instituto Politécnico de Rio de
h
Janeiro, Universidad Estatal de Río de Janeiro, Río de Janeiro , Brasil; Escuela de Medicina Dental, Universidad de Berna,
Berna, Suiza

Palabras clave EX1 (1,00)/LF3 (0,68), respectivamente. En D2, la mayor


Detección de caries · Fluorescencia láser · Lesiones no cavitadas sensibilidad/especificidad se observó para LF3 (0,69)/BW (1,00),
respectivamente. En D3, la mayor sensibilidad/especificidad se
observó para LF3 (0,78)/EX1, EX2 y BW (1,00). EX1 mostró
Resumen valores de precisión más altos que LF1 y EX2 mostró valores
Este estudio in vivo tuvo como objetivo evaluar la influencia de los puntos de contacto en la detección de caries
similares a LF2. Concluimos que el examen visotáctil mostró
proximales en los molares primarios, comparando el rendimiento del lápiz DIAGNOdent y el examen visual-táctil después mejores resultados en la detección de superficies sanas y lesiones
de la separación del diente con la radiografía de mordida (BW). Se examinaron un total de 112 niños y se seleccionaron cariosas proximales sin separación dentaria. Sin embargo, la
33 niños. En tres períodos (a, b y c), se examinaron 209 superficies proximales: (a) el examinador 1 realizó un examen efectividad de la detección de lesión de caries proximal de ambos
visual-táctil utilizando los criterios de Nyvad (EX1); el examinador 2 usó el bolígrafo DIAGNOdent (LF1) y tomó BW; (b) métodos aumentó por la ausencia de puntos de contacto. Por lo
1 semana más tarde, después de la separación del diente, el examinador 1 realizó el segundo examen visual-táctil (EX2) tanto, independientemente del método de detección, los elásticos
y el examinador 2 usó DIAGNOdent nuevamente (LF2); (c) después de la exfoliación dental, las superficies se de separación de ortodoncia deben usarse como una herramienta
examinaron directamente con DIAGNOdent (LF3). Los dientes se examinaron mediante microtomografía computarizada complementaria para el diagnóstico de lesiones proximales no
como estándar de referencia. Los análisis se basaron en umbrales de diagnóstico: D1: D = enfermedad; D2: D 0 cavitadas en molares primarios. © 2015 S. Karger AG, Basilea

La presencia de contacto proximal dificulta la detección


de lesiones iniciales en las superficies proximales [Ekstrand,
2000]. Así, para un diagnóstico más eficaz, tradicionalmente
= salud, D 4 –D 1 0 , 1D
= se ha utilizado un examen visual asociado a exámenes
salud 4 –D 2 = enfermedad; D3: D2 –D 0 = salud, D D = enfermedad. 3 , 4 radiográficos (de aleta de mordida) [Wenzel, 2000; Sanden
En D1, se observó la mayor sensibilidad/especificidad para et al., 2003; Lussi et al., 2006]. La radiografía, sin embargo, pre-

© 2015 S. Karger AG, Basilea Apoena de Aguiar Ribeiro Rua


0008–6568/15/0492–0099$39.50/0 Doutor Sylvio Henrique Braune 22 Centro Nova
Friburgo, RJ 28625-650 (Brasil)
Correo electrónico karger@karger.com

www.karger.com/cre
Correo electrónico apoenaribeiro @ vm.uff.br
Machine Translated by Google

envía baja sensibilidad y alta variabilidad entre examinadores [Hintze examen de mosaico después de la separación del diente a la
and Wenzel, 1994; Ricketts et al., 1997; Wenzel, 2004; Hala et al., radiografía de aleta de mordida (BW), en la detección de lesiones
2006]. incipientes de caries proximales en molares primarios in vivo,
Para encontrar métodos más sensibles y específicos, se utilizando la microtomografía computarizada (ÿCT) como estándar de referencia.
desarrolló un dispositivo de fluorescencia láser, denominado
DIAGNOdent, para la detección de lesiones cariosas. Este dispositivo
mide la gravedad de las lesiones cariosas proporcionando valores
Sujetos y métodos
numéricos que, según el fabricante, establecen una relación directa
con la profundidad de la lesión. Sin embargo, en el examen de las
Diseño del Estudio y Selección de la
superficies proximales, el dispositivo presentaba un valor limitado, Muestra El protocolo experimental utilizado en el presente estudio
ya que sus puntas eran incapaces de penetrar el espacio interproximal clínico fue aprobado por el Comité de Ética en Investigación de la
[Lussi et al., 2006]. Facultad de Medicina de la Universidad Federal Fluminense (Niterói,
Otro dispositivo, denominado DIAGNOdent 2190 o DIAGNOdent RJ, Brasil; documento CEP CMM/HUAP nº 310/09). Todos los niños
examinados fueron voluntarios y se obtuvo el permiso de sus tutores
pen, se lanzó al mercado en 2005, pero hasta la redacción de este
para participar en la investigación, mediante la firma de un Término de
artículo se han realizado pocos estudios con el fin de evaluar su Consentimiento Libre e Informado. Para el uso de molares primarios
precisión in vitro [Lussi et al., 2006; Lussi y Hellwig, 2006; Aljehani exfoliados, también se firmó un Término de Donación por parte de los
et al., 2007; Kühnisch et al., 2007a, b; Rodrigues et al., 2008], siendo tutores de los niños.
todos realizados estrictamente en dientes permanentes. Los estudios El estudio fue diseñado como un ensayo pragmático. Se examinó
un total de 112 niños. La elección de los escolares participantes fue
in vivo realizados en las superficies proximales de los dientes
aleatoria, de ambos sexos y en el rango de edad de 8 a 12 años. La
primarios utilizaron el examen clínico visual como método estándar muestra final consistió en 209 superficies proximales de 137 molares
[Novaes et al., 2009, 2010, 2012]. La validación histológica se realizó primarios maxilares y mandibulares, seleccionados de 33 niños de dos
únicamente en el estudio in vitro de Braga et al. [2009]. escuelas públicas del Municipio de Nova Friburgo, RJ, Brasil. Los
niños seleccionados presentaban al menos un diente en estado
avanzado de exfoliación (más de dos tercios de la raíz reabsorbida,
verificada por BW), sin movilidad superior al puntaje 1 de la clasificación
En cuanto al examen de las superficies proximales de los dientes de Miller (primer signo distinguible de movimiento mayor a lo normal). ).
primarios, la mayor área de contacto proximal dificulta la realización Todas las superficies incluidas estaban en contacto con el diente
de un diagnóstico efectivo. Ante este problema, muchas lesiones adyacente. Se excluyeron de la selección las superficies que
pasan desapercibidas y su progresión a estadios avanzados de la presentaban restauraciones proximales, lesiones cavitadas con
ausencia de cresta marginal, hipoplasia u opacidad demarcada,
enfermedad es más rápida en comparación con los dientes
ausencia del diente adyacente o puntajes 2 o 3 de la clasificación de
permanentes. Miller [1938].
Esto podría explicarse por algunas de las características de los
dientes primarios, como las capas de esmalte y dentina más Exámenes

delgadas [Mortimer, 1970], menor grado de mineralización [Wilson y clínicos Este estudio se dividió en tres períodos (fig. 1). La primera
cita consistió en exámenes visual-táctil (EX1), BW y DIAGNO dent
Beynon, 1989], túbulos dentinarios más anchos en comparación con
pen (LF1), todos realizados por examinadores independientes de la
los dientes permanentes [Murray y Majid, 1978], y una amplia área Facultad de Odontología de Nova Friburgo, Universidad Federal
de contacto que permite una mayor acumulación de biopelículas Fluminense, para evitar posibles interferencias en el diagnóstico. .
[Pitts y Rimmer, 1992]. Por lo tanto, en la actualidad, se están En la primera cita, después de la limpieza con hilo dental, se
realizando esfuerzos cada vez mayores para detectar lesiones examinaron las superficies con espejo y sonda exploradora, bajo
iluminación adecuada, secado con aire comprimido y relativo
mientras aún se encuentran en su etapa inicial de mancha blanca,
aislamiento con rollos de algodón, para realizar el examen visotáctil
cuando la pérdida de minerales aún no ha causado discontinuidad (EX1). Este examen fue realizado por un examinador previamente
superficial y pérdida de sustancia en la superficie en cuestión. La calibrado (AAR, examinador 1), de acuerdo con los criterios de Nyvad
importancia de la detección temprana de lesiones se justifica por la et al. [1999, 2009] (tabla 1); El valor de ÿ para los criterios de Nyvad fue de 0,90.
posibilidad de tratar estas lesiones por métodos no invasivos, Luego, en la misma cita, el examen DIAGNOdent pen (KaVo, Bibe
rach, Alemania) (LF1) fue realizado por un examinador 2 (FP)
evitando al niño la experiencia dolorosa y la tensión emocional,
previamente calibrado, ciego con respecto al examen visual-táctil. Las
además de aumentar las posibilidades de permanencia de los sesiones de formación previas para realizar este examen tuvieron
dientes primarios hasta el momento de su aparición. exfoliación lugar en el Laboratorio de Cariología, Departamento de Odontología
normal. En base a lo anterior, el objetivo del presente estudio fue Preventiva, Restauradora y Pediátrica, Universidad de Berna, durante
evaluar la influencia de los puntos de contacto proximales 10 días. El ÿ calculado obtenido después del entrenamiento fue de
0,94. Para realizar las mediciones se utilizó la punta tipo 1 (indicada
comparando, por primera vez en la literatura, el desempeño de
para superficies proximales). Antes y durante los exámenes, el
DIAGNOdent pen y visual-tac. dispositivo fue calibrado y utilizado de acuerdo con las instrucciones del fabricante,

100 Caries Nada 2015;49:99– Ribeiro et al.


108 DOI: 10.1159/000368562
Machine Translated by Google

112 niños
examinado

Muestra definitiva:
Selección
muestras
de 33 niños

137 molares primarios


209 superficies aproximadas

Visual-táctil pluma DIAGNOdent mordida Lugar de


Periodo
1
examen examen radiografía ortodoncia
(EX1) (LF1) (BN) elásticos de separación

7 días

Visual-táctil pluma DIAGNOdent


examen despues examen despues
Período
2

separación de dientes separación de dientes


(EX2) (LF2)

hasta 2 meses

Examen con lápiz DIAGNOdent


(LF3)
43 molares primarios exfoliados
Período
3

63 superficies aproximadas

calculado
microtomografía
analiza
Fig. 1. Diagrama de flujo del estudio que describe
la secuencia de exámenes realizados en el estudio.

previo aislamiento con rollos de algodón y secado de los dientes durante 5 s Después de este examen, se colocaron elásticos de separación de
con aire comprimido. La punta se introdujo por debajo del área de contacto ortodoncia entre las superficies seleccionadas, que permanecieron en su lugar
proximal, tanto por el lado bucal como por el lingual, para realizar los exámenes. durante 7 días. En la segunda cita, después de 7 días de la colocación de los
Por lo tanto, para cada superficie se obtuvieron dos valores y se registró el elásticos, se retiraron, se limpiaron las superficies con hilo dental, luego se
más alto (LF1). Después de las mediciones, las lesiones se clasificaron según realizaron exámenes clínicos (EX2) y mediciones con DIAGNOdent pen (LF2)
los puntos de corte sugeridos por Lussi et al. [2006], según tabla 2 . inmediatamente después de la separación del diente como se describe
anteriormente.
Luego, en la misma cita, se obtuvieron BW, utilizando un posicionador En la tercera cita se realizaron exámenes en 43 dientes exfoliados (63 de
radiográfico interproximal (CONE, Maquira, Maringá, Brasil), con un tiempo de las 209 superficies), ya que muchos dientes no exfoliados en el tiempo
exposición de 0,3 s, utilizando un aparato de rayos X (Heliodent 70, modelo establecido en el cronograma del estudio, mientras que otros dientes
0876805 D100B, Siemens , Río de Janeiro, Brasil) ajustado a 70 kV y 8 mA. exfoliados fueron perdidos por los niños participantes. El tiempo máximo
Se tomaron hasta 2 PC de cada niño, derecha y/o izquierda, para incluir todas transcurrido entre el último examen y la exfoliación fue
las superficies proximales seleccionadas en el estudio. Las radiografías se 2 meses. Los dientes exfoliados se lavaron en agua destilada y luego se
procesaron de acuerdo con las instrucciones del fabricante (Kodak E-speed, congelaron en frascos con tapa, que contenían un pequeño trozo de esponja
Kodak, EE. UU.). Las radiografías fueron numeradas y montadas sobre una humedecida con unas gotas de agua destilada para que no se modificara la
máscara para su análisis. Tras observar las radiografías a contraluz, se fluorescencia [Francescut et al., 2006; Lussi et al., 2006]. Antes de tomar las
clasificaron las superficies (PRAO, examinador 3) según los criterios de Kidd medidas con el dispositivo, las muestras se descongelaron durante 3 horas y
et al. [2005] y Mejàre et al. [1999] (tabla 3). aún se mantuvieron en un ambiente húmedo y sellado. El examen con lápiz
DIAGNOdent (LF3) fue

Puntos de contacto Influencia Aproximado Caries Nada 2015;49:99– 101


Detección de Caries 108 DOI: 10.1159/000368562
Machine Translated by Google

Tabla 1. Índice propuesto por Nyvad et al. [1999] para el diagnóstico de caries, complementado por Nyvad et al. [2009]

Puntaje Categoría Criterio

0 Saludable Translucidez y textura normal del esmalte.

1 Caries activa, intacta Superficie del esmalte blanqueada/amarillenta, opaca con pérdida de brillo; áspero cuando la sonda se pasa suavemente
superficie sobre la superficie; generalmente cubierto con biopelícula. Sin pérdida clínicamente detectable de sustancia.
Superficie lisa: lesión de caries típicamente localizada cerca del margen gingival, forma arqueada (como un plátano) o
borde (superficies proximales).

2 Caries activa, superficie Mismo criterio que la puntuación 1, con defecto superficial (microcavidad) localizado únicamente en esmalte. Sin esmalte
con discontinuidad sin soporte o piso reblandecido detectable con sonda.

3 Caries activa, cavidad Cavidad en esmalte/dentina fácilmente visible a simple vista; la superficie de la cavidad parece ablandarse con un sondaje
suave. Puede haber o no afectación pulpar.

4 Caries inactiva, intacta La superficie del esmalte es blanqueada, marrón o negra. El esmalte puede ser brillante con una textura suave y
superficie endurecida cuando la sonda se pasa suavemente sobre la superficie. Sin pérdida de sustancia clínicamente detectable.
Superficie lisa: lesión de caries típicamente localizada a cierta distancia del margen gingival.

5 Caries inactiva, superficie Mismo criterio que la puntuación 4, con defecto superficial (microcavidad) localizado únicamente en esmalte. Sin esmalte
con discontinuidad sin soporte o piso reblandecido detectable con sonda.

6 Caries activa, cavidad Cavidad en esmalte/dentina fácilmente visible a simple vista; la superficie de la cavidad puede ser brillante y dura cuando
se prueba con una ligera presión. Sin afectación pulpar.

Tabla 2. Valores de los puntos de corte para la clasificación de las lesiones Tabla 3. Evaluación radiográfica y tomográfica, criterios propuestos por
de caries por DIAGNOdent pen, según valores sugeridos por Lussi et al. Kidd et al. [2005] y Mejàre et al. [1999]
[2006]
Criterio de puntuación
Oro Aspecto histológico DIAGNÓSTICO
estándar bolígrafo
0 Saludable

1 Desmineralización confinada a la mitad externa del esmalte.


D0 no caries 0–6
D1 caries que se extiende hasta la mitad 6.1–9 2 Desmineralización que invade la mitad externa del esmalte
a través del esmalte
caries en la mitad interna del esmalte 9.1–15 3 Lesión de caries en dentina; penetrado en la unión amelodentinaria, sin
D2
D3, D4 caries que se extienden hacia la dentina >15 propagación evidente en la dentina

4 Lesión de caries en dentina; propagación evidente en la dirección de la


mitad externa de la dentina (menos de la mitad de la dirección de la
pulpa)
luego se realiza directamente en la superficie proximal, precedido por los pasos de 5 Lesión de caries en dentina; propagación evidente en la dirección de la
calibración descritos anteriormente. Todos los exámenes fueron exámenes doble
mitad interna de la dentina (más de la mitad de la dirección de la pulpa)
ciego.

Validación con ÿCT Una


vez realizados todos los exámenes, se utilizaron 63 superficies de la muestra
total para la validación del estudio mediante ÿCT, utilizando el dispositivo SkyScan
(SkyScan 1174, Kontich, Bélgica). Los especímenes se rotaron 360°, a una guardado en formato BMP con una resolución de 1.024 × 1.024 píxeles. Las
velocidad de rotación de 1,0, con un marco promedio de 2 y movimientos aleatorios. imágenes reconstruidas fueron evaluadas y clasificadas en cuanto a la profundidad
Se utilizó un filtro de aluminio de 0,25 mm. Los dientes fueron escaneados a una de la lesión mediante la visualización del corte sagital, siguiendo los mismos
potencia de 50 kV y 800 ÿA. Cada examen tuvo una duración promedio de 35 min. puntajes de evaluación clínica y radiográfica que se especifican en las tablas 1 y
Se utilizaron los recursos de corrección geométrica del campo de adquisición 2. En la clasificación de las imágenes
la visualización sereconstrucciones
de las utilizó el programa
enData Viewer
blanco mediante
y negro y en
(campo plano). Los dientes fueron reconstruidos tridimensionalmente utilizando el color. En la tabla 4 se muestran algunos de los cortes obtenidos de las muestras
programa NRecon, versión 1.6.0.3, aplicando máxima reducción de artefactos del presente estudio, ejemplificando cada una de las puntuaciones descritas
anulares y máxima corrección de endurecimiento del haz (100%). anteriormente y la correlación con las puntuaciones clínicas obtenidas mediante el
índice de Nyvad, BW y DIAGNOdent
Las imágenes, almacenadas en archivos TIFF de 16 bits, fueron reconstruidas y

102 Caries Nada 2015;49:99– Ribeiro et al.


108 DOI: 10.1159/000368562
Machine Translated by Google

Tabla 4. Cortes obtenidos por ÿCT que representan cada uno de los puntajes descritos en las tablas 1–3

Imagen Puntaje Categoría de puntuación clínica DIAGNÓSTICO B/N

bolígrafo

Puntuación 0, sin radiotransparencia 0 D0 0

Puntuación 1, radiotransparencia confinada a la mitad


externa del esmalte

1o4 D1 1
caries con superficie intacta
Puntuación 2, radiotransparencia en la mitad interna
del esmalte

Puntuación 3, radiolucencia en dentina; penetrado en la 2o5 D2 2

unión amelodentinaria (sin propagación evidente en la caries con superficie con

dentina) discontinuidad

Puntuación 4, radiotransparencia en la mitad externa de la


dentina (menos de la mitad en la dirección de la pulpa)

3o6 D3, D4 3, 4 o 6
caries con cavidad
Puntuación 5, radiotransparencia en la mitad interna de la
dentina (más de la mitad en la dirección de la pulpa)

lecturas de pluma. Para cada muestra y entre los cortes obtenidos de cada superficie, se Resultados
consideró para la determinación del puntaje la imagen con la lesión más profunda.

La composición de la muestra consistió en 74 primeros molares


El grado de corrección entre los resultados obtenidos se evaluó de acuerdo
temporales y 63 segundos molares temporales. La Tabla 5
con herramientas estadísticas no paramétricas mediante las pruebas de Spearman
(Spearman Rank-Order). Se utilizaron análisis de componentes principales (ACP) y
presenta la distribución de los niveles de puntuación de EX1, EX2,
análisis de conglomerados para agrupar elementos de la muestra y situar las LF1, LF2, BW y ÿCT.
observaciones en grupos homogéneos, siendo estos grupos heterogéneos entre sí. La Figura 2 muestra el PCA y el análisis de conglomerados de
Para el análisis estadístico se utilizó el programa Statistics 8.0 del StatSoft. Todos
los datos obtenidos. Se puede observar, según PCA ( fig. 2 a),
los análisis se realizaron adoptando un nivel de significación de
basado en una matriz de correlación (alrededor del 70% de la
ÿ = 0,05. variabilidad explicada por dos factores principales, 1 y 2,
Además, se calcularon los intervalos de confianza del 95% de sensibilidad, presentados en el eje de la figura siguiente), que existe una
especificidad y precisión utilizando un enfoque apropiado para muestras agrupadas (http:// correlación más fuerte entre EX2, LF3, ÿCT, BW y LF2. Las
vassarstats.net) comparando los resultados obtenidos por los exámenes con los resultados
variables se evaluaron adoptando a los pacientes como variable
de ÿCT. Los cálculos se realizaron en tres umbrales (D1, D2 y D3). D1: D-D 4
de agrupación. Todas las variables están cerca del círculo unitario,
0 = salud, D 1–D 4
= enfermedad; D2: D 0, D 1 = salud, D 2 = enfermedad; D3: D 0 –D 2
= mostrando una buena adecuación del modelo. También se realizó
3 , 4D y = enfermedad. La precisión se calculó mediante sen
salud, D sitividad un análisis de conglomerados basado en el método de agrupación
especificidad en todos los umbrales (MedCalc para Windows, versión 9.3.0.0, Mariakerke, de enlace único y distancias euclidianas. Nuevamente se observa
Bélgica). En la tabla 4 se muestran las categorizaciones establecidas para cada prueba
similitud entre ÿCT, BW, EX1 y EX2 (fig. 2b).
con el fin de realizar análisis de sensibilidad y especificidad.
En la tabla 6, se puede observar que ha aumentado la capacidad

de detección correcta de lesiones de caries (sensibilidad)

Puntos de contacto Influencia Aproximado Caries Nada 2015;49:99– 103


Detección de Caries 108 DOI: 10.1159/000368562
Machine Translated by Google

Proyección de las variables en el plano factorial (1 × 2) Diagrama de árbol para 7 variables


Enlace único
1.0 distancias euclidianas
EX1 120 disponible
Versión
línea
color
en
en

0.5 100

EX2
LF3 80
13,03%
Factor
2:

0 ÿCT
B/N
LF2
Distancia
enlace
de

60

LF1
–0.5
40

Activo 20
–1.0

–1.0 –0.5 0 0.5 1.0


0
a Factor 1: 58,44% B LF3 µCT BW EX2 EX1 LF2 LF1

Figura 2. Gráficos de análisis estadístico multivariante. un PCA para convertir un Clasificar objetos en grupos relativamente homogéneos en función del conjunto de
conjunto de observaciones de variables posiblemente correlacionadas en un conjunto variables analizadas.
de valores de variables linealmente no correlacionadas. b Análisis de conglomerados a clas

Tabla 5. Distribución de frecuencias de la muestra, dividida en puntuaciones utilizadas en DIAGNOdent pen (LF1, LF2), examen visual-táctil
(EX1, EX2), BW y ÿCT

Puntuaciones LF1 LF2 EX1 EX2 B/N ÿCT


frecuencia porcentaje
frecuencia fr porcentaje frecuencia porcentaje frecuencia porcentaje frecuencia porcentaje
(Ser) (FR%) (Ser) (FR%) (Ser) (FR%) (Ser) (FR%) (Ser) (FR%)

D0 107 51.2
D1 28 13.4
D2 22 10.5
D3 52 24,9
0 166 79,4 131 62.7 182 86,9 25 39.7
1 29 13,9 50 23,9 3 1,4 9 14.3
2 1.4 11 5.3 3 1.4 11 17.5
3 34 1.9 8 3.8 5 2.4 4 6.3
4 5 2.4 7 3.3 7 3.3 9 14.3
5 2 1.0 2 1.0 9 4.6 5 7.9

Total 209 100 209 100 209 100 209 100 63 100

tanto en exámenes visotáctiles como con lápiz DIAGNOdent Los resultados de precisión también se muestran, cual
después de la separación de los contactos interproximales (EX2 en la tabla 6, que muestra que los exámenes visual-táctil
y LF2, respectivamente), en todos los umbrales. Al evaluar la y con lápiz DIAGNOdent mejoraron después del uso de
capacidad de detectar correctamente superficies sonoras elásticos de separación de ortodoncia. La mayor diferencia
(especificidad), el contacto interproximal influyó en los resultados de puntajes para ambos exámenes se observó en el umbral
del examen con lápiz DIAGNOdent; se incrementó la D1 (para EX1 y EX2, y para LF1 y LF2).
especificidad, principalmente en el umbral D1 (LF1 y LF2).

104 Caries Nada 2015;49:99–108 Ribeiro et al.


DOI: 10.1159/000368562
Machine Translated by Google

Tabla 6. Valores de sensibilidad, especificidad y precisión de los métodos de examen utilizados, en comparación con los resultados de ÿCT

EX1 EX2 B/N LF1 LF2 LF3

Sensibilidad
D1 0,37 (0,22–0,54) 0,60 (0,43–0,75) 0,27 (0,14–0,46) 0,47 (0,30–0,64) 0,63 (0,44–0,78) 0,68 (0,57–0,86)
D2 – –
0,23 (0,11–0,35) 0,38 (0,20–0,53) 0,63 (0,46–0,70) 0,69 (0,41–0,73)
D3 0,05 (0,43–0,75) 0,11 (0,05–0,43) 0,37 (0,17–0,67) 0,31 (0,13–0,43) 0,53 (0,25–0,69) 0,78 (0,27–0,59)
especificidad
D1 1,00 (0,83–1,00) 0,92 (0,72–0,98) 1,00 (0,82–1,00) 0,68 (0,46–0,84) 0,92 (0,72–0,98) 0,76 (0,70–0,86) 1,00 (0,87–1,00) 0,85 (0,58–0,82)
D2 – –
0,71–0,98) 0,85 (0,67–0,97)
D3 1,00 (0,91–1,00) 1,00 (0,91–1,00) 1,00 (0,89–1,00) 0,84 (0,66–0,96) 0,91 (0,76–0,99) 0,91 (0,72–0,96)
Exactitud
D1 0,62 (0,50–0,74) 0,73 (0,62–0,84) 0,57 (0,44–0,70) 0,56 (0,43–0,69) 0,75 (0,64–0,86) 0,71 (0,60–0,82)
D2 – –
0,64 (0,53–0,75) 0,54 (0,42–0,67) 0,77 (0,68–0,81) 0,78 (0,68–0,88)
D3 0,71 (0,68–0,88) 0,75 (0,66–0,85) 0,82 (0,74–0,94) 0,69 (0,58–0,64) 0,80 (0,68–0,92) 0,87 (0,76–0,98)

D1: D0 = salud; D1–D3 = enfermedad. D2: D0, D1 = salud; D2, D3 = enfermedad. D3: D0–D2 = salud; D3 = enfermedad.
Los valores entre paréntesis son intervalos de confianza del 95%.

Tabla 7. Correlación estadística de los datos por el método no paramétrico Discusión


de Spearman para ÿ = 0.05

La naturaleza dinámica del proceso de caries y el cambio


Variables LF1 LF2 LF3 EX1 EX2 BW ÿCT contemporáneo en el patrón de progresión de la caries han
LF1 – 0,33 ns 0,39 0,14 0,24 0,18 0,35 0,41 ns estimulado la búsqueda de conocimientos sobre la caries y el
LF2 0.33 – 0,39 0,33 0.35 desarrollo de tecnología, con el objetivo de reconocer las lesiones
LF3 ns – ns 0,39 0,30 ns cariosas en las superficies dentales en etapas mucho más
EX1 0,14 0,35 ns 0,41 – 0,57 0,34 0,33
tempranas, antes de que alcancen el etapa de cavitación. Se
EX2 0,24 0,39 0,57 0,33
– 0,30 0,34 0,43 0,43 0,35
– agradecería desarrollar la capacidad de diferenciar clínicamente
B/N 0,18 ns
ns 0,35 ns 0.33 0,35 ns – las lesiones detectadas según su etapa de progresión, ya que
ÿCT
permitiría a los profesionales de la odontología interferir en la
ns = No significativo. progresión y controlarla, particularmente en lesiones de caries
no cavitadas. Esto se justifica porque estas lesiones tempranas
requieren tratamiento no quirúrgico, las lesiones progresivas
activas podrían convertirse en lesiones inactivas detenidas,
El método BW mostró los valores más bajos de sensibilidad antes de que alcancen la etapa de cavitación [Nyvad et al.,
y los valores más altos de especificidad en todos los umbrales. 2003]. En niños, algunos aspectos también apoyan la relevancia
La precisión fue mayor en el nivel D3 que con los otros métodos de diagnosticar estadios tempranos de lesiones de caries, como
probados. la incomodidad de algunos procedimientos quirúrgicos,
El análisis de la correlación entre los métodos (tabla 7), particularmente en niños pequeños, la rápida progresión a
entre los considerados significativos al nivel ÿ = 0,05 mediante estadios avanzados de la enfermedad en dientes primarios y el mayor costo
la prueba no paramétrica de Spearman, reveló que la mayor tratamiento.
puntuación de correlación se encontró entre las puntuaciones La sensibilidad y la precisión mejoraron en todos los
EX1 y EX2. Al comparar LF1 y LF2, esta correlación ha mejorado exámenes después de la separación aproximada del contacto,
cuando no había contacto interproximal (LF2). Además, el uso en los tres umbrales. Es particularmente importante en el umbral
de elásticos de separación de ortodoncia mejoró la correlación D1, que diferencia las lesiones de caries incipientes de las
entre los resultados de DIAG NOdent pen y ÿCT, una vez que superficies sanas. El uso de elásticos ortodóncicos de separación
LF1 no fue estadísticamente significativo y LF2 fue de 0,35. Con colocados entre superficies seleccionadas sospechosas podría
relación al BW, se observó que la mayor puntuación se encontró representar una herramienta útil para el diagnóstico de caries en
entre las correlaciones con EX2. presencia de signos clínicos, es decir, sombra u opacidad en el
reborde marginal o una lesión en forma de riñón cerca del margen gingival e

Puntos de contacto Influencia Aproximado Caries Nada 2015;49:99– 105


Detección de Caries 108 DOI: 10.1159/000368562
Machine Translated by Google

la superficie lisa. En estos casos, la separación de los dientes El término para el diagnóstico de caries define la actividad para
podría permitir la detección de la cavitación, que es difícil de lesiones cavitadas y no cavitadas. Estos resultados podrían
manejar, ya que las lesiones iniciales pueden ser reversibles por sí explicarse por el hecho de que este examen fue realizado por un
mismas después de la desorganización adecuada del biofilm o la examinador experimentado. Esta evidencia fue enfatizada por un
aplicación de flúor. De esta manera, la separación temporal de estudio anterior, que mostró que la capacitación puede ser una
dientes puede ofrecer al clínico la posibilidad de determinar si la herramienta importante para mejorar el desempeño de los
lesión está cavitada o no cavitada con cierto grado de precisión profesionales [Séllos y Soviero, 2011]. Por otro lado, al comparar
[Hintze et al., 1999] y esta técnica puede ser adecuada en individuos LF1 y LF2, esta correlación mejoró cuando no hubo contacto
con poca caries y altamente motivados. interproximal (LF2). Además, el examen directo después de usar
En relación con la especificidad, la separación por contacto elásticos de separación de ortodoncia mejoró la correlación entre
no mejoró la capacidad de detectar superficies proximales los resultados de DIAGNOdent pen y ÿCT, una vez que LF1 no fue
sonoras mediante un examen visual-táctil. Por otro lado, la estadísticamente significativo y LF2 fue de 0,35. No obstante, cabe
separación del contacto approximal mejoró las puntuaciones mencionar que la tabla de puntos de corte utilizada en este estudio
de especificidad del examen con lápiz DIAGNOdent, lo que fue tomada de un estudio in vitro con dientes permanentes [Lussi
indica que el acceso de la luz láser a las lesiones de caries et al., 2006]. Teniendo en cuenta que la tabla de puntos de corte
en esta región aún debe mejorarse para minimizar los contribuye directamente a los resultados, que las tablas obtenidas
diagnósticos falsos positivos. El único estudio in vivo realizado de DIAGNOdent no pueden inferirse para el bolígrafo DIAGNOdent
hasta la redacción de este artículo [Novaes et al., 2009] no [Kühnisch et al., 2007b] y en vista de la correlación positiva obtenida
evaluó la influencia del contacto en los resultados del para el bolígrafo DIAGNOdent - categorizado valores se recomienda
dispositivo. A partir de los resultados del presente estudio, que para la determinación de nuevos puntos de corte se realice
combinados con las observaciones clínicas obtenidas a lo una investigación in vivo con validación histológica utilizando el
largo de los exámenes, el difícil acceso de la luz láser a las DIAGNOdent pen en dientes temporales.
lesiones puede explicarse por los contactos proximales
estrechos y extensos, una característica previamente
reportada para los dientes primarios [Pitts y Rimmer, 1992], y Con relación a BW, se observó que la mayor correlación se
por la presencia de la papila gingival. Lusi et al. [2006] también encontró con EX2 (r = 0,43). La correlación
consideró la característica de interferencia de los contactos in de BW y ÿCT no fue estadísticamente significativo. En otras
vivo en los resultados obtenidos con el dispositivo, sugiriendo más estudios
palabras, con respecto
DIAGNOdent pena yesta dificultad.
los criterios visotáctiles mejoraron
Según Aljehani et al. [2007], las posibles fuentes de error en sus puntajes de correlación cuando no había un punto de contacto
las lecturas de DIAGNOdent deben tenerse en cuenta en la aproximado.
clínica, ya que las variables no pueden controlarse de la Teniendo en cuenta el análisis estadístico multivariado, PCA y
misma forma que en los estudios in vitro. análisis de conglomerados fueron realizados para evaluar los datos
El examen BW, que también presentó alta especificidad, obtuvo con el objetivo de su reducción, eliminación de la superposición y
baja sensibilidad, especialmente en D1 y D2 (0,27 y 0,23), resultado una selección más representativa de datos de combinaciones
concordante con los hallazgos de Silva Neto et al. [2008]. En lineales de las variables originales. Se pudo observar que las
comparación con el examen visual-táctil, el examen radiográfico correlaciones estuvieron de acuerdo con la prueba de correlación
presentó mayor sensibilidad en D3, por lo tanto, mostró una mejor de Spearman.
capacidad para detectar lesiones en la dentina que el examen El uso de ÿCT como estándar de oro es una opción que se ha
visual. En base a esta característica, unida a la accesibilidad y investigado recientemente. Tradicionalmente, el estereomicroscopio
facilidad de la técnica, se ha utilizado la radiografía como método y el microscopio óptico han sido los análisis histológicos utilizados
complementario, mejorando la estimación de la profundidad de las como estándar de oro para la validación de los estudios de
lesiones cariosas. Sin embargo, cuando se comparó con los otros diagnóstico de caries; se basan en la inspección visual de los
exámenes evaluados, demostró una baja correlación con ÿCT, una cambios en la apariencia de los tejidos dentales.
indicación de su limitación. Sin embargo, ambos métodos causan la destrucción del diente y
pueden dificultar el examen de la extensión de la lesión de caries
En el presente estudio, las puntuaciones visotáctiles, antes y [Huysmans y Longbottom, 2004].
después de la separación del diente (EX1 y EX2, respectivamente), El análisis por ÿCT tiene la ventaja de ser un método no
alcanzaron valores de correlación más altos (aunque estos valores destructivo, que permite la visualización de estructuras dentales y
no fueron estadísticamente significativos), y las puntuaciones entre lesiones de caries en tres dimensiones [Swain y Xue, 2009].
EX1, EX2 y ÿCT fueron casi las mismas. mismo. El sistema Nyvad Soviero et al. [2012] evaluó la efectividad-

106 Caries Nada 2015;49:99– Ribeiro et al.


108 DOI: 10.1159/000368562
Machine Translated by Google

utilidad de ÿCT en la detección y evaluación de lesiones de compare diferentes herramientas de diagnóstico utilizando el ÿCT
caries en las superficies proximales de los dientes primarios y como estándar de oro. El único estudio in vivo en dientes
encontró que este método tiene alta sensibilidad en la detección primarios que comparó métodos de diagnóstico (examen visual,
de lesiones iniciales en esmalte y en la diferenciación de lesiones BW y DIAGNOdent pen) utilizó el examen dental como estándar
en esmalte y dentina, y por lo tanto podría ser utilizado como el de referencia [Novaes et al., 2012]. En otras palabras, este es el
estándar de oro en la detección de lesiones de caries en las primer estudio in vivo e in vitro que compara la influencia de la
superficies proximales de los molares primarios. separación temporal del diente en el examen visual, BW y
Las condiciones in vitro e in vivo se analizaron en este estudio DIAGNOdent pen, utilizando ÿCT como estándar de oro. Otro
sin la presencia del punto de contacto. Es decir, las lecturas se aporte importante de este estudio es en relación a la metodología
tomaron directamente sobre la superficie proximal, a diferencia utilizada, donde los ensayos clínicos en dientes primarios
de los otros estudios in vitro citados, que tenían por objeto simular posibilitaron el seguimiento hasta su exfoliación, permitiendo
la situación de contacto proximal. En este análisis, se compararon observar el mismo diente y compararlo por métodos estándar de
los resultados de LF2 (in vivo) y LF3 (in vitro). En la evaluación oro.
de las lesiones dentinarias, el examen LF3 obtuvo valores de En vista de lo anterior, las conclusiones del presente estudio
sensibilidad levemente superiores (0,78) a los demás exámenes. son: el examen visual-táctil, utilizando los criterios de Nyvad,
Una posible explicación podría ser el hecho de que las presentó mejores resultados que el DIAGNOdent pen y BW en el
evaluaciones extraorales se realizaron con mayor proximidad de diagnóstico de superficies sanas proximales y lesiones cariosas
la punta del dispositivo a la superficie examinada (acceso directo proximales sin separación dentaria en primaria. molares Sin
de luz láser), mientras que las evaluaciones intraorales se embargo, el punto de contacto proximal influyó mucho en el
realizaron a través del espacio interdental obtenido después de rendimiento del examen visual táctil y del lápiz DIAGNOdent,
la separación con elásticos de ortodoncia, que en algunos casos principalmente en la detección de lesiones de caries no cavitadas.
no permitían el contacto directo de la punta con la superficie del El uso de elásticos separadores de ortodoncia puede mejorar el
diente. Como no existen estudios similares para la evaluación de diagnóstico de lesiones no cavitadas y debe ser utilizado como
esta variable, sugerimos que se realicen más estudios con estas una herramienta complementaria por el clínico, especialmente
consideraciones en mente. cuando se sospechan lesiones iniciales de caries en las superficies
En un estudio longitudinal sobre estudiantes de odontología proximales de los molares primarios.
que utilizaron la separación temporal de los dientes,
aproximadamente el 20 % de las lesiones aproximadas con una
superficie intacta, que se encontraban en la dentina externa Expresiones de gratitud
radiográficamente, desarrollaron cavitación durante el primer
Los autores desean agradecer a FAPERJ (Fundação de Amparo à
período de 1,5 años, lo que indica que no todas las lesiones
Pesquisa do Rio de Janeiro, Proc. E.26/110.499/2010) y PROPPi/UFF (Pro-
dentinales. pueden ser arrestados, incluso entre individuos
Rectoría de Investigación, Posgrado e Innovación/Universidad Federal
motivados [Hintze et al., 1999]. La separación temporal de dientes Fluminense) por la apoyo financiero recibido. Los patrocinadores no tuvieron
no es una herramienta aplicable en todos los pacientes o ensayos ningún papel en el diseño del estudio, la recopilación y el análisis de datos, la
clínicos, y el seguimiento del comportamiento de la lesión aún decisión de publicar o la preparación del manuscrito.
puede depender de la radiografía, teniendo en cuenta sus
imprecisiones y variaciones del observador [Wenzel, 2004]. Cabe
Contribuciones de autor
señalar que creemos que la menor movilidad observada en la
primera cita no influyó en las puntuaciones obtenidas en los
Concibió y diseñó los experimentos: AAR, JAR, ABV Calibración de los
exámenes. En pocos casos, en la segunda cita, debido a la exámenes con lápiz DIAGNOdent: JAR, AL Realizó el examen visual-táctil:
separación elástica aplicada, se incrementó la movilidad, pero AAR Realizó el
aun así podría clasificarse como puntuación 1 de la clasificación Exámenes con lápiz DIAGNOdent: FP Realizó los exámenes de mordida:
de Miller. Estas observaciones deben tenerse en cuenta debido PRAO Realizó el análisis de microtomografía computarizada: JTA, HDLA
Analizó los datos: AHM Redactó el artículo: AAR, FP, JAR, AL, AHM, ABV
al diseño del presente estudio, en el que a los autores les gustaría
realizar un análisis in vitro de DIAG NOdent pen y ÿCT. Pero, en
la práctica clínica, el uso de la separación de contacto proximal
debe ser considerado como una herramienta importante,
Declaración de divulgación
principalmente para ser utilizada en sitios específicos donde el clínico sospecha la presencia de lesiones cariosas iniciales.
También se debe enfatizar que el diferencial en este estudio Los autores declaran que no existen posibles conflictos de
es que el uso de dientes exfoliados posibilitó interés

Puntos de contacto Influencia Aproximado Caries Nada 2015;49:99– 107


Detección de Caries 108 DOI: 10.1159/000368562
Machine Translated by Google

Referencias
Aljehani A, Yang L, Shi X: Cuantificación in vitro de caries de Kühnisch J, Bücher K, Hickel R: La reproducibilidad intra/entre Nyvad B, Machiulskiene V, Fejerskov O, Baelum V: Diagnóstico
superficie lisa con DIAGNOdent y el lápiz DIAGNOdent. examinadores del nuevo DIAG NOdent Pen en sitios de caries dental en poblaciones con diferentes niveles de
Acta Odontol Scand 2007;65:60–63. oclusales. J Dent 2007b; fluorosis dental. Eur J Oral Sci 2009;177:161–168.
35:509–512.

Braga MM, Morais CC, Nakama RC, Leamari VM, Siqueira WL, Lussi A, Hack A, Hug I, Heckenberger H, Megert B, Stich H: Pitts NB, Rimmer PA: una comparación in vivo del estado de
Mendes FM: Desempeño in vitro de métodos de detección Detección de caries proximal con un nuevo dispositivo de caries clínico radiográfico y evaluado directamente de las
de caries proximales en molares primarios. Cirugía Oral fluorescencia láser. Caries Res 2006;40:97–103. superficies proximales posteriores en dientes primarios y
Oral Med Oral Patol Oral Radiol Endod 2009; permanentes. Caries Res 1992;26:146–152.
Lussi A, Hellwig E: Rendimiento de un nuevo dispositivo de
108: e35–e41. fluorescencia láser para la detección de caries oclusal in Ricketts DN, Whaites EJ, Kidd EA, Brown JE, Wilson RF: Una
Ekstrand K: Diagnóstico de caries; en Buischi YP (ed): Promoción vitro. J Dent 2006;34:467–471. evaluación del rendimiento diagnóstico a partir de
de la Salud Bucal en la Clínica Dental. Porto Alegre, Mejàre I, Källestål C, Stenlund H: Incidencia y progresión de la radiografías de aleta de mordida de lesiones cariosas
Medical Arts, 2000, págs. 127–148. caries proximal de los 11 a los 22 años de edad en Suecia: oclusales y approximales pequeñas en una muestra de
un estudio radiográfico prospectivo. Caries Res 1999;33:93– baja prevalencia in vitro usando diferentes tipos de películas
Francescut P, Zimmerli B, Lussi A: Influencia de diferentes 100. y velocidades. Br Dent J 1997;182:51–58.
métodos de almacenamiento en los valores de fluorescencia Miller SC: Libro de texto de Periodoncia, ed 1. Phila Rodrigues JA, Hug I, Diniz MB, Lussi A: Realización de
láser: un estudio de dos años. Caries Res 2006;40:181– Delphia, Blakiston, 1938. métodos de fluorescencia, examen radiográfico e ICDAS II
185. Mortimer KV: La relación de la estructura del esmalte caducifolio en superficies oclusales in vitro. Caries Res 2008;42:297–
Hala LA, Mello JB, Carvalho PL: Evaluación de la efectividad con la enfermedad dental. Caries Res 1970;4:206–223. 304.
del análisis clínico y radiográfico para el diagnóstico de Sanden E, Koob A, Hassfeld S, Staehle HJ, Eick holz P:
caries proximal para diferentes niveles de experiencia Murray JJ, Majid ZA: La prevalencia y progresión de la caries Confiabilidad de la radiografía digital de la caries dental
clínica: comparación de la profundidad de la lesión a través proximal en la dentición temporal en niños británicos. Br interproximal. Am J Dent 2003;
del análisis histológico. Bras J Oral Sci 2006;5:1012–1017. Dent J 1978; 145: 161–164. 16:170–176.

Séllos MC, Soviero VM: Confiabilidad de los criterios de Nyvad


Hintze H, Wenzel A: Caries dental clínicamente no detectada Novaes TF, Matos R, Braga MM, Imparato JC, Raggio DP, para la evaluación de caries en dientes primarios.
evaluada mediante detección de mordida en niños con Mendes FM: Desempeño de un dispositivo de fluorescencia Eur J Oral Sci 2011;119:225–231.
poca experiencia con caries. Dentomax illofac Radiol láser tipo bolígrafo y métodos convencionales para detectar Silva Neto JM, Santos RL, Sampaio MCC, Sam paio FC,
1994;23:19–23. lesiones de caries proximales en dientes primarios: estudio Passos IA: Diagnóstico radiográfico de caries proximal
Hintze H, Wenzel A, Danielsen B: Comportamiento de las in vivo. incipiente: un estudio ex-vivo.
lesiones cariosas proximales evaluadas mediante examen Caries Nada 2009;43:36–42. Braz Dent J 2008, 19: 97–102.
clínico después de la separación del diente y la radiografía: Novaes TF, Matos R, Celiberti P, Braga MM, Mendes FM: La Soviero VM, Leal SC, Silva RC, Azevedo RB: Va
un estudio longitudinal de 2,5 años en adultos jóvenes. influencia del espacio interdental en la detección de lididad de MicroCT para la detección in vitro de lesiones
Caries Res 1999;33:415–422. lesiones de caries proximales en dientes primarios. Brasil cariosas proximales en molares primarios. J Dent
Huysmans MC, Longbottom C: Los desafíos de validar métodos Oral Res 2012;26: 293–299. 2012;40:35–40.
de diagnóstico y seleccionar patrones de oro apropiados. J Swain MV, Xue J: Estado del arte de las aplicaciones de micro-
Dent Res 2004; 83:C48–C52. Novaes TF, Matos R, Raggio DP, Imparato JCP, Braga MM, CT en la investigación dental. Int J Oral Sci 2009;1:177–
Mendes FM: Influencia del malestar relatado por los niños 188.
Kidd EAM, Mejàre I, Nyvad B: Diagnóstico clínico y radiográfico; en el desempeño de los métodos de detección de caries Wenzel A: Imágenes digitales para la caries dental. Dent Clin
en Fejerskov O, Kidd E (eds): Caries dental: la enfermedad proximales. Caries Res 2010;44:465–471. North Am 2000;44:319–338.
y su tratamiento clínico. São Paulo, Santos Editora, 2005, Wenzel A: Radiografía de aleta de mordida y digital de aleta
págs. 111–128. Nyvad B, Machiulskiene V, Baelum V: Confiabilidad de un nuevo de mordida para la detección de lesiones de caries (revisión).
sistema de diagnóstico de caries que diferencia entre J Dent Res 2004;83:C72–C75.
Kühnisch J, libros K, Henschel V, Hickel R: lesiones de caries activas e inactivas. Wilson PR, Beynon AD: Diferencias de mineralización entre el
Reproducibilidad de las mediciones de DIAGNOdent 2095 Caries Nada 1999;33:252–260. esmalte humano caducifolio y permanente medido por
y DIAGNOdent Pen: resultados de un estudio in vitro en Nyvad B, Machiulskiene V, Baelum V: Construcción y validez micro radiografía cuantitativa. Arch Oral Biol 1989;34:85–
sitios oclusales. Eur J Oral Sci 2007a;115:206–211. predictiva de los criterios clínicos de diagnóstico de caries 88.
que evalúan la actividad de la lesión. J Dent Res
2003;82:117–122.

108 Caries Nada 2015;49:99–108 DOI: Ribeiro et al.


10.1159/000368562
Machine Translated by Google

Reproducido con permiso del propietario de los derechos de autor. Prohibida la reproducción
sin permiso.

También podría gustarte