Está en la página 1de 5

(2016). RACCIS 6(1), pp. 15-19.

Revista Antioqueña de las


Ciencias Computacionales y la Ingeniería de Software
ISSN: 2248-7441
www.fundacioniai.org/raccis
raccis(AT)fundacioniai.org

Detection of bilingual plagiarism

Detección de Plagio Bilingüe

Frank Zamora R.1, Daniel Castro C.2, Elizabeth Labrada D.3


1 Universidad de Granma. Cuba. fzamorar(AT)udg.co.cu
2, 3 Desarrollo de Aplicaciones, Tecnologías y Sistemas (DATYS). Cuba. daniel.castro(AT)cerpamid.co.cu; elabrada(AT)csd.edu.cu

INFORMACIÓN DEL ARTÍCULO ABSTRACT


In this paper a computational algorithm for text alignment in the task of automatically
Artículo de Investigación detecting bilingual plagiarism is proposed. The method of detecting bilingual plagiarism uses
machine translation services, in order to have the documents in question a base language, and
Historia apply techniques of monolingual plagiarism. The algorithm was tested with The corpus
Recibido: 09-01-2016 belonging to the International Competition Plagiarism 2013, with the objective of evaluating
Correcciones: 22-04-2016 the step of detecting monolingual plagiarism. Besides it’s experimented with the collection of
Aceptado: 19-05-2016 texts EUROPARL, a collection of documents pertaining to the meeting the European
Parliament, specifically it´s to English and Spanish documents.
Keywords
Plagiarism, monolingual, bilingual RESUMEN
En este trabajo se construyó un algoritmo computacional para la alineación de textos en la
Palabras clave tarea de detección de plagio bilingüe. El método de detección de plagio bilingüe hace uso del
Plagio, bilingüe, monolingüe servicio de traductores automáticos, con la finalidad de tener los documentos en cuestión en
un idioma base, para después aplicar técnicas de plagio monolingüe. El algoritmo fue probado
con el corpus perteneciente a la Competencia Internacional de Detección de Plagio del año
2013, para evaluar la etapa de detección de plagio monolingüe. Además, se experimentó con
la colección de textos EUROPARL, una colección de documentos pertenecientes a la reunión
del parlamento europeo, de los que se tomaron los documentos en inglés y español, con la
finalidad de probar la etapa bilingüe.

© 2016 IAI. All rights reserved.

7. Introducción La detección manual de plagio se ha convertido en una


Las nuevas facilidades de acceso a la información han tarea prácticamente imposible, debido a la cantidad de
creado un ambiente amplio para que estudiantes e información disponible en medios digitales: base de datos,
investigadores accedan a una vasta cantidad de internet o dispositivos de almacenamiento masivo. Esta
documentos, artículos y otras publicaciones, con las que problemática se ha intentado solucionar creando sistemas
pueden fortalecer su preparación y enriquecer sus que asisten en la toma de decisiones acerca del posible
conocimientos. Lamentablemente, estas facilidades han plagio de un documento, pero la tarea es titánica. De
creado la presentación de trabajos pocos originales en acuerdo con Iyer y Singh [3], se pueden distinguir varios
escuelas y universidades, como consecuencia del plagio de tipos de plagio:
obras previamente publicadas, convirtiéndose esta falta en
 Literal o exacto. Se basa en la copia exacta de
un problema para la educación y la investigación. En la
fragmentos de un documento sin incluir su fuente.
literatura existen disímiles definiciones de plagio, tales
 De referencias. Ocurre cuando una referencia está en un
como:
documento y se incluye en otro documento sin haber
 Copiar en lo sustancial obras ajenas, presentándolas leído el origen.
como propias [1].  De autoría. Ocurre cuando un autor afirma ser creador
 Utilizar cualquier fuente publicada o no sin el debido de un trabajo que fue realizado por otro.
reconocimiento a la fuente [2].
El análisis automático de plagio en documentos se puede
 Apropiación de palabras e ideas de otros [2].
abordar a través del análisis con referencia. Esta técnica
El plagio se puede presentar en música, imágenes, consiste en encontrar los casos de plagio mediante la
documentos escritos e incluso ideas. El presente trabajo se comparación del documento sospechoso con las posibles
enfoca en el plagio escrito, es decir, el plagio de fuentes de los fragmentos plagiados. El documento
documentos. En este ámbito, el acto de plagiar significa sospechoso y los documentos fuentes pueden haber sido
incorporar fragmentos de un documento escrito por otro escritos en un mismo idioma (análisis monolingüe) o en
autor sin darle el crédito correspondiente. diferentes idiomas (análisis multilingüe). La detección de
15
plagio multilingüe ha sido poco tratada con referencia a la cada una convirtiéndolas en fragmentos de textos
monolingüe. Este tipo de plagio consiste en traducir un continuos de longitud máxima, que se alineen entre los
fragmento de un documento de manera manual o documentos sospechoso y fuente, los cuales, después
automática y atribuirse la autoría de dicho texto. del proceso de filtrado, se reportan como plagio.
El objetivo principal de este trabajo es implementar un 4. Post-procesamiento (filtrado). En esta etapa, dado un
método que permita detectar fragmentos de plagio entre conjunto de pasajes alineados, se remueven los que no
dos textos que se encuentran en diferentes idiomas, inglés cumplan con cierto criterio. Generalmente se descartan
y español en este caso, haciendo uso de traductores los pequeños o aquellos que tienen solapamiento.
automáticos. Entre los objetivos específicos se encuentra
En este sentido, Rodríguez y Martín [7, 8] buscan
crear un módulo configurable que permita la traducción de
correspondencias en los textos extrayendo n-gramas de
textos mediante el uso de traductores existentes. Además,
contexto (CTnG) y algunas variaciones de estos, a los que
implementar un módulo de detección de plagio
denominan n-gramas de contexto cercano (SCnG) y odd-
monolingüe que permita, dado un documento sospechoso
even n-gramas (OEnG). El objetivo es encontrar las mismas
y una posible fuente, encontrar todos los pasajes de
características en ambos documentos. Los 𝑛-gramas de
máxima longitud reutilizados.
contexto permiten mejorar la detección de los casos de
8. Metodología plagio donde se varía el orden de las palabras, y los 𝑛-
En esta sección se expone el algoritmo implementado para gramas de contexto cercano resultan útiles en los casos de
la detección de plagio bilingüe, así como una descripción plagio donde se varían las palabras por sinónimos, o se
de las principales etapas del mismo. eliminan palabras o insertan nuevas palabras.
8.1 Detección de plagio monolingüe El método toma como semillas las oraciones de los
Dado dos documentos, uno fuente y otro sospechoso, documentos [6] y cada oración del sospechoso y el fuente
escritos en un mismo idioma, la tarea de detección de es representada con el modelo de espacio vectorial (VSM
plagio monolingüe consiste en recuperar aquellos por sus siglas en inglés) y el esquema de pesado tf-idf,
fragmentos del documento sospechoso que han sido donde la frecuencia (tf) de cada término se calcula con
plagiados del documento fuente. Para Potthast et al. [4], un respecto a la oración a la que pertenece, y para el cálculo
sistema de detección de plagio monolingüe para de la frecuencia inversa de documento (idf) se toma como
alineamientos de textos consta generalmente de: colección de documentos el conjunto de oraciones que se
obtiene entre los documentos sospechoso y fuente. Luego
1. Pre-procesamiento. Con el objetivo de mejorar los
se incluyen un par de oraciones, una del documento
resultados y emplear determinados enfoques en la
sospechoso y otra del fuente, para analizar si sus
tarea de detección de plagio, inicialmente se aplican
semejanzas superan los umbrales (0.33 en ambos casos).
técnicas de pre-procesamiento a los documentos. A
continuación, se enumeran algunas de ellas: 8.2 Detección multilingüe de plagio
En esta tarea el objetivo es recuperar aquellos fragmentos
 Normalización de los caracteres: transformar todos
del documento sospechoso que han sido plagiados desde
los caracteres a minúsculas y eliminar los signos
el documento fuente. Es decir, los fragmentos que fueron
diacríticos tales como tildes, diéresis y otros.
traducidos y reusados de alguna forma sin proporcionar la
 Segmentación de los documentos en tokens
referencia. Existen varios enfoques utilizados en el cálculo
(secuencia de unidades léxicas significativas, tales
de la semejanza de textos en diferentes idiomas, que han
como números, palabras, signos de puntuación,
sido utilizados en la tarea de la detección multilingüe de
fechas, etc.).
plagio y que presentan a continuación.
 Identificación de oraciones y párrafos.
 Hallar la raíz o el lema de las palabras.  Traducción automática. En este enfoque se traducen los
 Eliminar signos de puntuación y espacios en blanco. textos a un mismo idioma, por lo general al inglés,
 Eliminar palabras auxiliares [5]. Por lo general, porque es el idioma que cuenta con más herramientas
estas palabras aparecen con frecuencia en un para su procesamiento. Cuando los documentos se
idioma y carecen de significado, tales artículos, encuentran en un mismo idioma se aplican técnicas de
pronombres, preposiciones, … detección de plagio monolingüe. El funcionamiento y el
 Unir oraciones pequeñas consecutivas hasta que el buen desempeño de este enfoque están sujetos a la
fragmento formado alcance cierta longitud. disponibilidad de un sistema de traducción automática
y de su calidad.
2. Selección (detección de semillas). Dado un documento
sospechoso y un documento fuente, el objetivo de esta Pereira et al. [9] dividen el documento sospechoso y el
etapa es obtener un conjunto de candidatos de longitud fuente en párrafos y luego traducen cada párrafo a un
pequeña, llamados semillas. Cada caso consiste en un mismo idioma, que por defecto es el inglés. Los párrafos
par conformado por un fragmento pequeño del son indexados por las raíces de sus palabras después de
documento sospechoso y un fragmento pequeño del eliminar las auxiliares. Luego se aplica un algoritmo de
documento fuente, los cuales son similares en algún clasificación para determinar si una pareja de
sentido [6]. fragmentos, uno sospechoso y otro fuente, constituyen
un caso de plagio. En el proceso se utilizan como rasgos
3. Integración (extensión). Dado un conjunto de semillas
la longitud de cada fragmento y la semejanza coseno
identificadas, esta etapa tiene como propósito extender
entre los fragmentos, entre otros.
16
Trifan [10] traduce los textos a inglés, devolviendo para etapa de detección de plagio monolingüe. Después de
cada palabra las tres mejores traducciones; obtenidos los fragmentos de plagios, se presentan en
posteriormente aplica el método Winnowing [11] para formato XML.
extraer los fingerprints (huellas dactilares) mediante la
9.1 Etapa de traducción
división de los textos en 5-gramas de palabras.
Esta etapa es la encargada de traducir documentos a un
 Basados en sintaxis. Estos enfoques se basan en la idioma seleccionado y, para lograrlo, el método cuenta con
semejanza léxico-sintáctica que existen entre algunos dos traductores incorporados: Apertium1 que se encuentra
idiomas, la cual se observa al utilizar términos cortos en los repositorios del sistema operativo Linux y que se
como n-gramas de caracteres, prefijos, etc. [12]. utiliza en ambientes donde no existe conectividad a
Internet, y Freetranslator2, empleado cuando hay acceso a
Los cognados son palabras similares entre lenguajes,
Internet. Estos traductores cuentan con un archivo
tales como curioso (ES) y curious (EN). De acuerdo con
configurable, en el que se especifica el idioma al que se
Simard y sus colegas [13], la representación de
quiere traducir el documento. En el caso del traductor
documentos utilizando esta característica resulta útil
online, se añade al archivo el usuario y la contraseña de la
en la alineación de textos en diferentes idiomas, por lo
persona que quiere utilizar el servicio, lo mismo que la
que se puede utilizar en la detección multilingüe de
dirección IP predeterminada para la navegación.
plagio. Dados dos textos en diferentes idiomas cada,
uno se representa como un vector de términos, donde 9.2 Detección de plagio monolingüe
se utilizan las primeras cuatro letras de cada palabra o Esta etapa de detección está dividida en cuatro fases: pre-
la palabra completa, en caso de contener números. procesamiento, selección, integración y post-
Luego, la semejanza entre los vectores se calcula con procesamiento. La tarea general del pre-procesamiento es
alguna unidad de medida, como el coseno. Este método segmentar el texto en n-gramas contextuales y de contexto
es llamado CL-COG [12]. cercano, lo que se convierte en la salida de esta fase. La
selección toma como entrada la salida de la fase anterior
 Basado en tesauros Multilingües. En este enfoque se
con el objetivo de buscar todas las coincidencias de n-
utilizan tesauros multilingües para indexar
gramas que se encuentran en ambos textos. La salida de
documentos escritos en diferentes idiomas en un
esta fase son todos los pares de n-gramas hallados en el
espacio de comparación común. Los términos en estos
documento sospechoso y en el documento fuente. La
tesauros están conectados con sus sinónimos en los
integración recibe como entrada todas las coincidencias de
diferentes lenguajes (synsets multilingües), por lo que
n-gramas encontradas en la fase anterior, para extender
los textos pueden ser comparados indexándolos por
cada n-grama y convertirlo en fragmentos de textos
sus índices interlinguas [14]. Una de las dificultades de
continuos de longitud máxima. Dado el conjunto de
este enfoque es que la mayoría de tesauros son
fragmentos de textos alineados, el propósito del post-
incompletos, por lo que no se obtienen buenos
procesamiento es remover los que no cumplan con ciertos
resultados.
criterios, en este caso los de longitud pequeña.
9. Método propuesto
9.3 Salida del algoritmo

Figura 2. Salida del algoritmo


Figura 1. Método propuesto para la detección de plagio bilingüe
En la Figura 2 se muestra la salida que debe tener un
En la Figura 1 se muestra un ejemplo del funcionamiento algoritmo de detección de plagio para la tarea de
del algoritmo implementado cuando la entrada son dos alineamiento de texto de la Competencia Internacional de
documentos, uno en español y otro en inglés, que es el Detección de Plagio. Se aprecia que el XML agrupa
documento fuente. El algoritmo está compuesto por dos información sobre dos documentos: la primera línea
etapas: 1) traducción, que involucra de manera opcional la corresponde al nombre del documento sospechoso que se
traducción por párrafos, y 2) detección de plagio está analizando; la tercera al nombre de la tarea que se está
monolingüe. La primera tiene como propósito llevar los llevando a cabo, que es la detección de plagio; la cuarta al
documentos de entrada a un mismo idioma. Luego se caracter de inicio del fragmento que fue copiado del
procede a detectar los fragmentos de plagio a través de la documento fuente; y la quinta indica la longitud total del

1 https://www.apertium.org/index.spa.html?dir=epo-eng#translation 2 http://www.freetranslator.com
17
pasaje. La sexta línea hace referencia al nombre del texto, conversión a minúsculas de todos los caracteres de
documento fuente con el que se está comparando el las palabras, obtención de lemas y ordenación alfabética de
documento sospechoso; la séptima al inicio del caracter del los tokens de los n-gramas. Los mejores resultados con este
fragmento que fue objeto de copia; y la octava indica la corpus se lograron segmentado los textos en n-gramas
longitud total del pasaje. contextuales y de contexto cercano con n = 3. La Figura 3
muestra los resultados alcanzados.
10. Experimentación y análisis de resultados
Para realizar los experimentos se utilizaron dos corpus de
prueba: 1) Competencia Internacional de Detección de
Plagio de 2013, para evaluar la componente de detección
de plagio monolingüe del método propuesto. Este corpus
está compuesto por cinco sub-corpus:
1. No-plagio
2. Plagio no ofuscado
3. Plagio con ofuscación
4. Plagio con traducción ofuscado
5. Plagio con resumen ofuscado
2) EUROPARL, que es una colección de documentos del Figura 3. Resultados segmentando los textos en n-gramas
Parlamento Europeo en 2000, los cuales se encuentran en contextuales y de contexto cercano
inglés y español. Este corpus se empleó para determinar la
efectividad del algoritmo, y su principal característica es El sub-corpus de plagio no ofuscado se estructura para
que las traducciones fueron realizadas manualmente. detectar los documentos sospechosos que presentan
fragmentos de texto que son plagio literal de sus
Los resultados de los experimentos se evaluaron con la respectivos documentos fuentes. Por lo que se esperaba
medida plagdet score, que depende de las medidas de detectar estos fragmentos al 100%. Esto no se logró debido
granularidad y F1, utilizadas en el primer corpus para a que la etapa de integración de pasajes, cuando detecta los
evaluar el desempeño de los sistemas detectores de plagio, solapados, solamente toma el de mayor longitud, dejando
cuya fórmula se detalla en la siguiente ecuación. por fuera los pasajes pequeños cuyas longitudes son
𝐹1 mayores que la cota mínima de caracteres establecida para
𝑝𝑙𝑎𝑑𝑔𝑒𝑡(𝑆, 𝑅) = reportarlos como plagio.
log2(1 + 𝑔𝑟𝑎𝑛𝑢𝑙𝑎𝑟𝑖𝑑𝑎𝑑(𝑆, 𝑅))
𝑝𝑟𝑒𝑐(𝑆, 𝑅) 𝑥 𝑟𝑒𝑙(𝑆, 𝑅) 10.2 Experimentación con el corpus multilingüe
𝐹1 = 2x En este experimento se utilizaron los traductores
𝑝𝑟𝑒𝑐(𝑆, 𝑅) + 𝑟𝑒𝑙(𝑆, 𝑅)
Freetranslator y Apertium. Aquí hay que destacar que cada
1 texto perteneciente a cada documento en inglés y español
𝑔𝑟𝑎𝑛𝑢𝑙𝑎𝑟𝑖𝑑𝑎𝑑(𝑆, 𝑅) = ∑ |𝑅𝑠 | del EUROPARL se encuentran alineados. Esta
|𝑆𝑟 |
𝑠є𝑆𝑟
característica permitió construir para cada oración del
Donde S es el conjunto de plagio reportado en el corpus y documento en inglés un archivo fuente, y por cada oración
R el conjunto de plagio detectado por el sistema. del documento en español un archivo sospechoso. Los
experimentos se centraron en determinar si cada archivo
10.1 Experimentación con el corpus monolingüe sospechoso era plagio del fuente correspondiente. Luego
Estos experimentos se utilizan para comprobar la de diversos experimentos se determinó que los mejores
efectividad de la etapa de detección de plagio monolingüe. resultados se lograban cuando los umbrales tomaban
Además, se presentan diferentes comparaciones en cuanto valores de λ = 100 y λ = 170. En este corpus los mejores
a la eficacia del método, atendiendo parámetros tales como resultados fueron logrados segmentando los textos en n-
la longitud de los n-gramas y el umbral de adyacencia. gramas contextuales; no se hizo pre-procesamiento de los
Después de varios experimentos en la búsqueda de textos; se utilizó λ = 170 como umbral de adyacencia y se
umbrales de adyacencia que ofrecieran buenos resultados, empleó el traductor local Apertium.
se determinó que los mejores resultados se obtienen
cuando los umbrales de adyacencia son λ = 170 y λ = 300.
Es importante destacar que en los experimentos no se
trabajó con el sub-corpus de no-plagio. Para los
experimentos, el texto se segmentó en:
1. N-gramas contextuales.
2. N-gramas de contexto cercano.
3. Combinación de n-gramas contextuales y contexto
cercano.
4. Combinación de n-gramas contextuales, contexto
cercano y etiquetas POS.
Además, se utilizó el término pre-procesamiento de texto,
Figura 4. Resultados pre-procesando los textos y utilizando λ =
que involucra los pasos de eliminar palabras auxiliares del
100 como umbral de adyacencia
18
La Figura 4 muestra los resultados cuando los textos son utiliza el traductor local Apertium, no se eliminan palabras
pre-procesados y se fija λ = 100 como umbral de auxiliares y se fija λ = 170como umbral de adyacencia.
adyacencia. El mejor resultado se logró cuando el texto se
Como trabajo futuro, se recomienda: 1) experimentar el
segmenta en 2-gramas y se emplea el traductor
algoritmo en un ambiente en el que existan documentos en
Freetranslator.
inglés y español, de tal manera que las traducciones se
En la Figura 5 se muestra los resultados cuando los textos puedan realizar utilizando traductores automáticos y
son pre-procesados sin eliminar palabras auxiliares y se especializados para comprobar el desempeño del
fija λ = 170 como umbral de adyacencia. El mejor resultado algoritmo. 2) En la fase de integración de pasajes, incluir
se logra cuando el texto se segmenta en bi-gramas y se todos los fragmentos de textos solapados detectados para
utiliza el traductor Apertium. la experimentación. 3) Comprobar por qué con los n-
gramas contextuales y de contexto cercano no se obtienen
mejores resultados en la fase de detección de plagio
multilingüe.
Referencias
[1] RAE. Diccionario de la lengua española. Edición 22.
[2] Bouville, M. (2008). Plagiarism: Words and ideas. Science
and Engineering Ethics 14(3), pp. 311–322.
[3] Iyer, P. & Singh, A. (2005). Document similarity analysis for
a plagiarism detection system. Proceedings 2nd Indian
International Conference on Artificial Intelligence (pp.
2534-2544). Pune, India.
[4] Potthast, M. et al. (2012). Overview of the 4th international
competition on plagiarism detection. Proceedings
Figura 5. Resultados pre-procesando los textos sin eliminar Conference and Labs of the Evaluation Forum (pp. 1-28).
palabras auxiliares y con λ = 170 como umbral de adyacencia Rome, Italy.
[5] Sidorov, G. (2013). Non-linear construction of n-grams in
En los resultados se puede observar que
computational linguistics. México: Sociedad Mexicana de
independientemente de la longitud de los n-gramas, los Inteligencia Artificial.
mejores resultados sin eliminar palabras auxiliares se [6] Sánchez, M., Sidorov, G. & Gelbukh, A. (2014). The winning
alcanzan utilizando el traductor Apertium; mientras que approach to text alignment for text reuse detection at pan
haciendo pre-procesamiento de texto los mejores 2014. Proceedings 5th International Conference of the CLEF
resultados se logran utilizando el traductor Freetranslator. Initiative (pp. 1004–1011). Sheffield, UK.
[7] Rodríguez, D. & Martín, J. (2012). Detailed comparison
11. Conclusiones module in coremo 1.9 plagiarism detector. Proceedings
En este trabajo se diseñó e implementó un algoritmo para Third International Conference of the CLEF Initiative (pp. 1-
la detección automática de plagio multilingüe, 8). Rome, Italy.
específicamente en la tarea de alineación de textos. La [8] Rodríguez, D. & Martín, J. (2013). Text alignment module in
estrategia se basa en traducir uno de los documentos hacia coremo 2.1 plagiarism detector. Proceedings 4th
el idioma base del otro documento que se va a analizar, International Conference of the CLEF Initiative (pp. 1-8).
para luego aplicar técnicas de plagio monolingüe para Valencia, Spain.
[9] Pereira, R., Moreira, V. & Galante, R. (2010). A new approach
detectar todos los fragmentos de textos plagiados de
for cross-language plagiarism analysis. Lecture Notes in
máxima longitud. Computer Science 6360, pp. 15-26.
Para llevar a cabo la detección de plagio, primero se pre- [10] Trifan, I. (2011). Plagiarism detection in a multilingual
procesan los documentos, es decir, se eliminan las palabras environment. Annals of DAAAM 22(1), pp. 831-832.
[11] Schleimer, S., Wilkerson, D. & Aiken, A. (2003). Winnowing:
auxiliares, los caracteres que no sean letras o números, el
local algorithms for document fingerprinting. Proceedings
texto se convierte a minúsculas, se obtienen todos los international conference on Special Interest Group on
lemas, se ordenan alfabéticamente y se crean los n-gramas Management of Data (pp. 76–85). San Diego, USA.
contextuales y los de contexto cercano. El algoritmo se [12] Barrón, L. (2012) On the mono-and cross-language
experimenta con diferentes parámetros, tales como el detection of text-reuse and plagiarism. PhD thesis.
umbral de adyacencia, los textos se pre-procesan sin Universitat Politécnica de Valencia. Spain.
eliminar las palabras auxiliares y se utilizan diferentes [13] Simard, M., Foster, G. & Isabelle, P. (1993). Using cognates
traductores. Para la fase de detección de plagio to align sentences in bilingual corpora. Proceedings of the
monolingüe, los mejores resultados se logran cuando el 1993 conference of the Centre for Advanced Studies on
Collaborative research: Distributed computing (pp. 1071-
texto se segmenta en n-gramas contextuales y de contexto 1082). Toronto, Canada.
cercano, se pre-procesan los textos y se fija λ = 300 como [14] Ceska, Z. Toman, M. & Jezek, K. (2008). Multilingual
umbral de adyacencia. Mientras que, en la fase multilingüe, plagiarism detection. Proceedings 13th international
los mejores indicadores se alcanzan cuando se segmentan conference on Artificial Intelligence: Methodology, Systems,
los textos en n-gramas contextuales de longitud n = 2, se and Applications (pp. 83-92). Varna, Bulgaria.

19