Desarrollo de un Sistema de Traducción

de Lenguaje de Señas a Texto Utilizando

Redes Neuronales Convolucionales y
Procesamiento de Imágenes

Polo Añorga Renato

Sanchez Rodriguez Oskar
Ulloa Reyes Jaime
 Contenido

01 02 03 04 04
Trabajos Metodología Resultados
Introducción Conclusiones
Relacionados Propuesta Experimentales
Introducción
 Realidad Problemática
La discapacidad se presenta de
diversas formas y genera
barreras sociales y económicas
para la inclusión en la sociedad.
Esto es especialmente
preocupante en casos de
discapacidad auditiva, que
afecta al 5% de la población
mundial.
La lengua de señas es un sistema
de comunicación basado en gestos
visuales, incluyendo movimientos
de manos, dedos y expresiones
faciales con significados
específicos. Cada lengua de señas
tiene una variedad de signos, que
pueden variar en número y se
diferencian a veces por pequeños
cambios en la posición de la mano.
Según el Instituto Nacional de
Estadística e Informática (INEI),
gracias a un censo realizado en
2017 en el Perú se conoce que hay
243.486 personas con dificultades
auditivas, cifra que representa al
7,6 % de las personas con
discapacidad, además según este,
8790 personas con dificultades
auditivas registraron como lengua
materna a la Lengua de Señas
Peruana (LSP).
 Realidad Problemática

Figura 1: Censos nacionales 2017. Fuente: INEI

 Problema Justificación

Este proyecto se respalda

Según diversos estudios e
debido a la urgencia de
investigaciones, se ha
mejorar la comunicación y
observado que las personas
promover la inclusión de
con discapacidad auditiva
personas con discapacidad
tienen un 57% más de
auditiva. Se aprovechan los
posibilidades de desarrollar
avances en inteligencia
estrés, depresión o mal humor
artificial, que tienen el
debido al déficit de
potencial de generar un efecto
comunicación con otras
beneficioso tanto en la
personas
sociedad como en la
comunidad científica.
Trabajos Relacionados

Halder et al. [12] logró alcanzar
una precisión del 99% usando
el algoritmo de Máquinas de
Soporte Vectorial (SVM)
Park et al. [13] propuso un
sistema basado en videos en
profundidad para traducir el
lenguaje de señas a texto
utilizando la cámara frontal de
un smartphone.
Sabeenian et al. [14] propuso
utilizar una CNN personalizada
(Red Neuronal Convolucional)
para reconocer el signo a partir de
un fotograma de video, utilizando
el conjunto de datos MNIST.
Sabeenian et al. [14] propuso
utilizar una CNN personalizada
(Red Neuronal Convolucional)
para reconocer el signo a partir de
un fotograma de video, utilizando
el conjunto de datos MNIST.
Tripathi et al. [16] propuso un
modelo de bolsa de palabras visuales
(BoVW) para la conversión de gestos
a texto, con una precisión del sistema
variando del 79% al 92%.
Bantupalli et al. [17] propuso el uso
de Inception, una CNN (Red
Neuronal Convolucional), para
reconocer las características
espaciales, además del uso de una
RNN (Red Neuronal Recurrente)
para entrenar en las características
temporales.
Herbaz et al. [18] propuso un
sistema de reconocimiento del
lenguaje de señas marroquí
utilizando una Red Neuronal
Convolucional (CNN). Dicho
sistema incluye un conjunto de
datos importante de más de 20
archivos. Cada archivo contiene
1,000 imágenes estáticas de
cada señal desde varios
ángulos diferentes que se
recopiló con la cámara.
Kan et al. [19] propuso una nueva
arquitectura de aprendizaje profundo,
llamada red neuronal de gráficos
espacio-temporales jerárquicos (HST-
GNN, por sus siglas en inglés).
Agrawal et al. [20] propuso un traductor
bidireccional de lenguaje de señas para
el idioma árabe, que traduce texto a
lenguaje de señas y viceversa. Para ello
se desarrollaron técnicas de NLP como
análisis sintáctico, etiquetado de partes
del discurso, tokenización y traducción
para lograr la traducción de texto a
lenguaje de señas.
[21] propuso la utilización de Redes
Neuronales Convolucionales (CNN),
Clasificación Temporal Connectionista
(CTC) y Red de Creencias Profundas
(DBN) para recopilar y reunir los
resultados de su sistema a través de
diferentes métodos de traducción del
lenguaje de señas a texto.
Guerrero et al. [22] desarrolló un
sistema empleando las técnicas de
visión artificial para reconocimiento de
Lenguaje de Señas, consistió en cuatro
etapas: captura de imágenes,
preprocesamiento, extracción de
características y reconocimiento.
Halvardsson et al. [23] Implementaron
un modelo utilizando una red
InceptionV3 previamente entrenada,
este modelo logró una precisión del
85% al ser evaluado con un conjunto
de datos que constaba de 8 sujetos y
9400 imágenes.
Morales et al. [24] manejó un total de 23
señales, realizando un
preprocesamiento de las imágenes
antes de obtener el conjunto de
características. Las técnicas utilizadas
incluyeron la reducción de ruido, la
escala de las imágenes y la eliminación
del fondo de las mismas.
Castillo et al. [25] Crearon un aplicativo
móvil el cual procesa la señas de la
persona con discapacidad, el cual
redirige a una base de datos en la nube
y posteriormente es procesado Escobedo et al [27] mostró
mediante texto. un método que utiliza
mapas de textura para
Mannan et al. [26] propuso un método representar información
de reconocimiento de ASL usando una multimodal (RGB-D) y así
red neuronal convolucional profunda. describir la posición y el
El rendimiento del modelo DeepCNN movimiento de la mano.
mejora a medida que se aumenta la
cantidad de datos, gracias a la técnica
de aumento de datos que expande el
conjunto de entrenamiento de manera
artificial.

Bibliografía
[1] E. Martinez-Martin y F. Morillas-Espejo, “Deep Learning
Techniques for Spanish Sign Language Interpretation”, Comput Intell
Neurosci, vol. 2021, 2021, doi: 10.1155/2021/5532580.
[2] S. Goldin-Meadow y D. Brentari, “Gesture, sign, and language: The
coming of age of sign language and gesture studies”, Behavioral and
Brain Sciences, vol. 40, pp. 1–17, 2017, doi: 10.1017/S0140525X15001247.
[3] Y. Motamedi et al., “The cultural evolution of complex linguistic
constructions in artificial sign languages”.
[4] Instituto Nacional de Estadística e Informática, “Censo de
personas discapacitadas 2017”,
https://m.inei.gob.pe/prensa/noticias/en-el-peru-1-millon-575-mil-
personas-presentan-alg/, 2017.
[5] R. Saha, A. Sharma, y M. K. Srivastava, “‘Psychiatric assessment
of deaf and mute patients – A case series’”, Asian J Psychiatr, vol. 25, pp.
31–35, 2017, doi: https://doi.org/10.1016/j.ajp.2016.10.007.
[6] J. Saavedra Chanduví et al., “Lengua de Señas Peruana”, 2014. [En
línea]. Disponible en: www.minedu.gob.pe
[7] R. Bodmer, L. Liu, W. Liu, y J. C. Rangel, “Reconocimiento del
lenguaje de señas mediante aprendizaje automático para niños de
primaria”, Revista de Iniciación Científica, vol. 6, jul. 2021, doi:
10.33412/rev-ric.v6.0.3161.
[8] B. Villa, V. Valencia, y J. Berrio, “Digital image processing applied
on static sign language recognition system/Diseño de un Sistema de
Reconocimiento de Gestos No Móviles mediante el Procesamiento Digital
de Imágenes”, Prospectiva, vol. 16, núm. 2, pp. 41–48, jul. 2018, doi:
10.15665/rp.v16i2.1488.
[9] S. Fredy, F. R. Betancourt, y M. Arbulú, “A gesture recognition
system for the colombian sign language based on convolutional neural
networks”, Bulletin of Electrical Engineering and Informatics, vol. 9,
núm. 5, pp. 2082–2089, oct. 2020, doi: 10.11591/eei.v9i5.2440.
[10] F. H. Martínez, C. Penagos, y L. Pacheco, “Deep Regression Models
for Local Interaction in Multi-agent Robot Tasks”, en International
Conference on Swarm Intelligence, 2018. [En línea]. Disponible en:
https://api.semanticscholar.org/CorpusID:49303487
[11] K. Li, Z. Zhou, y C. H. Lee, “Sign transition modeling and a scalable
solution to continuous sign language recognition for real-world
applications”, ACM Trans Access Comput, vol. 8, núm. 2, ene. 2016, doi:
10.1145/2850421.
[12] A. Halder y A. Tayade, “Sign Language to Text and Speech
Translation in Real Time Using Convolutional Neural Network,””,
International Journal of Research Publication and Reviews, vol. 8, núm.
2, 2021.
[13] H. J. Park, Y. Lee, y J. G. Ko, “Enabling Real-time Sign Language
Translation on Mobile Platforms with On-board Depth Cameras”, Proc
ACM Interact Mob Wearable Ubiquitous Technol, vol. 5, núm. 2, 2021,
doi: 10.1145/3463498.

Bibliografía
[14] R. S. Sabeenian, S. Sai Bharathwaj, y M. Mohamed Aadhil, “Sign
language recognition using deep learning and computer vision”, Journal
of Advanced Research in Dynamical and Control Systems, vol. 12, núm. 5
Special Issue, 2020, doi: 10.5373/JARDCS/V12SP5/20201842.
[15] B. Natarajan et al., “Development of an End-to-End Deep Learning
Framework for Sign Language Recognition, Translation, and Video
Generation”, IEEE Access, vol. 10, 2022, doi:
10.1109/ACCESS.2022.3210543.
[16] K. M. Tripathi, P. Kamat, S. Patil, R. Jayaswal, S. Ahirrao, y K.
Kotecha, “Gesture-to-Text Translation Using SURF for Indian Sign
Language”, Applied System Innovation, vol. 6, núm. 2, 2023, doi:
10.3390/asi6020035.
[17] K. Bantupalli y Y. Xie, “American Sign Language Recognition
using Deep Learning and Computer Vision”, en Proceedings - 2018 IEEE
International Conference on Big Data, Big Data 2018, 2019. doi:
10.1109/BigData.2018.8622141.
[18] N. Herbaz, H. El Idrissi, y A. Badri, “Sign Language Recognition for
Deaf and Dumb People Using Convolution Neural Network”, Journal of
ICT Standardization, vol. 10, núm. 3, 2022, doi: 10.13052/jicts2245-
800X.1033.
[19] J. Kan, K. Hu, M. Hagenbuchner, A. C. Tsoi, M. Bennamoun, y Z.
Wang, “Sign Language Translation with Hierarchical Spatio-Temporal
Graph Neural Network”, en Proceedings - 2022 IEEE/CVF Winter
Conference on Applications of Computer Vision, WACV 2022, 2022. doi:
10.1109/WACV51458.2022.00219.
[20] T. Agrawal y S. Urolagin, “2-way Arabic Sign Language
Translator using CNNLSTM Architecture and NLP”, en ACM
International Conference Proceeding Series, 2020. doi:
10.1145/3378904.3378915.
[21] “Using Deep Learning in Sign Language Translation to Text”,
2023. doi: 10.46254/an12.20220758.
[22] J. D. Guerrero-Balaguera y W. J. Pérez-Holguín, “Sistema
traductor de la lengua de señas Colombiana a texto basado en FPGA”,
DYNA (Colombia), vol. 82, núm. 189, pp. 172–181, 2015, doi:
10.15446/dyna.v82n189.43075.
[23] G. Halvardsson, J. Peterson, C. Soto-Valero, y B. Baudry,
“Interpretation of Swedish Sign Language Using Convolutional Neural
Networks and Transfer Learning”, SN Comput Sci, vol. 2, núm. 3, may
2021, doi: 10.1007/s42979-021-00612-w.
[24] E. M. Morales, O. V. Aparicio, P. Arguijo, R. Angel, M. Armenta, y
A. Hiram Vázquez López, “Traducción del lenguaje de señas usando
visión por computadora Sign Language Translation Using Computer
Vision”. [En línea]. Disponible en: https://1drv.ms/f/s!Ag_D60aA-
1xrggXOp-G9eJrs-u3l
 Bibliografía
[25] R. A. Castillo-Portales, R. J. Díaz-Nureña, S. E. Cieza-Mostacero, y
J. F. Pacheco-Torres, “Aplicación Móvil Multiplataforma Basado en Redes
Neuronales para Mejorar el Aprendizaje del Lenguaje de Señas en una
Oficina Municipal de Atención a las Personas con Discapacidad”, en
CICIC 2022 - Decima Segunda Conferencia Iberoamericana de
Complejidad, Informatica y Cibernetica en el contexto de the 13th
International Multi-Conference on Complexity, Informatics, and
Cybernetics, IMCIC 2022 - Memorias, International Institute of
Informatics and Cybernetics, IIIC, 2021, pp. 124–129. doi:
10.54808/CICIC2022.01.124.
[26] A. Mannan, A. Abbasi, A. R. Javed, A. Ahsan, T. R. Gadekallu, y Q.
Xin, “Hypertuned Deep Convolutional Neural Network for Sign Language
Recognition”, Comput Intell Neurosci, vol. 2022, 2022, doi:
10.1155/2022/1450822.
[27] E. Escobedo, L. Ramirez, y G. Camara, “Dynamic sign language
recognition based on convolutional neural networks and texture maps”,
en Proceedings - 32nd Conference on Graphics, Patterns and Images,
SIBGRAPI 2019, en Proceedings - 32nd Conference on Graphics, Patterns
and Images, SIBGRAPI 2019. Institute of Electrical and Electronics
Engineers Inc., oct. 2019, pp. 265–272. doi:
10.1109/SIBGRAPI.2019.00043.