Reconocimiento alfabeto dactilológico

UNIVERSIDAD DE LOS LLANOS

FACULTAD DE CIENCIAS BASICAS E INGENIERIA
ESCUELA DE INGENIERÍA

RECONOCIMIENTO DE GESTOS PERTENECIENTES AL ALFABETO

DACTILOLÓGICO COLOMBIANO

Presentando por:

MILTON STIVEN REY FERNANDEZ

JOHAN SEBASTIAN MOLINA PIÑEROS

Asesor:

Ing. Obeth Romero

1
 Reconocimiento alfabeto dactilológico

UNIVERSIDAD DE LOS LLANOS

FACULTAD DE CIENCIAS BASICAS E INGENIERIA
ESCUELA DE INGENIERÍA

RECONOCIMIENTO DE GESTOS PERTENECIENTES AL ALFABETO

DACTILOLÓGICO COLOMBIANO

traducción del lenguaje dactilológico Colobmbiano

Asesor:

Ing. Obeth Romero, M.A.

República de Colombia
Villavicencio - Meta
Junio de 2022

2
 Reconocimiento alfabeto dactilológico

TABLA DE CONTENIDO

Pág.

Portada………………………………………………………………………………………..1

Contraportada………………………………………………………………………………..2

Resumen……………………………………………………………………………………… 4

Antecedentes…………………………………………………………………………………. 5

Planteamiento del problema…………………………………………………………………6

Introducción…………………………………………………………………………………..7

Referencias bibliográficas……………………………………………………………………9

3
 Reconocimiento alfabeto dactilológico

RESUMEN

El lenguaje de señas es un método de comunicación que utilizan las personas con

discapacidades auditivas, el cual lo utilizan por medio de gestos con las manos para describir
lo que tienen en mente o lo que desean, por lo general a las personas les resulta muy difícil
entenderles a los discapacitados. Es por ellos que en este artículo se implementó un sistema
de reconocimiento de lenguaje dactilológico por medio de gestos con las manos, además se
describen cada uno de los pasos que se deben tener en cuenta a la hora de realizar dicha
conversión como la segmentación de la imagen, extracción de las características usando
librería mediapipe y la clasificación, cabe resaltar que se utilizaron herramientas tecnológicas
para la toma de video en tiempo real, haciendo uso de la cámara web e implementación del
código en el lenguaje de programación Python

Palabras claves: Imágenes, Mano, Lenguaje de Señas, Gestos, Colombia.

4
 Reconocimiento alfabeto dactilológico

TRABAJOS RELACIONADOS CON EL RECONOCIMIENTO DE GESTOS

(Antecedentes)

Los intentos por conocer de forma automática el lenguaje de señas comenzó en los años 90,
donde muchos investigadores comenzaron a diseñar y construir sistemas que pudieran
reconocer muchos de los símbolos de este lenguaje no verbal. Con el pasar de los años se
utilizado distintas técnicas para poder identificar los gestos, estas técnicas pueden clasificarse
en dos tipos [1], el primero se constituye por montajes de dispositivos electrónicos y el
segundo que se clasifica en el uso de guantes de colores y el otro que no se utiliza ningún
dispositivo u objeto sobre la mano.

Eng-Jon Ong y Bowden [2] presentaron un innovador proyecto automático para entrenar un
programa con capacidades de detectar todo tipo de manos humanas y clasificarlas de acuerdo
a su forma. Su enfoque consiste en tratar las imágenes en escala de grises y por medio de
clasificadores obtener la seña que requiere.

En el año 2013 Rajeshri Rahul y Anil V doctores en el campo de la electrónica desarrollaron

un algoritmo para detectar el número de dedos extendidos en una mano con reproducción de
audio, el cual consiste en obtener el centroide de una mano y de acuerdo al gesto producido
por el número de dedos mostrar cuántos de ellos se encuentran extendidos [3].

5
 Reconocimiento alfabeto dactilológico

PLANTEAMIENTO DEL PROBLEMA

El ser humano con sus numerosas capacidades pude realizar magníficas cosas, sus cinco
sentidos le proporcionan información del mundo exterior y a falta de alguno de ellos tiene
que adaptarse, buscar medios por el cual recibir información de donde no la está adquiriendo
es fundamental para poder relacionarse con el exterior, por ello una persona que no perciba
los sonidos y no sea capaz de hablar se encuentra con una inmensidad de problemas que le
dificulta relacionarse con más personas por lo tanto existe el lenguaje dactilológico para
disminuir esta brecha que existe entre las personas con todas sus capacidades naturales y los
que no las tienen, sin embargo aquellos que poseen estas cualidades no se ven en la
necesidad de aprender el lenguaje de señas lo cual genera desventaja para las personas sordas
y/o mudas ya que no se podrán expresar con facilidad.

Para dar solución a este problema se implementa un software capaz de traducir el lenguaje
dactilológico Colombiano a texto o reproducción de audio en castellano para que una persona
sorda y/o muda, pueda expresar e informar a quien no sabe su lenguaje todas sus ideas sin
limitaciones. Se proporcionando un código desarrollado en Python el cual contiene
inteligencia artificial (redes neuronales artificiales) y una base de datos la cual son de gran
ayuda para entrenar la red neuronal, cabe resaltar que el dataset posee miles de imágenes para
el excelente entrenamiento.

6
 Reconocimiento alfabeto dactilológico

INTRODUCCÓN

La dactilología es la representación manual de cada una de las letras que componen el

alfabeto. A través de ella se puede transmitir a la persona sorda cualquier palabra que se
desee comunicar, por complicada que ésta sea. El deletreo es una parte importante del sistema
de comunicación de las personas sordas. Se trata, sencillamente, de la escritura del alfabeto
castellano ejecutada en el aire en lugar de un papel. Existen veintinueve posiciones con sus
variantes de movimiento de mano, algunas de las cuales son la representación exacta de la
letra.

El deletreo manual es usado en combinación con el lenguaje de signos para sustantivos,

nombres propios, direcciones y palabras para las cuales no existe un ideograma o signo
creado o es poco conocido por la comunidad signante, como ocurre con signos de reciente
creación (neologismos) o palabras poco usuales. Su importancia no puede ser subestimada; es
por tanto esencial para la persona que se inicie en la lengua de signos, concentrarse en
desarrollar tanto las habilidades receptivas como las expresivas, con el fin de adquirir
experiencia. [4]

Una red neuronal es un modelo simplificado que emula el modo en que el cerebro humano
procesa la información: Funciona simultaneando un número elevado de unidades de
procesamiento interconectadas que parecen versiones abstractas de neuronas. Las unidades de
procesamiento se organizan en capas. Hay tres partes normalmente en una red neuronal : una
capa de entrada, con unidades que representan los campos de entrada; una o varias capas
ocultas; y una capa de salida, con una unidad o unidades que representa el campo o los
campos de destino. Las unidades se conectan con fuerzas de conexión variables (o
ponderaciones). Los datos de entrada se presentan en la primera capa, y los valores se
propagan desde cada neurona hasta cada neurona de la siguiente capa. al final, se envía un
resultado desde la capa de salida.

La red aprende examinando los registros individuales, generando una predicción para cada
registro y realizando ajustes a las ponderaciones cuando realiza una predicción incorrecta.

7
 Reconocimiento alfabeto dactilológico

Este proceso se repite muchas veces y la red sigue mejorando sus predicciones hasta haber
alcanzado uno o varios criterios de parada. [5]

[6]
Figura 1. Estructura de una red neuronal

En la actualidad debido a la evolución del ser humano comunicarse entre sí es una necesidad
para poder hacer saber sus pensamientos e ideas, sin embargo hay quienes poseen
limitaciones físicas y es por ello que se recurre a alternativas óptimas para poder así
relacionarse, aquellas personas con discapacidades auditivas recurren al único método que es
el uso del lenguaje de señas, en comparación a los demás dichas personas no se comunican
realizando sonidos sino que su comunicación se basa netamente en la percepción del mundo
con la vista, los gestos con signos son un lenguaje visual no verbal, diferente a los hablados,
sin embargo este cumple con la misma función.

Este software está diseñado y dirigido para aquellas personas que poseen alguna dificultad
auditiva o sonora con la finalidad de poder expresarse con los demás, cabe resaltar que el
sistema a partir de tratar la imagen y de acuerdo a características específicas de la imagen
determina el gesto realizado por la persona, el objetivo de este proyecto es desarrollar un
prototipo que ayude a reconocer gestos realizados con la mano a partir de tratamiento digital
de imágenes y que en tiempo real traduzca el gesto al lenguaje sonoro en este caso Español.

8
 Reconocimiento alfabeto dactilológico

REFERENCIAS

[ 1 ] Qutaishat Munib, Moussa Habeeb , Bayan Ta kruri “ American sign language ( A S L )

recognition based on Hough transform neural networks' ', Expert Systems with Applications 3
2 ( 2 0 0 7 ) 2 4 - 3 7.

[2] Eng-Jon Ong, Richard Bowden, “A Boosted Classic fir Tree for H a n d Shape Detection
” , p p.8 8 9 , s i x t h IEEE n t e rn a t i o n a l Con fe renton Automatic Face aceandG e s tu
r e Recognition ( F G ’ 0 4 ) , 2 0 0 4.

[3] R.R Itkarkar, Rajarshi Shahu, “H And Gesture to Speech Conversion Using Matlab '' , 4
th ICCCNT , 2 0 1 3.

[4] Valdemoro Fermández-Quevedo. D. (2000). Sobre el origen y clasificación de algunos

signos: Acercamiento a la semántica de la LSE. En: Equipo de Materiales Curriculares de la
CNSE (coord.). Apuntes de Lingüística de la Lengua de Signos Española. Madrid: CNSE.

[5] I.B.M. (2021, 17 agosto). El modelo de redes neuronales. Networks neural model.
Recuperado 2022, de
https://www.ibm.com/docs/es/spss-modeler/SaaS?topic=networks-neural-model

[6] Imagen tomada de página oficial de IBM