DEPARTAMENTO DE CIENCIAS DE LA COMPUTACIÓN

CARRERA DE TI

INTELIGENCIA ARTIFICIAL

“Aplicación para el aprendizaje del abecedario y principales

saludos del lenguaje de señas ecuatoriano con el uso de
visión artificial”

AUTORES:
MARCELO ARIAS
DAYANNA SILVA
JERRY TOVAR

TUTOR:
Ing. Darío Morales

Sangolquí, 24 de agosto del 2022

Período Académico:

MARZO 2022 – SEPTIEMBRE 2022

1. TÍTULO DEL PROYECTO
Aplicación para el aprendizaje del abecedario y principales saludos del
lenguaje de señas ecuatoriano con el uso de visión artificial.

2. DEFINICIÓN Y JUSTIFICACIÓN DEL PROBLEMA

Actualmente la comunicación es un factor sumamente importante para
diferentes ámbitos como la educación, búsqueda de empleos, seguridad,
etc. Es por esto que no se puede dejar de lado a las personas que
necesitan utilizar el lenguaje de señas, siendo mayormente personas
con algún tipo de discapacidad auditiva (López Molina & Tierra Guano,
2021). Dentro del ámbito de la enseñanza de este lenguaje se debe
tomar en cuenta que existen varios lenguajes de señas, es decir, no se
puede aprender un lenguaje de señas universal y pretender poder
comunicarse con todas las personas en el mundo que conozcan este
lenguaje, generalmente esto se debe a que existen variaciones en los
gestos utilizados dependiendo del país o idioma en el que se aplica
(Nations, 2021).
La existencia de varios lenguajes de señas puede causar desmotivación
en quienes están tratando de aprender este lenguaje, lo cual disminuye
la cantidad de personas que pueden comunicarse de esta manera,
provocando así una menor inclusión de este grupo social y dificultando
su acceso al campo laboral, comunicativo, de educación, etc. (Nations,
2021). Es por esto que el presente proyecto busca combinar la visión
artificial con el aprendizaje del lenguaje de señas ecuatoriano, con lo
que se tratará de brindar una nueva opción de aprendizaje para las
personas que necesiten de este lenguaje para su comunicación,
enfocándose principalmente en la verificación de que los gestos
realizados sean los correctos y por ende que tengan una correcta
interpretación.
3. SISTEMA DE OBJETIVOS
3.1 Objetivo General

Aprender mediante el uso de visión artificial el lenguaje de señas

ecuatoriano y sus principales saludos como un medio de comunicación,
con el fin de facilitar la integración de las personas con discapacidad
auditiva.

3.2 Objetivos Específicos

⚫ Identificar las estrategias utilizadas en el aprendizaje de otro

lenguaje de comunicación, en específico, el lenguaje de señas
ecuatoriano.
⚫ Crear un glosario, en el cual se visualice las pequeñas o grandes
diferencias que existen con los lenguajes de señas de países
cercanos a Ecuador, tales como Colombia y Perú.
⚫ Implementar la visión artificial como una forma de mejorar el
proceso de enseñanza durante el aprendizaje de la lengua de
señas en personas con discapacidad auditiva.
⚫ Desarrollar el aplicativo propuesto en este proyecto y comprobar
que las instrucciones para su uso son claras y que realiza un
correcto reconocimiento e interpretación de los gestos que
realicen los usuarios.

4. ALCANCE
El presente proyecto tiene como objetivo ayudar a las personas con
discapacidad auditiva o que necesiten usar el lenguaje de señas para su
comunicación, mediante el desarrollo de una aplicación, esto incluye:
⚫ Investigar a profundidad el lenguaje de señas ecuatoriano y
también las diferencias que se presentan en relación al lenguaje
de señas de otros países como Colombia y Perú.
⚫ Comprender la incidencia que tiene el uso de la visión artificial en
el proceso de aprendizaje del lenguaje de señas, tanto en
 proyectos que ya se encuentren publicados como en este
presente trabajo.
⚫ Establecer los requerimientos que debe cumplir la aplicación, el
lenguaje de programación, herramientas y la fuente de donde se
obtendrán los diferentes gestos a incorporar, la cual será el
Diccionario de Lengua de Señas Ecuatoriano “Gabriel Román”.
⚫ Analizar cuál es el proceso que se realiza al utilizar la visión
artificial y hacer uso del mismo para incluirlo dentro de la
aplicación como una verificación de los gestos que realizan los
usuarios de la aplicación y comprobar que corresponden a un
significado específico.
5. MARCO TEÓRICO
5.1. Lenguaje de señas
El lenguaje de señas es el conjunto de signos y gestos
empleados para que las personas que no saben o tienen la
capacidad de hacer uso del lenguaje hablado puedan
comunicarse, este lenguaje se considera fundamental dentro de
la comunicación, ya que sin este miles de personas no se podrían
comunicar con el resto del mundo (Ayala Núñez, 2021). Además,
es importante destacar que este lenguaje no es universal y
existen casi 300 lenguajes de señas diferentes, esta cantidad se
debe a que generalmente existe un lenguaje de señas distinto
para cada país e incluso idioma (Nations, 2021). También es
importante mencionar que ya se ha tratado de establecer un
lenguaje de señas universal, es decir uno que deban realizar y
comprender todas las personas en el mundo, las cuales requieran
hablar este lenguaje, sin embargo, este intento por parte de la
Organización de las Naciones Unidas ONU, la cual propuso el
sistema de signos internacional, al que llamaron Gestuno y el cual
incluía 1500 signos, no consiguió buenos resultados ya que en
varios países existían señas que generaban malinterpretaciones,
esto se debía principalmente a que el sistema Gestuno solo
consideró los signos de los países que tenían mayor
representación en la ONU (Ruiz Villa, 2021).
5.2. Lenguaje de Señas Ecuatoriano

La Lengua de Señas es un sistema de comunicación que debe

difundirse y, sobre todo, aprenderse, si queremos enriquecernos
como seres humanos. Porque, si aprender otro idioma es
enriquecedor, aprender la Lengua de Señas incrementa nuestra
capacidad de aprendizaje y razonamiento.

El lenguaje de señas Ecuatoriano es la principal lengua de señas

empleada por la comunidad sorda en Ecuador. Como todas las
lenguas de señas naturales, es un idioma con gramática y
vocabulario propios, a continuación se presenta un alfabeto
dactilográfico Ecuatoriano:

Figura 1. Alfabeto dactilográfico Ecuatoriano

También podemos observar principales palabras como los días
de la semana y los meses del año:

Figura 2. Días de la semana Lengua de señas Ecuatoriano.

 Figura 3. Meses Lengua de señas Ecuatoriano.

5.3. Aprendizaje del lenguaje de señas con visión artificial

La Organización Mundial de la Salud OMS mostró que un 5% de
la población sufre de discapacidad auditiva y específicamente en
Ecuador, el Consejo Nacional de la Igualdad de Discapacidades
CONADIS indica que hay 53.565 personas con esta
discapacidad, además 819 de ellas estarían en el Sistema
Nacional de Educación (Cuji et al., 2018). Por otra parte, el uso de
la tecnología es una forma correcta para ayudar a las personas
con discapacidad auditiva en su inclusión al sistema educativo,
debido a esta consideración se han presentado diferentes
proyectos que hacen uso de nuevas tecnologías y herramientas
para mejorar el aprendizaje del lenguaje de señas, entre estas
herramientas se a evidenciado que se obtienen mejores
resultados con aquellas que usan imágenes, ya que muestran con
mayor facilidad los diferentes procesos e incluso el uso de las
mismas aplicaciones (Cuji et al., 2018).

Una de las tecnologías que se ha estado utilizando en los últimos

años para mejorar el proceso de aprendizaje del lenguaje de
señas es la visión artificial, tal como lo muestra (Triviño López,
2018) en donde se plantea el aprendizaje del lenguaje de señas
colombiano mediante el uso de la visión por computador. Por otra
parte, dentro de ecuador también se ha empezado a utilizar la
visión artificial para mejorar la interpretación del lenguaje de
señas, una muestra de esto es el trabajo presentado por
 (Pichucho et al., 2018), donde se utiliza la visión artificial para
obtener una interpretación inmediata de los gestos que realizan
los usuario.
5.4. Python (lenguaje de programación)
Python es un lenguaje de programación interpretado cuya filosofía
enfatiza la legibilidad de su código. Es un lenguaje de
programación de múltiples paradigmas, ya que admite
parcialmente la programación imperativa y orientada a objetos y,
en menor medida, la programación funcional. Es un lenguaje
interpretado, dinámico y diverso donde podemos desarrollar
nuestra aplicación.
5.5. Visión artificial
La visión artificial la componen un conjunto de procesos
destinados a realizar el análisis de imágenes. Estos procesos
son: captación de imágenes, memorización de la información y el
procesado e interpretación de los resultados (Santa Maria Pinedo
et al., 2021).
Con la visión artificial se puede:
⚫ Automatizar tareas repetitivas.
⚫ Realizar controles de calidad de productos.
⚫ Realizar inspecciones de objetos sin contacto físico.
⚫ Reducir el tiempo de ciclo en procesos automatizados.

F
i
g
u
r
a

4
.

P
roceso de la visión artificial.
 Módulo de digitalización.- Convierte la señal analógica
proporcionada por la cámara a una señal digital (para su posterior
procesamiento).

Memoria de imagen.- Almacena la señal procedente del módulo

de digitalización.

Módulo de visualización.- Convierte la señal digital residente en

memoria, en señal de vídeo analógica para poder ser visualizada
en el monitor de TV.

Procesador de imagen.- Procesa e interpreta las imágenes

captadas por la cámara.

Módulo de entradas/salidas.- Gestiona la entrada de

sincronismo de captación de imagen y las salidas de control que
actúan sobre dispositivos externos en función del resultado de la
inspección.

6. MODELO DE DESARROLLO A UTILIZAR

Al igual que al seleccionar la metodología, para seleccionar el modelo de
desarrollo de software se consideró que el modelo seleccionado permita
un avance progresivo y que tenga tolerancia a cambios, por lo tanto, el
modelo que más se adapta a este proyecto es el Modelo en Cascada
esencialmente porque el desarrollo del aplicativo se lo puede llevar a
cabo como fases separadas y consecutivas (Gamboa, 2018).

6.1. Modelo Cascada

Este modelo toma las fases principales del ciclo de vida del
desarrollo de software y las divide en 5 actividades, las cuales se
deben ejecutar en una secuencia específica para cumplir con los
objetivos de una forma correcta. Las fases de este modelo son las
siguientes:

Definición de los requisitos

 En esta sección se determina el dominio de la aplicación,
servicios que debe proporcionar y sus restricciones, este proceso
se realiza trabajando en conjunto con los usuarios finales.

Diseño de software
Esta fase establece cuál será la arquitectura general del sistema,
además se distinguen los subsistemas, como funcionan cada uno
de ellos y como se encuentran relacionados.
Implementación y pruebas unitarias
Se trata de comprobar que se cumpla con lo especificado, esto se
realiza con cada uno de los subsistemas que se hayan distinguido
en la etapa anterior.
Integración y validación del sistema
Esta fase se realiza tras haber completado la fase anterior, ya
que, una vez finalizados todos los subsistemas se funciona cada
uno de ellos y se realizan pruebas del sistema completo.
Operación y mantenimiento
En esta fase se pone a funcionar el sistema entregado y de existir
errores se deben corregir, esto es para brindar mayor robustez al
sistema y no para añadir nuevas funcionalidades (Olivera et al.,
2021).

6.2. Proceso del Modelo Cascada

En la Figura 3 se pueden observar las cinco fases del
Modelo Cascada en el orden en el que se deben aplicar de
acuerdo a la secuencia que se ha descrito anteriormente.
 Figura 6. Modelo Cascada, basado en (Olivera et al., 2021).

6.3. FLUJO DE TRABAJO DE LA APLICACIÓN

7. Á
RE
AS
DE
L
CO
NO
CIM
IEN
TO
INV
OLUCRADAS
⚫ Desarrollo de aplicaciones con python
⚫ Lenguaje de señas (ecuatoriano)
⚫ Visión artificial
⚫ Reconocimiento de manos
⚫ Reconocimiento de movimientos
8. RESULTADOS ESPERADOS
Se va a desarrollar una aplicación para el apoyo de la enseñanza del Lenguaje
de Señas Ecuatoriano, las técnicas de análisis de datos y las técnicas de
análisis de imágenes mediante algoritmos de visión artificial, lo que permite que
la aplicación sea fácilmente adaptable al lenguaje de señas Ecuatoriano.

La aplicación propuesta indica al usuario a través de una imagen o un

videoclip, qué seña debe ejecutar y de qué manera debe hacerlo, haciendo uso
de procesamiento de imágenes digitales y algoritmos de inteligencia artificial,
determinando si el usuario ha ejecutado la seña de manera correcta. Los
resultados que se espera de la aplicación, es poder facilitar el aprendizaje y la
comunicación con los usuarios.

8.1. Vistas de las pantallas

8.1.1. Pantalla Principal

8.1.2. Pantalla de Instrucciones
Pantalla del abecedario
8.1.3. Pantalla Saludos
 9. BIBLIOGRAFÍA
Ayala Núñez, M. A. (2021). Lengua de señas ecuatoriana: Diagnóstico de su situación y necesidad de una planificación lingüística.
http://repositorio.puce.edu.ec:80/xmlui/handle/22000/19021

Cuji, B., Gavilanes, W., & Silva, A. (2018). Aprendizaje del lenguaje de señas mediado por las TIC. Revista ESPACIOS, 39(29).
https://www.revistaespacios.com/a18v39n29/18392924.html

Gamboa, J. Z. (2018). Evolución de las Metodologías y Modelos utilizados en el Desarrollo de Software. INNOVA Research
Journal, 3(10), 20-33.

Gutiérrez, E. G., Guevara, M. M. M., & López, N. R. (2020). METODOLOGÍAS ÁGILES PARA EL DESARROLLO DE
PROYECTOS. 9.

López Molina, A. M., & Tierra Guano, L. Y. (2021). Inserción laboral de personas con capacidades especiales en el Ecuador,
período 2013-2018. http://repositorio.ug.edu.ec/handle/redug/54510

Nations, U. (2021). Día Internacional de las Lenguas de Señas | Naciones Unidas. United Nations; United Nations. Recuperado 28
de noviembre de 2021, de https://www.un.org/es/observances/sign-languages-day

Olivera, L. D. L. C. D., & Alonso, L. M. D. (2021). Modelos de Desarrollo de Software. Revista Cubana de Ciencias Informáticas,
15(1).
Pichucho, J. P., Constante, P. N., Gordón, A. M., & Mendoza, D. J. (s. f.). Interpretación de lenguaje de señas ecuatoriano
empleando visión por computador. 13.

Santa Maria Pinedo, J. C. ., Ríos López, C. A., Rodríguez Grández, C., & García Estrella, C. W. (2021). Reconocimiento de
patrones de imágenes a través de un sistema de visión artificial en MATLAB. Revista científica De Sistemas E informática, 1(2), 15-
26. https://doi.org/10.51252/rcsi.v1i2.131

Ramírez, M. R., Rojas, E. M., & Cisneros, F. R. (2018). Metodología SCRUM y desarrollo de Repositorio Digital. 12.

Salazar, J. C., Casallas, Á. T., Linares, J. C., Lozano, A., & Valbuena, Y. L. (2019). Scrum versus XP: Similitudes y diferencias |
Tecnología Investigación y Academia. https://revistas.udistrital.edu.co/index.php/tia/article/view/10496

Scrum. (2021). What is Scrum? Scrum.Org. https://www.scrum.org/resources/what-is-scrum

Triviño López, I. (2018). Sistema para el aprendizaje del lenguaje de señas colombiano usando visión por computador. Ingeniería
en Automatización. https://ciencia.lasalle.edu.co/ing_automatizacion/159

Villa, A. R. (2021). El lenguaje de señas en un mundo globalizado. 12.

Visión Artificial. (2019, 12 agosto). Conceptos Generales y Procesos de Visión Artificial. Recuperado 18 de noviembre de 2021, de

http://www.etitudela.com/celula/downloads/visionartificial.pdf