UNIVERSIDAD NACIONAL DE PIURA

Facultad de Ciencias

Escuela Profesional de Ingeniería Electrónica y

Telecomunicaciones

PROYECTO DE TESIS
“DISEÑO E IMPLEMENTACION DE PROTOTIPO PARA
TRADUCCION DE LENGUAJE DE SEÑAS A TEXTO”

Presentado por:

 Willian Manuel More Sernaque

Asesor: Ing. Franklin Barra Zapata

Línea de Investigación: Electrónica y Telecomunicaciones

Sub Línea de investigación: Sistemas Digitales.

PIURA, PERÚ
Año 2024

1
INDICE

INTRODUCCIÓN 4
I. ASPECTOS DE LA PROBLEMÁTICA. 6
1.1.Descripción de la realidad problemática.........................................................6
1.2.Formulación y planteammientodel problema de investigación.......................7
1.2.1. Problema General........................................................................................7
1.2.2. Problemas Específicos.................................................................................7
1.3.Justificación e importancia de la investigación...............................................7
1.3.1. Justificación de la Investigación..................................................................8
1.3.2. Importancia de la investigación...................................................................8
1.4.Objetivos.........................................................................................................9
1.4.1. Objetivo General.........................................................................................9
1.4.2. Objetivos Específicos..................................................................................9
1.5.Delimitación de la investigación.....................................................................9
II. MARCO TEÓRICO. ¡Error! Marcador no definido.
2.1.Antecedentes de la investigación....................................................................9
2.2.Bases teoricas................................................................................................11
2.2.1. Causas y clasificación de pérdida auditiva ...............................................15
2.2.2. Tecnologías de asistencia .......................................................................18
2.2.3. Plataforma electrónica de código abierto .................................................19
2.2.4. Sensores Pasivos ......................................................................................20
2.2.5. Sensores Activos o Generadores de Señal ...............................................22
2.2.6. Lectura Labial..........................................................................................25
2.2.7. Sistemas complementarios de comunicación oral....................................27
2.2.8. Lenguaje de señas.....................................................................................30
2.2.9. Fisiología de los dedos.............................................................................33
2.2.10. Técnicas de Procesamiento.....................................................................38
2.2.11. Redes neuronales y metodología de clasificación..................................40
2.2.12. Reconocimiento de patrones ……...….….…………..…………………42
2.2.13 Módulos de Procesamiento en Python……..………...………..………...42
2.2.14. Arduino Nano.......................................................................................43
2.2.15 Bocina.......................................................................................................45
2.2.16 Modulo Matriz Led 8x8..........................................................................45
2.2.17 Plataforma Python....................................................................................45
2.2.18 IDE Arduino............................................................................................45
2.2.19 Giroscopio (MPU6050)............................................................................45
2.2.20 Sensores Flex............................................................................................45

2.3.Marco referencial..........................................................................................46
2.4.Hipótesis........................................................................................................46
III. MARCO METODOLÓGICO. 47
3.1.Enfoque.........................................................................................................47
2
 3.2.Diseño............................................................................................................47
3.3.Nivel..............................................................................................................47
3.4 Tipo...............................................................................................................47
3.5.Sujetos de la investigación............................................................................47
3.6.Métodos y procedimientos............................................................................47
3.7.Técnicas e instrumentos................................................................................47
3.8.Aspectos éticos..............................................................................................48
IV. ASPECTOS ADMINISTRATIVOS 49
4.1.Cronograma de ejecución..............................................................................49
4.2.Presupuesto....................................................................................................50
4.3.Financiamiento..............................................................................................50
V. REFERENCIAS BIBLIOGRÁFICAS 51
VI. ANEXOS 52
6.1.MATRIZ BÁSICA DE CONSISTENCIA....................................................52
6.2.MATRIZ GENERAL DE CONSISTENCIA................................................54

3
 INTRODUCCION

En las últimas décadas la sociedad afronta problemas de integración hacia diferentes

grupos de personas con habilidades diferentes entre estos grupos las personas que
presentan mayor dificultad tanto de integración como de comunicación verbal es la
comunidad sordomuda, la cual conlleva que muchas personas presten poca atención
o interés en el lenguaje característico de señas,

Según el Censo Nacional de Población (INEI-2017), 8,790 personas con

discapacidad registraron la Lengua de Señas Peruana (LSP) como lengua materna.
En el ámbito educativo, la Defensoría del Pueblo advirtió, en el año 2019, que el 76
% de las II.EE. públicas y el 83 % de las II.EE. privadas reconocen que no están en
condiciones de brindar los servicios educativos a los estudiantes sordos.

Durante la implementación de la estrategia de educación no presencial a

consecuencia de la emergencia sanitaria por COVID-19, se evidenció la falta de
intérpretes de LSP en los programas de “Aprendo en Casa” que se emitieron en las
primeras tres semanas. “El problema del acceso a la educación para este grupo de
estudiantes ha continuado durante las clases remotas que dictan en sus II.EE., debido
a la falta de docentes e intérpretes que dominen la LSP.

Es por ello que la carencia respecto a este tema de investigación, nos conlleva a
conocer más de ello y ver opciones de ayuda o asistencia atreves del desarrollo de
dispositivos o sensores de movimiento y su sistema de convertir datos físicos a
digitales han llevado a la ciencia fuera de nuestro país estar en constante evolución
tecnológica para el servicio de las personas, esto es el resultado de muchas pruebas
de equipos elaborados con los avances tecnológicos que salen cada día.

El siguiente proyecto de investigación y desarrollo tiene como finalidad realizar una

interfaz para describir palabras, letras y caracteres de una persona mediante el
reconocimiento de patrones con ayuda de sensores y así interpretar el lenguaje de

señas o gestos comunes y convertirlo de voz a Texto con ayuda de un parlante y

Matriz de leds, este diseño contara con algunos compontes conocidos a utilizar:
4
Con la ayuda de diferentes dispositivos y software como Arduino, sensor MPU6050
se realiza una etapa creación datos captados del movimiento de gestos para luego ser
procesados y obtener de ello resultados de audio los que serán de mucha importancia
para la comunicación no verbal.

5
I. ASPECTOS DE LA PROBLEMÁTICA

1.1. Descripción de la realidad problemática.

Si bien existen metodologías de aprendizaje que llevan a la integración social a la

comunidad sordomuda, este lenguaje es poco considerado en los centros educativos
es por ello que la sociedad se dificulta en la interpretación e integración de personas
con este problema congénito.

Según el Censo Nacional de Población (INEI-2017), en el Perú hay 232 176

personas con dificultad para oír, cifra que representa el 7,6 % de las personas con
discapacidad. De acuerdo a este censo, 8790 personas con discapacidad registraron
la Lengua de Señas Peruana (LSP) como lengua materna. Si bien no se cuenta con
información precisa sobre el número de personas que actualmente se comunican a
través de la LSP, la Defensoría del Pueblo recibe constantemente quejas y petitorios
referidos a las barreras que enfrentan las personas con discapacidad en los servicios
educativos, de salud, entre otros, debido a la falta de docentes e intérpretes
calificados en LSP. (INEI-2017)

El sector tecnológico en el entorno de domótica viene desarrollando diferentes

dispositivos de asistencia entre ellos gadgets de activación. Estos diferentes
desarrollos conllevan altos niveles de precisión y procesamiento de señal que que
convierten los gestos en señales eléctricas, es por ello que demanda de mayor de
capacidad de almacenamiento, para lo cual se busca optimizar el proyecto ya que se
cuenta con controladores de capacidad limitada, una forma de optimizar recursos de
memoria es utilizando herramientas de aprendizaje automático.
El sistema consiste adherir sensores de flexión en guantes de látex que permita
lecturas adecuadas que no genere ruido o señales alteradas, es por ello que se
considera método de activación y no generar datos aleatorios en movimiento. Lo que
se busca es clasificar saludos del lenguaje de señas peruano, y mostrar ya sea de
manera visual o sonora la interacción de la mano.

Con la implementación y desarrollo de este dispositivo de asistencia se pretende

hondar en este tema y entender de tal forma el significado de inclusión y así seguir
6
 aportando para futuros proyectos de mayor alcance tanto en procesamiento y
almacenamiento en beneficio a las personas que afrontan.

1.2. FORMULACIÓN DEL PROBLEMA DE INVESTIGACIÓN

1.2.1. PROBLEMA GENERAL

¿Es posible la implementación de un traductor de lenguaje de señas a voz y texto?

1.2.2. PROBLEMAS ESPECÍFICOS

01 ¿Se podrá implementar el sistema de asistencia para personas con problemas

congénitas de sordera, sensor?

02 ¿Se podrá sensar cada movimiento de las manos con cada postura mediante el
acelerómetro-MPU y modulo amplificador?

03 ¿Se podrá usar la plataforma Python para almacenar los datos y realizar análisis
en tiempo real?

04 ¿Se podrá realizar pruebas de funcionamiento al sistema de traductor

implementado?

1.3. JUSTIFICACIÓN E IMPORTANCIA DE LA INVESTIGACIÓN

1.3.1. JUSTIFICACIÓN DE LA INVESTIGACIÓN

En la actualidad, la tecnología asistiva constituye un gran aporte para las personas

con discapacidad, pues facilita su desenvolvimiento dentro de la sociedad y
mejoran su calidad de vida.
Con base al Plan Nacional del Buen Vivir cuyo objetivo número dos plantea:
“Auspiciar la igualdad, la cohesión, la inclusión y la equidad social y territorial, en
la diversidad”, se promueven políticas que impulsan el acceso y uso de todas
formas de comunicación: auditiva, visual, sensorial, y otras tecnologías que
permitan la inclusión de las personas con cualquier discapacidad.

7
 En este contexto el presente proyecto se ha desarrollado con el fin de mejorar la
comunicación de las personas con discapacidad auditiva y de lenguaje ofreciendo
una herramienta c a p a z d e t r a d u c i r e l l e n g u a j e d e s e ñ a s y así
g a r a n t i z a r m a y o r independencia estimulando su interés por aprender y
superarse lo que se refleja en una mejor calidad de vida.
El prototipo desarrollado permite establecer una comunicación bidireccional,
enviando la información a una aplicación para dispositivos móviles en donde se
visualiza y se escucha la traducción, de la misma forma, el receptor puede
comunicarse con la persona discapacitada a través de mensajes que son enviados
mediante una conexión inalámbrica y visualizados en una pantalla ubicada en el
guante electrónico.
Por las características del proyecto, se puede mencionar que su realización es
factible pues se dispone de bibliografía especializada, recursos necesarios y el
conocimiento adecuado para elaborar el prototipo, pues constituye un instrumento
alternativo de inclusión para personas con discapacidad auditiva y desarrollo
verbal.
Como se puede evidenciar, el proyecto es de gran utilidad debido a que se trata de
un sistema eficaz y fiable de asistencia para personas con discapacidad auditiva y
de lenguaje, que permite mejorar su comunicación, desenvolvimiento e inclusión
en diferentes sectores como el educativo, social y laboral.

Este proyecto se realiza debido a una escasa dedicación de proyecciones

tecnológicas para apoyo hacia este grupo de personas.

1.3.2. IMPORTANCIA DE LA INVESTIGACIÓN

La importancia de este desarrollo es debido a lo que involucra la carencia de investigación
en estas líneas de personas con problemas congénitos.

La comunicación e integración de su entorno personal sociocultural y la obtención

favorable de recursos económicos para así seguir desarrollando prototipos que benefician
a personas con alguna ausencia del sentido comunicativo de manera oral.

La elaboración de este proyecto constituye un factor esencial para preservar y promover

un sentido de comprensión con identidad y de comunidad; todo ello, dentro de la política
de real inclusión para este grupo vulnerable.

8
1.4. OBJETIVOS
1.4.1. OBJETIVO GENERAL

Ofrecer una opción de interacción entre las personas que carezcan de sensibilidad
auditiva y comunicativa. Como de la misma manera ofrecer una opción de
integración y responsabilidad hacia la comunidad y seguir dando importancia a los
alcances y/o estudios que se desarrollan en el país con ayuda de componentes
electrónicos con la iniciativa de ayudar o dar alcance para mejores
implementaciones.

1.4.2. OBJETIVOS ESPECÍFICOS

1.Analizar los patrones de señal y adecuarlo al procesamiento de gestos.

2.Realizar la calibración del sistema de flexión para procesamiento adecuado.

3. proponer tecnología accesible de bajo costo y software libre.

4. Realizar pruebas de clasificación para mejor reconocimiento de señal.

5.Realizar prueba de reconocimiento de gestos.

1.5. DELIMITACIÓN DE LA INVESTIGACIÓN

El presente trabajo de investigación se realizará en la provincia de Piura durante el

último semestre del año 2023. El dispositivo está orientado para su aplicación en la
ciudad de Piura correspondiente al lenguaje de señas originario en Perú.

II. MARCO TEÓRICO

2.1 ANTECEDENTES DE LA INVESTIGACIÓN

Según Bardales Cruz Heriberto; Israel-2017 en su tesis SISTEMA TRADUCTOR DE

LEGUAJE DE SEÑAS A VOZ

Este proyecto realiza la implementación de un sistema portátil que traduce el lenguaje de

señas a voz, enfocado a las personas que carecen del habla. Básicamente está constituido por
un guante con sensores de flexión, el cual es manipulado por el usuario para formar las

9
señas del lenguaje de los sordomudos, para después ser captadas por nuestro sistema, que
tiene la capacidad de reconocerlas por medio de un microcontrolador programado con una
unidad de inferencia difusa.

(Bardales Cruz, Heriberto; Guerrero Vargas, Jorge; Peña Rangel, Norberto; Santana
Quintero, Luis Vicente; Vite Silva, Israel-2017)

Según (Rocío Ortiz Domínguez Carlos Alberto Amaro Barbosa-2017) en su desarrollo

de un sistema traductor de señas dactilológicas a voz, realiza lo siguiente

Diseño e implementación de un prototipo constituido por un guante con sensores basado en

un sistema analógico-digital para la traducción del lenguaje manual a través de la síntesis de
voz, con el fin de ayudar a que personas sordomudas se comuniquen con quienes si poseen
capacidad auditiva y no conocen un lenguaje de señas. El sistema debe ser capaz de detectar
determinados movimientos de la mano para generar voz a través de un sintetizador,
permitiendo de esta forma la comunicación por medio del canal auditivo. (Rocío Ortiz
Domínguez Carlos Alberto Amaro Barbosa-2017)

Según Carguacundo Nuela, Myriam Patricia-2017) Diseño e implementación de un

sistema traductor de texto y voz a lenguaje de señas a través de una interfaz gráfica
con un avatar mediante dispositivos Android (2017).

Este proyecto es un sistema traductor de texto y voz a un lenguaje de señas que tiene un
avatar grafica mediante una señal la palabra propuesta, este es un mecanismo que ayudara a
los sordomudos a comunicarse mejor con las personas de su entorno, de forma que sea
portátil esta realizado para Android.

Para la realización del reconocimiento de voz se utiliza el motor de GOOGLE NOW quien
permite convertir de voz a texto. El número de letras que se podrá ingresar es de 25 como
máximo incluyendo los espacios en blanco.

10
2.2. BASES TEÓRICAS

2.2.1. Causas y clasificación de pérdida auditiva

Las causas que originan la discapacidad auditiva pueden ser:
- Genéticas: Se pueden trasmitir de padres a hijos. En el caso del área auditiva, este
aspecto es el más frecuente y poco previsible.
- Congénitas: se refiere a las características o rasgos con los que nace un individuo
y que no dependen sólo de factores hereditarios, sino que son adquiridos durante
la gestación, por ejemplo, las infecciones virales del embrión, destacando la
rubéola materna. Destacan también la ingesta de medicamentos durante el
embarazo y la asfixia al nacer.
- Adquiridas: Son las ocasionadas por algún accidente o enfermedad después del
nacimiento. Destaca la meningitis meningocócica, la otitis crónica, la
hiperbilirrubinemia y las enfermedades de tipo infeccioso. Otra causa adquirida es
la que afecta especialmente a los trabajadores expuestos a ruidos de tipo industrial
y la pérdida auditiva que se relaciona con el envejecimiento.

Las pérdidas auditivas o hipoacusias se pueden clasificar según el grado en que se ve

afectada la recepción de los sonidos y la ubicación de la lesión que la ocasiona. En
este sentido, se pueden identificar distintos niveles de pérdida, los que se miden en
una unidad llamada decibel:
- Hipoacusia leve (20-40 dB.)
- Hipoacusia moderada (40-70 dB.)
- Hipoacusia severa (70-90 dB.)
- Sordera (+ 90 dB.)

Las hipoacusias se diagnostican de acuerdo a la ubicación de la lesión: De

transmisión (oído externo o medio), mixtas (superposición de hipoacusia de
transmisión más neurosensorial) y neurosensorial (oído interno: cóclea o vía neural).

11
 Tabla 1. Posibilidades De Audición Y Lenguaje De Acuerdo Al Grado De Pérdida
Auditiva

Nivel Intensidad de Audición Desarrollo del Lenguaje

la pérdida
NO Perciben el habla y los El lenguaje oral se
0-25 dB SIGNIFICATIV sonidos desarrolla en
A sin grandes dificultades. forma natural.
La comprensión del La conversación se emite en
lenguaje oral se apoya forma natural, por lo tanto,
sustantivamente en la vía con ayuda de audífonos es
25-40 dB LEVE visual y en la Lectura probable que el lenguaje oral
Labio Facial (LLF). se desarrolle por vía
Identifica y discrimina auditiva. Sin embargo, es
sonidos a corta distancia y posible que exista dificultad
siempre que la con la discriminación de
contaminación acústica algunas
no sea palabras.
muy alta.
La comprensión del La conversación se emite en
lenguaje oral se apoya forma natural, por lo tanto,
sustantivamente en la vía con ayuda de audífonos es
40-60 dB MODERADA visual y en la Lectura probable que el lenguaje oral
Labio Facial (LLF). se desarrolle por vía
Identifica y discrimina auditiva. Sin embargo, es
sonidos a corta distancia y posible que exista dificultad
siempre que la con la discriminación de
contaminación acústica algunas
no sea palabras.
muy alta.
Existe gran dificultad en la
La voz prácticamente no producción y comprensión
se oye, sin embargo, es del lenguaje oral, su
60-90 Db SEVERA desarrollo se logra por
posible escuchar sonidos
de relativa intensidad. medio de apoyos específicos
(visuales, táctiles y
kinésicos) Se emplea el
lenguaje
de señas.
Pueden ser conscientes de
altos sonidos y vibraciones,
Escucha sólo sonidos de pero no pueden comprender
90 o más PROFUNDA alta intensidad o volumen.
dB cada palabra amplificada. La
La voz no se oye. producción de lenguaje oral
se logra sólo a través de
apoyos específicos. Se
emplea
el lenguaje de señas.

12
 Fuente: De Chile (s. f.)

2.2.2. Tecnologías de asistencia

La tecnología asistida (TA) es cualquier herramienta electrónica utilizada para permitir

a individuos con discapacidades o necesidades especiales verse involucrados en las
mismas actividades de sus pares sin discapacidad.
Las personas con discapacidad auditiva con leve a moderada hipoacusia tienen
necesidades diferentes de las que son profundamente sordas. Los audífonos amplifican
principalmente sonidos que ya puede escuchar la persona con problemas de audición,
mientras que los implantes cocleares se aplican a una persona con sordera profunda.
Los implantes cocleares son mucho más complejos que los audífonos: un cirujano
implanta un dispositivo magnético y la bobina en la cóclea en el oído interno. El
implante coclear está diseñado específicamente para personas con pérdida auditiva
neurosensorial o sordera nerviosa.
En el caso de personas con sordera profunda, ya sea ésta adquirida o congénita,
requieren de herramientas que les permitan comunicarse con su entorno, por lo que se
han desarrollado diferentes dispositivos y tecnologías que facilitan su
intercomunicación los mismos que se presentan en los antecedentes del proyecto.

3.2.3 Plataforma electrónica de código abierto

Las plataformas electrónicas permiten desarrollar proyectos de ingeniería de diferentes

índoles como domótica, automatización, sistemas embebidos, robótica, entre otros. Se
basan en el concepto de Hardware Libre (HL) que se define como “aquel hardware cuyo
diseño se hace disponible públicamente para que cualquier persona lo pueda estudiar,
modificar, distribuir, materializar y vender, tanto el original como otros objetos basados
en ese diseño”.
Estas plataformas emplean elementos y materiales disponibles, infraestructura abierta,
contenido no restringido y herramientas de diseño libres ofreciendo a los usuarios la
posibilidad de desarrollar y compartir proyectos.
El uso de Hardware Libre brinda diferentes ventajas a una sociedad y en particular a los
sectores más innovadores. Entre ellas destaca la mejora de la sostenibilidad y soberanía
tecnológicas, así como la adopción de las libertades al igual que el software libre.

13
 Además, ofrece una oportunidad para contribuir a salvar la brecha tecnológica y
educativa entre los países desarrollados y aquellos emergentes. De hecho, pese a ser un
fenómeno reciente, existen unos ochenta y cuatro grupos de investigación en esta
materia, distribuidos en diecisiete países, que apuntan a los ideales del software libre y
aproximadamente setenta y un países lo están comercializando, incluido el Ecuador. A
continuación, se describen las principales plataformas electrónicas de código abierto que
existen en el mercado.

3.2.4 Sensores Pasivos:

“Son aquellos que generan señales representativas de las magnitudes a medir por
intermedio de una fuente de energía auxiliar. Ejemplo: sensores de parámetros
variables (de resistencia variable, de capacidad variable, de inductancia variable”
(Juan González, 2010, párr. 10).

3.2.5 Sensores Activos o Generadores de Señal:

“Son aquellos que generan señales representativas de las magnitudes a medir en
forma autónoma, sin requerir de fuente alguna de alimentación. Ejemplo: sensores
piezoeléctricos, fotovoltaicos, termoeléctricos, electroquímicos, magnetoeléctricos”
(Juan González, 2010, párr. 9)

3.2.3 Lectura Labial

Consiste en reconocer las palabras a través de los órganos articuladores visibles

como son los labios, la lengua y los dientes. Este sistema suele ser difícil de
comprender ya que algunos fonemas tienen el mismo punto de articulación por lo
que se puede generar confusión entre palabras con similar pronunciación.
Este tipo de comunicación requiere de una completa preparación en lo que se
refiere a memoria visual y capacidad de atención. Por otro lado, produce fatiga en
el emisor puesto que debe pronunciar enunciados cortos y sencillos.

3.2.6 Sistemas complementarios de comunicación oral

Estos sistemas permiten reducir los problemas de comunicación y apoyan el

acceso al lenguaje oral.

14
3.2.7 Lenguaje de señas
Una lengua de señas o lengua de signos es una lengua natural de expresión y
configuración gesto-espacial y percepción visual (o incluso táctil por ciertas personas
con sordoceguera), gracias a la cual, las personas sordas pueden establecer un canal
de comunicación con su entorno social, sea este conformado por otras personas
sordas o por cualquier persona que conozca la lengua de señas empleada.

El lenguaje hablado se basa en la comunicación a través del canal sonido-auditivo,

mientras que el lenguaje de signos se basa en la comunicación a través del canal gestual-
visual-espacial.

En las siguientes imágenes observamos la interpretación del abecedario mediante el

lenguaje de señas.

Figura 2.1. Signo manual de señas peruano

Fuente: (MARCOS VASQUEZ, 2016)

3.2.8 Fisiología de los dedos

El esqueleto óseo de la mano consiste en 8 huesos carpianos divididos en dos filas: la
fila proximal articulada con las porciones distales del radio y el cúbito, a excepción del
pisiforme que se encuentra en disposición palmar y se articula con el triquetrum; los
cuatros huesos cárpales distales están articulados con los cinco metacarpianos.

15
 El rayo del pulgar con su metacarpiano y las dos falanges tiene un mayor grado de
libertad de movimiento que ninguno de los otros dígitos. La articulación trapecio
metacarpiana es una articulación bicóncava, en silla de montar, que permite un amplio
rango de movilidad en muchos planos, porque su cápsula articular, aunque resistente, es
lo suficientemente laxa para permitir un movimiento sustancial.

Figura 2.2. Muestra morfológica

Fuente (TENESACA y ZEAS, 2011)

El dedo índice: formado por las tres falanges que se proyectan desde el segundo
metacarpiano fijo, bajo la influencia de tres músculos intrínsecos (interóseo palmar,
interóseo dorsal, y primer lumbrical) y cuatro músculos extrínsecos (extensor índicis propio,
extensor comunis para el índice, flexor digitaron profundus para el índice y flexor digitorum
superficiales para el índice).

Figura 2.3. Arco de flexión

Fuente (TENESACA y ZEAS, 2011)

16
Articulación Metacarpofalángica (MF). A. MF en flexión fijada fuertemente por los
ligamentos colaterales lo que impide cualquier movimiento hacia lateral o medial. B. MF en
extensión con ligamentos colaterales laxos lo que permite movimientos hacia lateral y
medial.

Figura 2.4. Señas físicas

Fuente :(Morfolia – Vol. 4, 2012)

Arcos de la mano. A. Arco longitudinal

Figura 2.5. Señas físicas

Fuente (Morfolia – Vol. 4, 2012)

17
3.2.9 Técnicas de Procesamiento
 Procesamiento Analógico
El procesamiento de señales analógicas es la operación matemática o el análisis de
señales analógicas a través de medios analógicos. Esto puede realizarse en un marco
de tiempo discreto o continuo y representa la forma principal en que se realizan estas
operaciones. Por lo general, este procesamiento implica alguna forma de control,
filtrado, desvanecimiento o eliminación de ruido.
Para que la señal sea analógica, debe tener un valor continuo. Básicamente, la señal
debe presentar un flujo de información variable en el tiempo. Cada
fluctuación en la señal tiene un significado importante, a diferencia de la digital, que
se ocupa de la representación numérica. El contexto más común de analógico es en
electrónica, cuando una señal se envía como información física.

 Procesamiento digital

El Procesado Digital de Señales se ocupa de la representación, transformación y

manipulación de señales discretas desde el punto de vista de la información que
contienen.

Análisis espectral: en ocasiones queremos conocer que frecuencias están presentes en

una señal que ejerce la flexión de los dedos. Las muestras de las frecuencias
presentes en los diferentes patrones de señal. Esta idea está íntimamente ligada con la
idea de transformaciones, que no son más que herramientas matemáticas que nos
permite describir las señales en términos de sus valores a lo largo de tiempo
(dominio temporal) o bien a partir de las frecuencias contenidas en dicha señal
(dominio frecuencial). Veremos que la descripción de señales y también sistemas en
el dominio frecuencial puede facilitar el procesado.

18
 Este proceso de reconocer gesto de movimientos brinda una forma de desarrollo y
aporte importante en el desarrollo de un dispositivo de comunicación mediante el
lenguaje de señas.

 Adquisición de señales

En el proceso de adquisición de señales intervienen los sensores que permiten

determinar la posición de los dedos y un acelerómetro para medir la inclinación del
brazo. De esta forma se puede determinar la configuración manual que el usuario
realiza.

 Salida de información
La presentación de los datos del sistema embebido se basa en tres elementos detallados a
continuación:
- Pantalla: este dispositivo de salida permite al usuario visualizar su interpretación
de gestos del sistema y sería factible crear un menú de interpretación
dependiendo del modo seleccionado se visualiza la traducción y los mensajes
recibidos desde las diferentes opciones.
Speaker: en el modo de traducción local el mensaje se reproduce mediante un
speaker conectado al módulo EMIC2. El dispositivo seleccionado dispone de un
circuito de amplificación propio por lo que no fue necesario diseñar un circuito
adicional.

3.2.10. Redes neuronales y metodología de clasificación

Una de las principales características de las ANN es su capacidad de aprendizaje. El

entrenamiento de las ANN muestra algunos paralelismos con el desarrollo intelectual
de los seres humanos. No obstante, aun cuando parece que se ha conseguido entender
el proceso de aprendizaje conviene ser moderado porque el aprendizaje de las ANN
está limitado. El objetivo del entrenamiento de una ANN es conseguir que una
aplicación determinada, para un conjunto de entradas produzca el conjunto de salidas
deseadas o mínimamente consistentes. El proceso de entrenamiento consiste en la
aplicación secuencial de diferentes conjuntos o vectores de entrada para que se
ajusten los pesos de las interconexiones según un procedimiento predeterminado.
19
 Durante la sesión de entrenamiento los pesos convergen gradualmente hacia los
valores que hacen que cada entrada produzca el vector de salida deseado. Los
algoritmos de entrenamiento o los procedimientos de ajuste de los valores de las
conexiones de las ANN se pueden clasificar en dos grupos: Supervisado y No
Supervisado. Entrenamiento (Olivas et al., 2023)

 Redes Neuronales
Este método aplica conceptos biológicos a máquinas para reconocer patrones. Las
redes neuronales están compuestas por una serie de unidades independientes pero
asociadas. Estos modelos intentan usar principios de organización tales como:
aprendizaje, generalización, adaptabilidad, tolerancia a fallos y representación
distribuida y procesamiento, esto mediante un grafo pesado y dirigido, donde los
nodos son las neuronas artificiales y los lazos dirigidos (con su peso específico)
son conexiones entre entradas y salidas de las neuronas. Sus principales
características son:

1. Habilidad para aprender relaciones no lineales de entrada y salida.

2. Uso de procedimientos secuenciales de entrenamiento.
3. Adaptación por sí misma a la información.

 Aprendizaje Supervisado
El aprendizaje del tipo supervisado se refiere a un modelo específico de Machine
Learning en el cual el proceso de generación de conocimiento se realiza con un
grupo de ejemplos o datos etiquetados en los que los resultados que arroja la
operación son conocidos previamente. Este tipo de modelo aprende de estos
resultados e incorpora ajustes en los parámetros interiores para poder adaptarse a
datos nuevos que ingresan al sistema.

Gracias al aprendizaje desarrollado por estos modelos supervisados se alimenta un

conjunto de resultados que permite realizar predicciones adecuadas del
comportamiento de datos nuevos que aún no han sido procesados. Este tipo de
aprendizaje es el que se incorpora en aplicaciones tecnológicas como filtros
detectores de spam en correos electrónicos, detectores de imágenes en captchas o en
aplicaciones de reconocimiento de voz o escritura. (Olivas et al., 2023, p. 37)

20
 Figura 2.6. Estructura de algoritmo

Fuente: (https://machinelearningparatodos.com/tipos-de-aprendizaje-automatico/)

Aprendizaje No Supervisado

Otro de los tipos de machine learning es el conocido como Aprendizaje No

Supervisado. En el cual se incluyen conjuntos de datos sin etiquetar en los que no se
conoce previamente la estructura que estos poseen. En este tipo de aprendizaje se
busca obtener información clave o importante sin la conocer previamente la
referencia de las variables de salida, explorando la estructura de los datos que no
están etiquetados.
Dentro de este tipo de aprendizaje hay dos categorías específicas que se conocen
como clustering y reducción dimensional. El clustering consiste en una técnica
exploratoria para analizar datos en la que se organiza la información por grupos

21
 desconociendo de forma previa la estructura que los compone. Esto se hace con la
finalidad de obtener grupos de datos con características similares.
Es usual utilizar este tipo de análisis de datos en estrategias de marketing ya que
facilitan la construcción de segmentos o nichos de mercado utilizando variables
específicas para su análisis. (Olivas et al., 2023, p. 37)
Por su parte la reducción dimensional se utiliza con datos de alta complejidad que
demandan mayor capacidad de procesamiento. Esta funciona determinando

Figura 2.7. Estructura de algoritmo

Fuente: (https://machinelearningparatodos.com/tipos-de-aprendizaje-automatico/)

correlaciones entre las características que se presentan en los conjuntos de datos,

disminuyendo las redundancias de información y reduciendo el tiempo de análisis
para poder obtener de forma más eficiente la información considerada de mayor
valor.

3.2.11. Reconocimiento de patrones

La actividad de identificar objetos o comportamientos que son recurrentes y

clasificarlos, es denominada reconocimiento de patrones. Es ampliamente utilizada
en la ingeniería, matemáticas e informática.

22
 En la práctica, es muy utilizada, ya que soluciona un gran número de problemas. Y si
bien algunas situaciones pueden ser resueltas por humanos de manera sencilla,
existen otros contextos que una persona no podría solucionar eficientemente sin la
ayuda de un sistema reconocedor de patrones.

El reconocimiento de patrones es una disciplina encargada de identificar figuras,

reconocer formas o leer patrones, con la finalidad de recopilar información sobre el
objeto que se está estudiando y asignarlo a un grupo o clase.

Para entender este concepto de manera más fácil, desglosemos los siguientes
términos:

 Reconocer: Distinguir un objeto entre varios, ya que dicho objeto posee

características y atributos propios que lo diferencia del resto.
 Patrón: Es un objeto que presenta cierto comportamiento y/o características
ya conocidas.
 Clase: Es un grupo de objetos que comparten los mismos atributos y/o
comportamientos.
 Atributo: Es cualquier medida o cualidad extraíble. Constituye los
parámetros, factores, variables y comportamientos.
 Descompocion de señal
Pruebas para Reconocimiento de Patrones de Movimiento Las características
obtenidas para las señales musculares son agrupadas en un vector para ser utilizadas
como entradas en una máquina de soporte vectorial multiclase, las cuales representan
las técnicas más novedosas de aprendizaje. En las tareas más fáciles de
reconocimiento de patrones, las máquinas de soporte vectorial utilizan un plano que
divide las clases a reconocer para crear un clasificador con un margen máximo entre
clases. En los casos en los que las clases dadas no puedan ser linealmente separables
en el espacio de entrada original, primero transforma los datos a un espacio de
características de una dimensión mayor en donde sean linealmente separables, por
medio de una función conocida denominada Kernel. Luego de este paso de
transformación, la tarea de la es encontrar una frontera lineal óptima que separe las
clases de datos que se desea. Por ejemplo, si se realiza pruebas Se tomarían 30
muestras de 40 características para cada uno de los cuatro patrones de movimiento

23
 seleccionados (flexión, extensión, supinación, pronación), que permitieron el
entrenamiento de la máquina de soporte vectorial (Olivas et al., 2023, p. 71)

El objetivo principal de la etapa de preprocesamiento de datos es facilitar la

capacitación de la red. • El preprocesamiento de datos consta de pasos tales como:

 Normalización
 Transformaciones no lineales
 Extracción de características
 Codificación de entradas y salidas
 Manejo de datos faltantes, etc.

 En modelo de aprendizaje automático tiene como objetivo realizar buenas predicciones sobre
datos nuevos nunca antes vistos.
 Pero, si desarrollas un modelo a partir de todo el conjunto de datos, ¿cómo obtendrías los
datos nunca antes vistos?
 Una forma es dividir el conjunto de datos en dos subconjuntos, que por lo general se divide
en “80-20” y se toman muestras aleatorias (no en secuencia, si no, mezclado).

Conjunto de entrenamiento: Un subconjunto para entrenar un modelo.

Conjunto de prueba: Un subconjunto para probar el modelo.

Figura 2.8. Conjunto de aprendizaje

Fuente: Elaboración propia

3.2.12. Módulos de Procesamiento en Python

24
  Sklearn.Preprocessing

El paquete sklearn preprocessing proporciona varias funciones de utilidad comunes y

clases de transformadores para cambiar los vectores de características sin procesar a
una representación que sea más adecuada para los estimadores posteriores.

En general, muchos algoritmos de aprendizaje, como los modelos lineales, se

benefician de la estandarización del conjunto de datos (consulte Importancia del
escalamiento de características). Si hay algunos valores atípicos en el conjunto, los
escaladores robustos u otros transformadores pueden ser más apropiados

 Series Temporales

Una serie temporal es un conjunto de observaciones que se obtiene midiendo una

variable única de manera regular a lo largo de un período de tiempo. Por ejemplo, en
una serie de los datos de inventario, las observaciones pueden representar los niveles
diarios de inventario durante varios meses. Una serie que muestra las cuotas de
mercado de un producto puede consistir en las cuotas de mercado semanales
registradas durante varios años. Una serie de las cifras de ventas totales puede
consistir en una observación mensual durante muchos años. Lo que estos ejemplos
tienen en común es que se ha observado alguna variable a intervalos conocidos y
regulares a lo largo de un cierto período de tiempo. Por lo tanto, la forma de los datos
para una serie temporal habitual es una secuencia o lista de observaciones única que
representa mediciones tomadas a intervalos regulares.

Esta etapa consiste en extraer la información más relevante de la sección de un

patrón.

• Minimizar la complejidad de la implementación.

• Reducir el costo computacional del procesamiento de la información

25
 Figura 2.9. Descripción matemática (Series Temporales)

Fuente: Investigador

Tasa de Aprendizaje

 La tasa de aprendizaje sirve para regular la velocidad con la que se realizan

modificaciones incrementales de los pesos del modelo.

• En general, se emplea siempre que utilicemos una función de error o pérdida

diferenciable y utilicemos el gradiente de esa función de error para corregir los
pesos del modelo.

Figura 2.10. Curva de aprendizaje

Fuente: (Rocío & Alberto, 2017)

Las redes neuronales se pueden usar para una amplia variedad de aplicaciones. Aquí
revisaremos las más importantes y aplicables en Arduino.

 Reconocimiento de patrones (también conocido como clasificación de

patrones)
 Aproximación de funciones (también conocida como regresión no lineal)
 Predicción (también conocido como análisis de series de tiempo,
identificación de sistemas o modelado dinámico).

3.2.13. ARDUINO NANO

Este microcontrolador está basado en Atmega168 o Atmega328p. El Arduino Nano está
equipado con 30 encabezados de E/S macho , en una configuración similar a DIP30 ,
que se puede programar utilizando el entorno de desarrollo integrado (IDE) del software

26
 Arduino su ventaja son sus dimensiones que lo hacen adaptable , cuenta con capacidad
limitada.

Figura 2.11. Plataforma de Arduino

Fuente (Arduino c.c)

3.2.14. Amplificador de señal (OPAM)

El LM386 (también conocido como JRC386) es un circuito integrado que consiste en un
amplificador que requiere bajo voltaje, tanto en la entrada de audio como en la
alimentación. Es frecuentemente usado en amplificadores para computadoras (parlantes),
radios, amplificadores, etc.

Figura 2.13. Amplificador operacional

Fuente: https://www.electrosmash.com/es/analisis-lm386

3.2.15. Bocina

Una bocina o altavoz es un dispositivo capaz de trasformar la energía eléctrica en

energía acústica. Esta transformación no se realiza directamente, sino que el altavoz
transforma la energía eléctrica a mecánica y en segundos pasa la energía mecánica a
energía acústica.

27
 Figura 2.14. Amplificador operacional

Fuente: https://www.electropro.com/es/amplificador.

3.2.16 MODULO MATRIZ LED 8X8

Las matrices Led son displays que están formados por un grupo de leds formando
normalmente cuadros o rectángulos de diferentes tamaños Desde el punto de vista del
hardware básicamente consiste en una matriz de pixeles similar a los de la pantalla de un
monitor, generalmente de un solo color (la mayoría de las veces rojos),aunque también
existen los bicolores o multicolores, aprovechando los Leds RGB. La matriz está

compuesta por una serie de filas y columnas la intersección entre ambas contiene un

led, para que este encienda, tiene que recibir simultáneamente un 0 en la fila y un 1 en la
columna, cuando se da esta condición la electrónica del circuito se encarga de encender
el led correspondiente.

En este caso se utilizará un módulo de 8x8 el cual es usado con su controlador max7219
el encargado de multiplexar mediante el protocolo de comunicación SPI y así poder
utilizar de mejor manera con Arduino.

Figura 2.15. Matriz – Led

Fuente: https://www.electropro.com/es/amplificador.

Características de Matriz Led

28
  Voltaje de operación DC (VCC): 5V
 Corriente de Operación: 320 mA
 Tipo de Conexión: Cátodo Común
 Diámetro del Led: 3 mm
 Pines de conexión:
o VCC
o GND
o DIN
o CS
o CLK
o Dimensiones del Módulo: 50 mm x 32 mm x 15 mm

Fuente: https://www.electropro.com/es/amplificador.

3.2.17 Plataforma Python

 Consola de Python

Python es un lenguaje de programación con una curva de aprendizaje más corta

comparada con otros lenguajes, esto hace que sea fácil, pero el ser sencillo no es un
impedimento para realizar programas potentes. Tiene estructuras de datos de alto
nivel eficientes y un enfoque simple pero efectivo para la programación orientada a
objetos. La sintaxis y el tipado dinámico de Python, junto con su naturaleza

interpretada, lo convierten en un lenguaje ideal para el desarrollo de scripts y

aplicaciones rápidas en muchas áreas en la mayoría de las plataformas.

El intérprete de Python y la extensa biblioteca estándar están disponibles de forma

gratuita en forma de fuente o binario para todas las plataformas principales del
sitio web de Python, y se pueden distribuir libremente. El mismo sitio también
contiene distribuciones y punteros a muchos módulos, programas y herramientas
de Python de terceros gratuitos, y documentación adicional.

El intérprete de Python se extiende fácilmente con nuevas funciones y tipos de

datos implementados en C o C ++ (u otros lenguajes a los que se puede llamar

29
 desde C). Python también es adecuado como lenguaje de extensión para
aplicaciones personalizables. La Figura 2.16 muestra la consola Python 3.4.

Con esta herramienta será de análisis de data que envié los sensores para el
procesamiento de señal.

Figura 2.16. Plataforma IDE Python

30
3.2.18 IDE Arduino
IDE – entorno de desarrollo integrado, es un programa informático compuesto por un
conjunto de herramientas de programación. Puede dedicarse en exclusiva a un solo
lenguaje de programación o bien puede utilizarse para varios.
Arduino simplifica el proceso de trabajo con microcontroladores, ofreciendo algunas ventajas
para estudiantes y profesionales como son:
- Costo: Las placas Arduino son relativamente baratas comparadas con otras
plataformas microcontroladoras.
- Multiplataforma: El software de Arduino se ejecuta en sistemas operativos
Windows, Macintosh OSX y GNU/Linux.
- Entorno de programación simple y claro: El entorno de programación de Arduino
es fácil de usar, pero es suficientemente flexible para el desarrollo de proyectos
avanzados.
- Código abierto y software extensible: El software Arduino está publicado como
herramientas de código abierto, disponible para extensión por programadores
experimentados y el lenguaje puede ser expandido mediante librerías C++.
Código abierto y hardware extensible: Arduino está basado en microcontroladores
ATMEGA8 y ATMEGA168 de Atmel, por lo que diseñadores experimentados de
circuitos pueden hacer su propia versión del módulo, extendiéndolo y mejorándolo.

Figura 2.16. ID Arduino

Fuente (Arduino c.c)

31
Ventajas del IDE Arduino

- Tiene un lenguaje basado en C y C++.

- Permite programar directamente el hardware.

- Al tratarse de un proyecto Open-Source, se puede probar y experimentar sobre la

misma tarjeta.
- Tiene una comunidad de desarrollo alrededor del mundo lo que permite un acceso a
referencias, ejemplos y proyectos de soporte.

Selección del Acelerómetro

Un acelerómetro es un dispositivo que permite medir la aceleración que se produce al

realizar un movimiento proporcionando una señal eléctrica según la variación física.
Una característica que presenta el acelerómetro es que puede ser utilizado como un
sensor de inclinación, para lo cual se usa la aceleración de la gravedad como un vector
para determinar la orientación de un objeto en el espacio.
Para la elaboración del sistema electrónico se requiere de un acelerómetro que permita
obtener la inclinación del brazo en los ejes XY por lo que se realizó una tabla
comparativa con las diferentes alternativas disponibles tal como se muestra en la
Tabla N° 1

Acelerómetro: MMA7361 MPU-6050 ADXL345 KXCNL

Voltaje de
2,2- 3,6 [V] 2,4 – 3,5[V] 3 – 5 [v] 1,7 – 3.6 [V]
operación
Corriente de
400 uA 500 uA 145 uA 250 uA
trabajo
Temperatura de
-40° -a 85° -40° a 85° -40° a 85° -40° a 85°
Trabajo
Rango de
± 1,5 g - ±6 g ± 2, 4,8,16g ± 2, 4,8,16g ± 2, 4,8,16g
medición
Modo sleep Si Si Si Si
Comunicación I2C I2C I2C I2C – SPI

Tabla N° 1. Tabla comparativa de Acelerómetros

Fuente: Elaboración propia

32
3.2.19 Giroscopio (MPU6050)

El MPU6050 es un sensor de movimiento, que tiene un conversor ADC de 16 bits

que convierte los datos a un valor digital, el módulo de giroscopio se comunica
con el Arduino a través de la comunicación serie I2C a través del reloj serial (SCL)
y datos (SDA), el chip MPU6050 necesita 3.3V. el uso de este sensor ayudará en la
lectura de movimientos rotativos que nos permitirá procesar a interacción con el
lenguaje.

Figura 2.17. Giroscopio – MPU

Fuente: https://www.electropro.com/es/sensores

Tabla N° 2. Tabla descriptiva de Acelerómetro.

33
 Fuente: Elaboración propia
3.2.20 SENSORES FLEX

El sensor flexible es un elemento piezoeléctrico cuya resistencia varía a medida que el

sensor se dobla, es un elemento pasivo por lo que requiere de polarización para
convertir una energía en otra. Por lo general, el sensor está adherido a la superficie y
la resistencia del elemento del sensor varía al doblar la superficie. Su flexibilidad. Es
importante tener en cuenta que la resistencia cambia solo al flexionar el sensor hacia
uno de los lados. Este tipo de sensores es utilizado para guantes y para movimiento de
articulaciones en robots. Su funcionamiento se ilustra en la Figura N°2.18.

Sensor en reposo (Valor nominal de la

resistencia) Sensor flexionado 45° (Incrementa la
resistencia)

Sensor flexionado 90° (Resistencia Máxima)

Figura 2.18. Funcionamiento del sensor flexible

Fuente: (Rocío & Alberto, 2017)

3.3. MARCO REFERENCIAL

Arduino IDE: Es una aplicación multiplataforma que está escrita en el lenguaje

de programación Java.

Python: Es un lenguaje de programación con legalidad y eficiencia de su

código, es usado para desarrollar aplicaciones, tales como la de hoy en día más
conocidas, Netflix, Spotify, en este caso nos aportara por su compatibilidad que
facilitara el procesamiento de las señales entre otros.

34
 Acelerómetro - MPU: sensor de movimiento contiene un giroscopio de tres ejes
con el que podemos medir velocidad angular y que tiene un conversor ADC de
16 bits que convierte los datos a un valor digital.

Acondicionamiento de la señal del sensor flexible

Para el acondicionamiento de la señal del sensor se seleccionó el divisor de tensión con la
finalidad de obtener una variación precisa para cada sensor y tomando en cuenta que los 6
sensores son alimentados por los 5[V] que provee el microcontrolador.
Este circuito es el más empleado para aplicaciones con sensores y micro-controlador. En la
Figura N° 20 se ilustra el circuito divisor de tensión.

Figura 2.19. Circuito divisor de tensión

Fuente: Elaboración propia

En la Figura N° 2.19 se presenta el circuito divisor de tensión conformado por el sensor

flexible y una resistencia cuyo valor se calculó de acuerdo a los siguientes parámetros:
- Voltaje de alimentación = 5 [V]

- Resistencia del sensor en posición de reposo = 10 [KΩ]

- Resistencia del sensor curvado 90º = 20 [KΩ]

-Voltaje de salida = 3.3. [V]

El valor del voltaje de salida se seleccionó de acuerdo a las características de los

35
puertos analógicos de la tarjeta electrónica puesto que dicho valor permite que la
adquisición de la señal proveniente de los sensores sea más precisa.

3.4. HIPÓTESIS

3.4.1. HIPÓTESIS GENERAL

Si es posible desarrollar un traductor de lenguaje de señas a voz, mediante el uso de

técnicas de procesamiento y clasificación de señales mediante las plataformas IDE
de ARDUINO, PYTHON.

3.5. DEFINICIÓN Y OPERACIONALIZACIÓN DE VARIABLES

En este proyecto se consideran las siguientes variables:

La recolección de datos es el proceso de recopilación y medición de información

sobre variables establecidas de una manera sistemática, que permita obtener
respuestas relevantes, probar hipótesis y evaluar resultados

Cuando el sensor se contrae, la capa conductora dentro del sensor se estira, la

sección transversal del sensor se adelgaza y la resistencia del sensor aumenta. Por
ejemplo, al realizar la flexión de los dedos, la resistencia máxima que podemos
lograr es 22K. Cuando el sensor se vuelve a enderezar, la resistencia vuelve a su
valor normal.

Para explicar el funcionamiento, estamos usando una resistencia de valor fijo de

15K para formar un circuito divisor de voltaje con el sensor flexible y si
simplemente ingresa el valor en una ecuación de divisor de voltaje, puede verificar
los valores

36
IV. MARCO METODOLÓGICO.

4.1. ENFOQUE.
 Enfoque mixto: Cuantitativo y Cualitativo.

4.2. DISEÑO.
 Cuantitativo: Experimental.
 Cualitativo: Estudios de Caso.

4.3. NIVEL.
 Descriptivo, diseño e implementación.

4.4. TIPO.
 Tipología Básica/Aplicada.

4.5. SUJETOS DE LA INVESTIGACIÓN.

 Universo: Procesamiento de datos mediante gestos.
 Población: Traductor de señales a voz

4.6. MÉTODOS Y PROCEDIMIENTOS.

Los pasos que se seguirán en el desarrollo de la investigación, en

cumplimiento de los objetivos específicos, son los siguientes:

 Diseñar el prototipo (Guante).

 Implementar los sensores en Guante para el reconocimiento de
flexiones.
 Recolección de datos.
 Integrar el dispositivo de sensor a la plataforma ARDUINO.
 Usar los servicios de PYHTON, para complementar el
procesamiento.
 Realizar pruebas de funcionamiento al prototipo desarrollado

37
 4.7. TÉCNICAS E INSTRUMENTOS.
4.7.1 Técnicas

 Muestreo Simple:

Se seleccionará un número determinado de pruebas donde se

realizará el ensayo del prototipo, de mayor interés de acuerdo con
los Objetivos del Proyecto para demostrar el correcto
funcionamiento de todo el sistema propuesto.

 Recolección de datos: recepción y clasificación de todos los

gestos de comunicación no verbal.

4.7.2. Instrumentos

En cuanto a la confiabilidad y validez de los instrumentos, la

información es proporcionada por portales especializados en clasificación
de señales fisiológicas, sistema embebido Arduino y para aplicaciones
IOT y avances en los prototipos de asistencia a la comunidad.

4.8. Aspectos Éticos

Para la realización de este trabajo de Tesis se ha seguido rigurosamente

las normas dictadas en el reglamento de tesis perteneciente a la
Universidad Nacional de Piura. Se tendrá en cuenta la transparencia en la
difusión de información de este estudio. Los investigadores en aras de
seguir el principio de justicia, recopilarán la información secundaria y a
quienes la brindaron fueron tratados de la misma forma, sin haber
realizado ningún tipo de discriminación. En relación al manejo de los
datos, se garantizará su correcto manejo puesto que el análisis de los
mismos permitirá tener una visión más amplia acerca del tema en
cuestión. Por último, las ideas presentadas y que no pertenecen a los
investigadores se citan respetando el formato APA séptima edición.

38
 Este proceso de reconocer gesto de movimientos brinda una forma de desarrollo y
aporte importante en el desarrollo de un dispositivo de comunicación mediante el
lenguaje de señas.

V. ASPECTOS ADMINISTRATIVOS

5.1. CRONOGRAMA DE AVANCE

Se estima que el desarrollo del proyecto de Tesis tomará 3 meses de acuerdo con
el siguiente detalle:

PRIMER SEGUNDO TERCER

ACTIVIDADES MES MES MES
Semanas Semanas Semanas
1 2 3 4 1 2 3 4 1 2 3 4
Recopilación de información X X

Estudio de sistemas movimiento de X X X

gestos para comunicación no verbal

Diseño de prototipo de sistema traductor X X X X

de señales de gestos a voz

Análisis y pruebas del prototipo X X X X

implementado.
Conclusiones X X

Elaboración del informe final X X

Tabla ELABORACION PROPIA

39
MATRIZ BÁSICA DE CONSISTENCIA.

Título del proyecto: “TRADUCTOR DE LENGUAJE DE SEÑAS A VOZ”

Nombre de los Tesistas: Br. More Sernaque Willian Manuel

Preguntas Hipótesis Objetivos

G
¿Es posible Si es posible desarrollar el Desarrollar un sistema de
desarrollar el prototipo mediante el reconocimiento de
reconocimiento de reconocimiento de patrones. patrones para un
gesto para un acoplamiento de voz.
acoplamiento de
voz?

E1
¿Se podrá Implementar un prototipo
implementar un capaz de sintetizarla voz
sintetizador de voz mediante los gestos.
para los gestos?

E2
¿Se podrá procesar el Procesar la recepción de
mensaje enviado a patrones otorgados por el
través del sensor.
movimiento de las
manos?

E3
¿Se podrá usar la Usar interface Python para
interfaz de Python el procesamiento de los
para almacenar los datos y su respectivo
datos y realizar su análisis mediante métodos
respectivo análisis? de procesamiento.

E4 ¿Se podrá realizar

pruebas de Realizar pruebas de
funcionamiento al funcionamiento al
prototipo prototipo desarrollado y
desarrollado? hacer lo más adaptable al
usuario.

40
Título: “TRADUCTOR DE LENGUAJE DE SEÑAS A VOZ”
Nombre de los tesistas: Br. More Sernaque Willian Manuel
Problemas
General:
¿Es posible desarrollar el
reconocimiento de gesto para un
acoplamiento de voz?
Específicos:
1. ¿Se podrá implementar un
sintetizador de voz para los gestos?
2. ¿Se podrá procesar el mensaje
enviado a través del movimiento
de las manos?
3. ¿Se podrá usar la interfaz de
Python para almacenar los datos y
realizar su respectivo análisis?
4. ¿Se podrá realizar pruebas de
funcionamiento al prototipo
desarrollado?
Objetivos
General:
Desarrollar un sistema de
reconocimiento de patrones para
un acoplamiento de voz.
Específicos:
1. Implementar un prototipo
capaz de sintetizarla voz
mediante los gestos.
2. Procesar la recepción de
patrones otorgados por el sensor.
3. Usar la interface Python para el
procesamiento de los datos y su
respectivo análisis.
4. Realizar pruebas de
funcionamiento al prototipo
desarrollado.
Hipótesis
General:
Si es posible desarrollar el
prototipo mediante el
reconocimiento de patrones.
Justificación: Este proyecto se
realiza debido a una escasa
dedicación de proyecciones
tecnológicas para apoyo hacia
este grupo de personas.
Importancia: La comunicación
e integración de su entorno
personal sociocultural y la
obtención favorable de
recursos económicos para así
seguir desarrollando
prototipos que benefician a
personas con alguna ausencia
del sentido comunicativo de
manera oral.
Variables/Indicaciones Metodología
Enfoque: Enfoque mixto.
Unidad de análisis: Diseño:
Cuantitativo: experimental.
Reconocimiento de Cualitativo: Estudios de Caso
patrones
Nivel: Descriptivo y diseño.
Tipo: Tipología Básica/Aplicada.
Métodos:
Dimensiones: Recolección de datos y estudio.
Solución de problema.
Envió de patrones e Técnicas e instrumentos:
interpretación mediante De muestreo: Simple.
voz o texto. De recolección de datos:
Gabinete.
De análisis: Diseño
Población: Data referencial de
Indicadores: personas con el entorno orientado.
Muestra: implementación e
Funcionamiento y interpretación con las pruebas
respuesta del prototipo. respectivas y cuantitativas.
Procedimientos:
Implementación y Pruebas reales.
39
VI. REFERENCIAS BIBLIOGRÁFICAS

 Topelectric. (2023, 29 mayo). "Descubre el secreto detrás del sensor Flex y

cómo usarlo en Arduino" Top Electric.
https://www.topelectric.es/tutorial-arduino-flex-sensor-como-funciona-el-
sensor-flex-y-como-usarlo-con-arduino/

 Rocío, O. D. (2017, 28 junio). Desarrollo de un sistema traductor de señas

dactilológicas a voz.
http://www.ptolomeo.unam.mx:8080/xmlui/handle/132.248.52.100/13025

 https://tesis.ipn.mx/bitstream/handle/123456789/23018/Sistema
%20traductor%20del%20lenguaje%20de%20se%C3%B1as%20de
%20voz.pdf

 Lengua de señas peruana. (s. f.).

https://repositorio.pucp.edu.pe/index/handle/123456789/124183

 Libretexts. (2022, noviembre 1). 5.16: Filtrado de Tiempo Discreto de

Señales Analógicas. LibreTexts español.
https://espanol.libretexts.org/Ingenieria/Ingenier%C3%ADa_El
%C3%A9ctrica_(Johnson)/05%3A_Procesamiento_de_se
%C3%B1al_digital/5.16%3A_Filtrado_de_Tiempo_Discreto_de_Se
%C3%B1ales_Anal%C3%B3gicas

 Olivas, E. S., Isla, M. a. S., Cruz, R. G., & Caballer, B. C. (2023). Sistemas
de Aprendizaje Automático. Ra-Ma Editorial.

 De Chile, G. (s. f.). Ministerio de Educación de Chile - Mineduc.

http://portales.mineduc.cl/usuarios/edu.especial/File/
GuiaAuditiva.pdf.

40
https://machinelearningparatodos.com/tipos-de-aprendizaje-automatico/

41