Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Presentando por:
Asesor:
El número de personas sordas colombianas que utiliza la L.S.C. es desconocido, pero se sabe con
certeza que es un número creciente. Además, los medios de comunicación masivos colombianos no
cuentan con un sistema propio de traducción de señas, por lo que la comunidad sorda está limitada
a entretenerse por otros medios o a observar limitados programas que cuenten con la traducción de
señas. El mismo fenómeno puede ser observado al momento de querer comunicarse con una
persona parlante, las instituciones educativas colombianas no enseñan ningún tipo de lenguaje de
señas. En el mundo se estima un total de 360 millones de personas con discapacidad auditiva, 328
millones de adultos y 32 millones de niños, equivalente a más del 5% de la población. Por lo
anterior, se ve la necesidad de disminuir la brecha de comunicación entre las personas, no solo
colombianas sino del mundo con discapacidad auditiva, y el resto de la población mundial
mediante un traductor de señas colombianas a español. Actualmente se cuenta con un traductor
señas colombianas virtual el cual busca incluir socialmente a la persona sorda, sin embargo, es un
sistema que requiere una conexión constante a internet y por ende supone una gran restricción para
su uso continuo. Adicionalmente solo presenta el alfabeto de señas colombiano de tal forma que su
uso poblacional es muy restringido. Dada la situación actual, surge la necesidad de crear un
traductor de lenguaje de señas y optimizarlo de tal forma que la persona no requiera conexión a
internet y sea de uso práctico, es decir, que se pueda utilizar todos los días con facilidad.
Resumen de Traducción del lenguaje de señas usando visión por computadora por Eduardo
Mancilla Morales, Oswaldo Vazquez Aparicio, Pedro Arguijo, Roberto Angel Melendez
Armenta, Antonio Hiram Vazquez Lopez.
Se realiza el ańalisis del desempeño de redes neuronales multicapa y SVM como clasificador para
el reconocimiento de señas del LSM considerando tres conjuntos de caracter ́ısticas: Momentos de
Hu, Momentos de Zernike e Histogramas de orientación del gradiente (HOG). Se creo un dataset
de 21 señas y se le aplicó un pre procesamiento a las imágenes antes de extraer el conjunto de
características, las técnicas aplicadas son: reducción de ruido, escalamiento de la imagen y
eliminacion del fondo de la imagen. As ́ı mismo, se analizó el efecto de la reducción de
dimensionalidad del conjunto de características con los algoritmos PCA y LDA. Los resultados
indican que los momentos de Zernike junto con LDA ofrece la mejor exactitud en los resultados.
Actualmente, las personas con discapacidades auditivas y del habla recurren al lenguaje de signos
para comunicarse entre sí, pero es una actividad que únicamente se puede realizar de forma
presencial y entre personas que conozcan dicha lengua. Para poder establecer la comunicación con
el resto de las personas, es necesario recurrir a un intermediario o traductor, que haga las veces de
emisor y receptor entre ambos. Esto resulta poco práctico y, en la mayoría de las ocasiones,
costoso. Se pretende con este proyecto desarrollar un sistema capaz de traducir en tiempo real la
detección de signos aislados de la lengua de signos americana . El software consiste en una
inteligencia artificial entrenada para monitorizar los movimientos de las manos de la persona
situada frente a la cámara de un terminal móvil, y mostrar por pantalla el signo traducido en ese
momento sobre la imagen captada. Para ello, se han seguido dos líneas de investigación: con la
primera, se ha desarrollado un traductor del alfabeto de la ASL recogiendo imágenes desde una
cámara IP en un terminal móvil, procesando los datos y mostrando los resultados en el ordenador.
La segunda línea de investigación ha sido más ambiciosa, pues se ha conseguido traducir cuatro
signos dinámicos aislados, y desplegar el sistema creado en un terminal móvil Android, el cual
ejecuta una aplicación autónoma de traducción de estos signos en tiempo real.
Cultural, educando a las personas que carecen de los conocimientos necesarios para comunicarse
con ellos; y económico, pues supone abaratar los costes relacionados con traductores personales y
cursos formativos.
En años recientes, el desarrollo de algoritmos que asistan en la comunicación con gente sorda es un
reto importante. El desarrollo de sistemas automatizados para traducir el lenguaje de señas es un
tema de investigación vigente. Sin embargo, esto involucra varios procesos que van desde la
captura del video, pre-procesamiento hasta la identificación y clasificación de las señas. El
desarrollo de sistemas capaces de extraer características discriminativas para acentuar la capacidad
de generalización de un clasificador es aun un problema muy complejo. El significado de una seña
es a combinación del movimiento de la mano, forma de la mano y el punto de contacto de la mano
con el cuerpo. Este trabajo presenta un método para detectar y traducir señas de las manos.
Primero, se obtienen 15 cuadros por palabra, obteniendo 3 regiones de interés de las cuales se
obtienen características geométricas. Finalmente, se emplean diferentes clasificadores y se
muestran los resultados experimentales.
En el Ecuador existen gran cantidad de personas con deficiencias auditivas, por lo cual el proyecto
fue desarrollado para las personas sordomudas que de alguna manera se sienten excluidas de la
sociedad y mediante la ayuda del software puedan comunicarse no solo con sus familiares, sino
también con el resto de personas que desconocen el lenguaje dactilológico.
Para ayudar a mejorar el nivel de vida de las personas sordomudas se diseñó un sistema.
El lenguaje de señas es un método decomunicación que utilizan las personas con discapacidades
auditivas en el cual utilizan por medios de gestos con las manos para describir lo que tienen en
mente , por lo general a las personas les resulta muy difícil entenderles a los discapacitados. Es por
ello que en este artículo se describen cada uno de los pasos que se deben tener en cuenta a la hora
de realizar dicha conversión, cabe resaltar que se utilizaron herramientas tecnológicas, para la toma
de video en tiempo real se usa un smartphone, el software desarrollado está hecho sobre entorno de
programación Matlab.
Actualmente los diferentes campos de desarrollo tecnológico son sumamente importantes para el
desarrollo de la humanidad. Uno de estos campos, es aquel que se enfoca en las herramientas que
permiten la comunicación entre las personas, como lo son los traductores, estos permiten
interpretar diferentes tipos de lenguajes en tiempo real, uno de los puntos clave dentro de la
interpretación de diferentes lenguajes es que te permite la comunicación entre personas de diferente
habla. Sin embargo, hay que tener en cuenta que uno de los lenguajes más complicados de traducir
es el de señas, puesto que este tipo de lenguaje requiere no sólo la interpretación gramatical, sino
que también cuenta con un componente visual muy fuerte que dificulta los procesos de traducción
del mismo. El alfabeto es un sistema ordenado de signos gráficos que se emplea en la escritura de
algunas lenguas, este también se puede emplear para formar un sistema de comunicación. Se puede
encontrar varios tipos de alfabeto, alfabeto Braille, alfabeto fonético, alfabeto griego, alfabeto
dactilológico entre otros. Este último hace referencia al sistema de signos que emplean las personas
con falta de habla o discapacidad auditiva. El sistema de signos dactilológicos no es universal, cada
país tiene sus propios sistemas de signos. Este proyecto muestra el desarrollo de un sistema de
reconocimiento del alfabeto dactilológico colombiano completo utilizando la visión artificial como
medio principal. Dicho esto, el documento presente se explica el procedimiento realizado para
obtener el sistema mencionado, mediante 8 secciones. En la sección uno se encontrara la
introducción en la cual se explica la finalidad del documento, en la sección dos el planteamiento
del problema, donde determina la necesidad del desarrollo de un sistema de reconocimiento del
alfabeto dactilológico colombiano completo, en la sección tres se encontrará la justificación que
demuestra por qué se realizó este sistema y cómo podrá servir como insumo para futuros
proyectos, en la sección cuatro se podrá observar los objetivos, los cuales determinan las diversas
propuestas en las cuales se fundamentó este proyecto. Encontrándose en la sección cinco se podrá
analizar el marco de referencia dará información acerca de los desarrollos parecidos a este sistema
que aunque hayan sido varios estos no poseen por completo el alfabeto dactilológico colombiano,
insumos utilizados para la realización del sistema y que leyes rigen sobre dicho sistema, La
metodología, en la cual se presenta como se llevó a cabo el desarrollo del sistema, haciendo énfasis
en las herramientas utilizadas, se visualizará en la sección seis. En la sección siete se encuentran
los resultados, en los cuales se indicará el cómo funcionó y funciona el sistema de reconocimiento
del alfabeto dactilológico colombiano completo. En la última sección estarán las conclusiones y
recomendaciones, en el cual se dará a conocer los análisis de los resultados expuestos en la anterior
sección, indicando sus posibles mejoras y sugerencias al momento de utilizar el sistema
desarrollado.
Dicho esto, se podrá validar que por medio de la cámara de video del computador capturará la
señal indicada con la mano, por medio de una imagen, a esta imagen se le realiza su debido
acondicionamiento utilizando la librería de OpenCv y utilizando la librería Media Pipe se obtendrá
su significado en la pantalla de manera visual.
Resumen Conversión de gestos de mano a voz usando matlab por Prof. Rajeshri Rahul
Itkarkar Dr. Anil V. Nandi
El gesto de la mano es uno de los métodos típicos utilizados en el lenguaje de señas para la
comunicación no verbal. Los gestos de signos son un lenguaje visual no verbal, diferente del
lenguaje hablado, pero que cumple la misma función. A menudo es muy difícil para la comunidad
con discapacidad auditiva comunicar sus ideas y creatividad a los humanos normales. Este
documento presenta un sistema que no solo reconocerá automáticamente los gestos de las manos,
sino que también los convertirá en la salida de voz correspondiente para que las personas con
problemas de habla puedan comunicarse fácilmente con las personas normales. El sistema de gesto
a voz, G2S, se ha desarrollado utilizando la segmentación del color de la piel. El sistema consta de
una cámara conectada a la computadora que tomará imágenes de los gestos de las manos. El
algoritmo de segmentación de imágenes y extracción de características se utiliza para reconocer los
gestos de la mano del firmante. De acuerdo con los gestos de las manos reconocidos, se
reproducirá la pista de sonido pregrabada correspondiente.
En el Ecuador existe una gran cantidad de personas con algún tipo de discapacidad física y/o
mental que limita de alguna manera el desarrollo de una vida con normalidad. Entre las
discapacidades que existen, nos enfocamos en las discapacidades auditiva y vocal que limitan
especialmente el área de la comunicación con el resto de personas, ya que para comunicarse se
requiere de medios específicos como el escrito u otros poco conocidos como el lenguaje de señas.
Con el objetivo de mejorar el nivel de vida de las personas con discapacidad auditiva y/o visual se
ha desarrollado un sistema traductor de lenguaje de señas a texto usando visión artificial, para que
personas que manejan el lenguaje de señas tengan la posibilidad de comunicarse con personas que
no tienen conocimiento de este lenguaje. El proyecto también ofrece a las personas que no tienen
conocimiento de este lenguaje, la opción de un entrenador para que aprendan cada uno de los
símbolos de este lenguaje y adquieran la habilidad necesaria para utilizar la aplicación. Este
proyecto se desarrolló en varias etapas que se describen brevemente a continuación: Etapa de
adquisición donde la imagen se toma con un fondo negro para lograr un mejor contraste y con
iluminación detrás de la cámara para que incida directamente sobre la mano para que tenga bien
definidas sus características, con la menor cantidad de ruido (sombras). En el procesamiento digital
de imágenes se aplicaron algunos filtros y operaciones morfológicas para resaltar las características
de la imagen y eliminar información innecesaria como ruido. Con la ayuda del Vision Assitant de
Labview se elaboraron las bases de datos, para llevar a cabo la comparación con la imagen
recortada y de esta manera asignar la clase (letra) correspondiente a cada imagen para después
formar el texto que se muestra en forma escrita en la pantalla o a su vez se puede enviar a un
documento de Word. Además, es posible reproducir mediante voz el texto formado con la ayuda
del reproductor de Windows. Los resultados obtenidos después de realizar las pruebas
correspondientes, muestran que el proyecto funciona con un margen de error del 17,85% que en
comparación a otros proyectos similares con porcentajes de error del 14,6% y del 31,25% muestran
que la aplicación funciona dentro de los parámetros aceptables.
Las reformas educativas actuales, la creación del Instituto Guanajuatense para las personas con
Discapacidad, las instituciones educativas y las personas que laboran en ellas se deben preocupar
por brindar educación de calidad para las personas con discapacidad. El presente trabajo analiza la
posibilidad de desarrollar un traductor de la Lengua de Señas Mexicana (LSM) usando la técnica
de Reconocimiento de Patrones con el fin de incluir al alumnado que presente discapacidad
auditiva de la Universidad Tecnológica de León, específicamente en el área de Tecnologías de la
Información y Comunicación. Esta plataforma incluye el manejo del sensor KINECT de Windows
con el software para el tratamiento de imágenes desarrollado en el lenguaje más apropiado para el
desarrollo de este tipo de aplicaciones. Se reportan algunas barreras para el desarrollo del mismo y
además, se plantean interesantes premisas para investigación de trabajos futuros.