SISTEMAS

MULTIMODALES
 Permite la interacción con el usuario a través de diferentes canales como la
voz, gestos, escritura en un teclado o uso de un ratón en una computadora,
logrando establecer una comunicación simultáneamente, en donde cada canal
del usuario se considera una modalidad diferente de interacción.
Índice

 Conceptos del sistema multimodal

 Componentes de interfaces multimodales
 Uso de sistemas multimodales
Conceptos del sistema multimodal
 Modalidad: consiste en el tipo de comunicación que se usa para obtener
información, así como también la manera en que una idea es expresada o
percibida, como el lenguaje de señas.

 Modo: se determina la forma en como la información es interpretada para

extraer o llega un significado, como el habla.

 Multimodalidad: “multi” se refiere a más de uno y “modal” consiste en la

modalidad y el modo, en donde esta acción debe cumplir lo siguiente

 Mejorar el conocimiento en un entorno ruidoso (audio o video)

 Generar una interacción más rápida

 Permitir ser intuitivo y fácil de aprender

 Se dice, que una interfaz es multimodal, cuando se utilizan diferentes
tipos de datos, extrayendo el significado de la información, un
ejemplo es cuando dos personas conversan hay más que palabras,
también hay gestos y otras formas de expresión.

 Las interfaces multimodales pueden ser de entrada o de salida, por

ejemplo una interfaz de entrada es la acción de hablar y apuntar para
dar una instrucción específica, y una interfaz de salida, es una
aplicación multimedia.
Componentes de interfaces
multimodales
 Para diseñar una interfaz multimodal, es preciso contar
con dispositivos capaces de reconocer las señales emitidas
por distintos canales de comunicación:
 Auditivo

 Visual

 Gestual
Componentes auditivos
 La variedad de medios y modos de comunicación, enriquece el intercambio de
información debido a que son más eficientes que otros medios al utilizarlos en
ciertas tareas como la comunicación telefónica predomina el lenguaje, por
ejemplo el marcado telefónico, la consulta del saldo bancario vía telefónica,
el buzón telefónico de voz los cuales incluyen acceso a bases de datos y redes
de computadoras.
Componentes visuales

 Se basan en el reconocimiento de patrones por medio de imágenes y son

utilizados para potenciar otro tipo de modalidades, como la lectura de labios,
como modalidad propia y se utiliza para fortalecer el reconocimiento de voz.
Componentes gestuales
 El objetivo de estos componentes, es aumentar la percepción de una interfaz
por medio de reconocimiento de patrones de gestos o por percepción táctil,
cuando se establece un dialogo las modalidades pueden ser desde la voz, la
lectura de labios y la expresión por gestos, realizados con las manos, brazos,
con expresiones de la cara.
Uso de sistemas multimodales
 Los sistemas multimodales, se adaptan con base en el contexto en el que se
trabaje, empleándose en varios aspectos de la vida, no sólo en una interfaz
humana – computadora.

 Por ejemplo, una persona pidiendo indicaciones, en donde sólo se le dice en

qué esquina hay que dar vuelta o qué autobús tomar, utilizando la modalidad
de hablar y señalar para dar a entender el mensaje.
Sistema de transporte de mercancías
 Un sistema de transporte multimodal, se caracteriza por el envió de
mercancía de diferentes modalidades de transporte, combinando origen-
destino.

 La coordinación del servicio de transporte, el cual realiza combinaciones que

mejor se ajusten combinando al transporte carretero, ferroviario, aéreo,
marítimo o fluvial, logrando mejorar los niveles de competitividad de los
productos en los mercados internacionales, ofreciendo mayor fluidez y
rapidez de los envíos.
Sistemas de simulación
 En el área de negocios, industria y gobierno los proyectos a gran escala y
complejidad son una regla y no una excepción, por lo que requieren estudios
previos a su construcción denominados pilotos, utilizando simulación cuyo
objetivo es predecir lo que sucederá en un sistema real cuando se realicen
determinados cambios bajo determinadas condiciones.

 Un ejemplo es el QuickSet, la cual combina el reconocimiento de voz y

entrada del gesto basado en la pluma electrónica, permitiendo al usuario
preparar ejercicios de entrenamiento creando fuerzas y medidas de mando.
 Es importante tener en cuenta que una interfaz multimodal inteligente y
humana en las interacciones hombre-maquina, aplicando herramientas de
inteligencia artificial integrando lenguaje natural escrito y hablado, así como
también gráficas y señalamientos interactivos entre el usuario y la
computadora.
Sistemas de navegación por internet

 Aunque la información esté disponible en la internet no significa que sea

accesible para todas las personas, como las personas con discapacidad.
 Por ejemplo, algunos diseñadores ha remplazado la funcionalidad y sencillez
por la estética, afectando a los invidentes, en donde su discapacidad les
impide disfrutar el diseño, por lo que se toma el oído y el tacto como los
principales canales de recepción, fortaleciendo los medios de comunicación
táctiles y auditivos.
 El BML (Blind Markup Language) se ha desarrollado para construir páginas de
internet accesibles, es un derivado de XML (Extensible Markup Language) y es
similar al HTML (Hiper Text Markup Language), con el fin del que el WebTouch
pueda interpretarla, el cual es un navegador multimodal desarrollado para
usuarios invidentes.