Tratamiento de señales multimedia

Introducción a los Sistemas 
Multimedia

Como se define la Multimedia
Multimedia es una forma de presentar la  información a través de varios medios tales 
como audio, video, animaciones; además de la formas tradicionales de presentarla 
(ej. texto, gráficos/dibujos, imágenes) y otros con el objetivo de generar mayor 
atención por parte del usuario y permitir su interactividad
atención por parte del usuario y permitir su interactividad 

2 29/06/2009

1
 Definición General 

‰ Formalmente Multimedia es el área del conocimiento encargada del estudio de la 
integración y presentación de la información en un computador a través de 
diferentes medios tales como texto, gráficos, dibujos, video, animaciones, audio, y 
cualquier otra forma donde cada tipo de información puede ser representada, 
guardada, transmitida y procesada digitalmente.

3 29/06/2009

Sistemas Multimedia

… Un Sistema Multimedia es un 
sistema capaz de procesar 
datos y aplicaciones
datos y aplicaciones 
multimedia.

… Un Sistema Multimedia esta 
caracterizado por el 
procesamiento, 
almacenamiento, 
generación, manipulación e 
ió i l ió
interpretación de 
información Multimedia.

4 29/06/2009

2
 Tipos de Datos Multimedia: Formatos y Entradas

5 29/06/2009

Desarrollo de la Multimedia 
‰ La vanguardia tecnológica se produce por un fenómeno llamado 
“Autopista de la información” , que esta basado en las telecomunicaciones 
y en la información.

6 29/06/2009

3
 Desarrollo de la Multimedia
‰ Por la gran cantidad de información a la que se tiene acceso es necesario 
una forma de almacenar y obtener la información de la forma mas optima 
posible.
‰ Una amplia gama de profesionales recibirán mucha ayuda por parte de la 
f á
multimedia .

7 29/06/2009

Desarrollo de la Multimedia 
… El comercio electrónico va proliferando  requiere tener la seguridad 
adecuada para hacer sus transacciones. B2C

8 29/06/2009

4
 Desarrollo de la Multimedia 
Las limitaciones temporales y espaciales van desapareciendo
gracias a las redes de computadores y celulares que
transmiten información y ofrecen soluciones especifica para
grupos
g p de usuarios

9 29/06/2009

Problemas de la Transmisión Multimedia

La Multimedia tiene dos características que deben entenderse para

manejar
j sus aplicaciones:
p

– La Multimedia emplea tasas de datos muy altas.
– La Multimedia debe de reproducirse en tiempo real.

10 29/06/2009

5
 Sistemas en Tiempo Real 

‰ La segunda exigencia que impone multimedia a un sistema es la necesidad 
de entregar los datos en tiempo real:
ƒ La
La porción de vídeo de una película consta de un cierto número de cuadros 
porción de vídeo de una película consta de un cierto número de cuadros
por segundo. Por ejemplo el sistema NTSC empleado en Norte y Sudamérica y 
en Japón opera a 29.97 cuadros por segundo y los sistemas PAL y SECAM 
empleados en el resto del mundo operan a 25 cuadros por segundo.
ƒ Los cuadros deben alimentarse a intervalos exactos de 33 o 40 ms, 
respectivamente, de lo contrario sería irregular el movimiento de las 
imágenes.

11 29/06/2009

Audio y Video Streaming
Audio y Video  Streaming

12 29/06/2009

6
 Audio y Video Streaming
Audio y Video  Streaming

13 29/06/2009

PUSH SERVER Y PULL SERVER
‰ El Audio y video streaming almacenan en el buffer alrededor de 10–15 seg. antes 
de que la música empieza a tocarse .
‰ Idealmente el servidor continua llenando el buffer a una razón constante pero esto 
normalmente no ocurre y es necesario una realimentación con el servidor puede 
ayudar.

PULL SERVER

PUSH SERVER

14 29/06/2009

7
 Modelo de Capas

15 29/06/2009

Sistemas de Transmisión Multimedia
‰ AUDIO STREAMING
‰ RADIO POR INTERNET
‰ VOZ SOBRE  IP
‰ VIDEO POR DEMANDA
‰ VIDEOCONFERENCIA
‰ MBONE (MULTICAST BACKBONE)

16 29/06/2009

8
 Interfaces Multimedia 

17 29/06/2009

Interfaces   Hombre ‐‐ Maquina
Interfaces   Hombre 

18 29/06/2009

9
 Interfaces Graficas

Sistema de traducción (Visual).

El interfaz de enfoque del usuario o ZUI

(Zooming User Interface), que es un
adelanto lógico en los GUI, mezclando 3D
con 2D

19 29/06/2009

Interfaces Multimodal

20 29/06/2009

10
 Interfaz de Voz

‰ Ya no mas la voz es una propiedad única de los seres humanos , sino que ahora 
esta habilidad esta compartida con las maquinas.
Sarah Borruso
Sarah Borruso

El ser humano tiene una gran adaptación para entender

cualquier tipo voz.

21 29/06/2009

Interfaz de Voz

Conversación  humano ‐ maquina: 

‰ TTelefónica: Para información acerca de transporte decir “Transporte”. Para 
l fó i P i f ió d t t d i “T t ”P
información acerca de entretenimiento decir “Entretenimiento.” Para información 
acerca del clima decir “clima.”
‰ Caller: Transporte.
‰ Telefónica: Para información acerca de vuelos aéreos decir “aeropuerto”. Para 
información de viajes por autobús, decir “buses.” Para información acerca de viajes 
por tren , decir “tren.”
‰ Caller: Aeropuerto.
‰ Telefónica: Para arribos al aeropuerto , decir “Aterrizaje.” Para salidas , decir 
“Salidas.”  y etc.

22 29/06/2009

11
 Interfaz de Voz

Tratamiento del habla
‰ El reconocimiento de habla es una tarea difícil, debido a diversos factores.
ƒ Variaciones de pronunciación según el contexto
ƒ Diferentes acentos y dialectos
ƒ Ruidos ambientales
ƒ Elementos no lingüísticos en el habla Cajeros Automáticos

ƒ Defectos de pronunciación
Sistemas de seguridad Fábricas

locuaz

Plantas industriales
Vehículos

PBX

PBX

23 29/06/2009

Aplicación en Domotica

24 29/06/2009

12
 El tacto (háptica)

‰ ¿Por qué preocuparnos por el tacto?
ƒ Es un canal sensitivo muy importante en el diseño de sistemas de 
Realidad Virtual
Realidad Virtual
ƒ Resulta muy útil para personas con discapacidades visuales o auditivas
ƒ Proporciona una realimentación en tareas como pulsar un botón o una 
tecla, o arrastrar un objeto por la pantalla
‰ Tenemos tres tipos de receptores sensoriales:
ƒ Termorreceptores (calor)
ƒ Nocirreceptores (intensidad)
Nocirreceptores (intensidad)
ƒ Mecanorreceptores (presión)

25 29/06/2009

El tacto (háptica)

Cybergrasp

Cybertouch

26 29/06/2009

13
 El olfato

‰ Ha comenzado a ser explorado por las posibilidades que ofrecen

los olores para crear mundos virtuales parecidos a los reales.
‰ Además es importante porque el sentido del olfato está conectado
con el sistema encargado de procesar las emociones (“interfaces
emocionales’”.
‰ Aún existen grandes dificultades para su uso en el diseño de
interfaces:
ƒ Existe una gran variación individual
en la sensibilidad al olor,
ƒ La sensibilidad se pierde con el
tiempo de exposición, etc.

27 29/06/2009

Realidad virtual

‰ El ordenador crea un entorno sensorial que es dinámicamente controlado 
por las acciones de la persona, aparentando ser real para ella.
‰ Dispositivos especiales
Dispositivos especiales
‰ Aspectos fundamentales:
ƒ Interactividad
ƒ Combinación de sentidos. Inmersión
ƒ Sensación de realidad. Realimentación visual en                                               
tiempo real, calidad de la imagen

28 29/06/2009

14
 Realidad virtual

Objetivos
‰ Exploración por el usuario de un mundo virtual creado por el 
ordenador
ƒ Exploración de diseños 
ordenador

Mundo virtual

29 29/06/2009

Realidad virtual
‰ Interacción con otros usuarios participantes en la misma 
aplicación
ƒ Juegos tridimensionales  o simulaciones de  combates militares
Juegos tridimensionales o simulaciones de combates militares

ordenador

Mundo virtual

30 29/06/2009

15
 Realidad virtual

‰ Acción a distancia sobre el mundo real a través

de una representación virtual del mismo
ƒ Cirugía a distancia

ordenador

Mundo virtual Mundo real

31 29/06/2009

Realidad virtual
La cueva

32 29/06/2009

16
 Realidad Aumentada

‰ Es una combinación de texto y gráficos generados por ordenador con 
imágenes reales, todo ello en tiempo real.
‰ Idea: aumentar la información que recibe el usuario
Idea: aumentar la información que recibe el usuario
‰ La realidad aumentada puede 
utilizar los mismos dispositivos
que la realidad virtual
‰ Futuro: ordenadores vestibles

33 29/06/2009

Realidad Aumentada

34 29/06/2009

17
 Indexado y Recuperación

‰ Una vez coleccionada la data debería ser organizada eficientemente, para 
que la búsqueda sea útil y de una cantidad limitada de resultados.

35 29/06/2009

Indexado y Recuperación

‰ Las investigaciones  están dedicadas en desarrollar  técnicas que puedan 
"interpretar” los contenidos  multimedia en una gran colección de datos 
para obtener todos los ítems relevantes para cualquier petición de
para obtener todos los ítems relevantes para cualquier petición de 
usuario, mientras se recupera la mínima cantidad de resultados no 
relevantes.

36 29/06/2009

18
 Indexado y Recuperación

‰ Imagina que desea escuchar una canción y no recuerdas el titulo de la 
canción, entonces grabando en tu móvil 10 segundos de la canción podrás 
usar la grabación para usar un servicio de reconocimiento de audio el cual
usar la grabación para usar un servicio de reconocimiento de audio el cual 
podría enviarte un SMS con el nombre de la canción y el cantante . ¿Cómo 
lo realiza?

37 29/06/2009

MPEG‐‐2
MPEG

‰ MPEG‐1 y MPEG‐2 usa la misma familia de codificadores de audio. Las 
características de audio en MPEG‐2 usan la razón mas baja dada por la 
capa 3 para aplicaciones limitadas por su ancho de banda ( tasa de bit 8
capa 3 para aplicaciones limitadas por su ancho de banda ( tasa de bit 8 
Kbps). Además se planteo una extensión multicanal con 5 canales de audio 
(Sonido surround) es propuesto.

38 29/06/2009

19
 MPEG‐‐4
MPEG

‰ El sistema MPEG‐4 provee la funcionalidad de unir objetos (naturales o sintéticos) 
y renderizar el producto en una única imagen. Elementos primarios pueden ser 
adaptados (ej., cualquier objeto puede ser eliminado) o mezclado con información 
guardada . MPEG‐4 permite la creación de escenas consistentes de objetos 
originados en diferentes locaciones.

39 29/06/2009

MPEG‐‐4
MPEG

‰ Los objetos en una escena pueden ser asignados  por nivel de prioridad 
que define cual objeto podría ser visto o no cuando una congestión ocurre 
o hay problemas en la entrega de paquetes
o hay problemas en la entrega de paquetes.

40 29/06/2009

20
 MPEG‐‐4
MPEG
SEGMENTACION

41 29/06/2009

MPEG‐‐4
MPEG

‰ MPEG‐4 Visual provee un algoritmo de codificación que puede llegar a producir un 
canal a una razón de 5 kbps y QCIF (quarter common intermediate format) en una 
resolución de 176 × 144 pixels. Esto podría repartir el video a un dispositivo móvil. 
MPEG‐4 Visual describe mas de 30 perfiles que son diferentes combinaciones de 
resolución de escenas, razón de bit, calidad de audio, y otras que acomoden a las 
diferentes necesidades de la aplicación. 

42 29/06/2009

21
 APLICACIONES

Groupware

‰ Groupware
‰ • Software que facilita actividades grupales
‰ • Giro: Interacción humano‐humano mediada por 
computadora
‰ • Paradigma: la computadora como lugar de reunión (o canal 
de comunicación)

44 29/06/2009

22
 Telemedicina

45 29/06/2009

Papel multimedia/
Papel electrónico

Papel electrónico

Tablet PC

Rocket eBook Reader

46 29/06/2009

23
 3D desde un video

Esta tecnología extrae 
modelos de 3D de superficies 
no rígidas a través de los
no rígidas a través de los 
cambios de intensidad que se 
desarrollan en la secuencias 
de video.

El modelo recobrado puede 
ser usado en animaciones , 
efectos especiales, biometria
y codificacion de baja tasa 
binaria

47 29/06/2009

Televisión en 3D

48 29/06/2009

24
 Reconstrucción de Imágenes 

Existen varias Herramientas que

Existen varias Herramientas que 
permiten la reconstrucción de las 
imágenes. Actualmente la 
transmisión de imágenes se realiza 
en una compresión basada en 
objetos la cual permite la 
reconstrucción de dicho objeto en 
una forma robusta

49 29/06/2009

Seguimiento visual con filtros de partículas

50 29/06/2009

25
 CAMPOS DE INVESTIGACION

‰ Surround Audio Technologies 
(e.g. mp3 Surround, MPEG Surround) 
‰ Audio Communication Technologies 
(e.g. MPEG‐4 Low Delay AAC, ULD) 
‰ Audio and video coding 
(e.g. MPEG‐4 HE‐AAC, HD‐AAC, MPEG‐4 AVC) 
‰ Semantic Audio Processing 
(e.g. SX Pro) 
‰ Technologies for Digital Broadcasting Systems 
(e.g. DAB, DRM, HD Radio Surround, IPTV, DVB‐H) 
‰ Multimedia Security Technologies 
(e.g. OMA, HECA)
(e.g. OMA, HECA) 
‰ Real‐time Implementations 
(e.g. CDK)

51 29/06/2009

26