MPEG-7

Estándar Visual para Descripción de Contenidos

Indice:

1. Introducción
2. Resumen del estándar
3. Desarrollo del estándar
4. Descriptores visuales
5. Otros components de MPEG-7
6. Referencias

1. Introducción
• Obtener Imagen/Video
– Recuperación basado en texto
– Recuperación basado en contenido

• MPEG-7:
– Un estándar internacional para descripciones y sistemas de
descripción.
– Meta: Buscar, identificar, filtrar y explorar contenido audiovisual.

2. Resumen del estándar

• Diversidad de aplicaciones
– Multimedia, Musica/Audio, Gráficos, Video
• Descriptores (Ds)
– Descripción básica de las características del contenido audivisual
Ejemplos: Forma, Color, Textura, etc.
• Description Schemes (DSs)
– Describe combinaciones de descriptores.
Ejemplos: Contenido vocal
3. Desarrollo del estándar
• Call for Proposals
– Meta: Especifica los requerimientos de tecnología
• Experimentation Model (XM)
• Meta: Especificar e implementar las características de extracción,
algoritmos de codificación y decodificación y motores de búsqueda.
• Core Experiments
– Meta: Mejorar la tecnología existente en XM

Componentes de MPEG-7:

1) MPEG-7 Systems
2) MPEG-7 Description Definition Language
3) MPEG-7 Visual
4) MPEG-7 Audio
5) MPEG-7 Multimedia DSs
6) MPEG-7 Reference Software
7) MPEG-7 Conformance

4. Descriptores Visuales

Descriptores de Color

Espacios de Color
Espacios de color limitados: Utiliza HSV (del inglés Hue, Saturation, Value –
Tonalidad, Saturación, Valor) para descriptores de color escalables.
Espacios de colores de MPEG-7:
- Monocromático
- RGB
- HSV
- YCrCb
- HMMD

Descriptores de color escalables

• Histograma de color en HSV
• Codificado utlizando la Transformada Haar
Descriptores de color dominante
• Agrupación de colores en un número pequeño de colores representativos.
• Puede ser definido para cada objeto, región o la imagen completa.
• F = { {ci, pi, vi}, s}
• ci : Colores representativos
• pi : Sus porcentajes en la región
• vi : Varianzas de color
• s : Coherencia especial

Descriptor de colores de diseño

• Agrupación de imágenes en bloques de 64 (8x8)
• Derivación del color promedio de cada bloque de color (utilizando DCD)
• Aplicación de la DCT y codificación
• Es eficiente para:
– Recuperación d eimágenes basadas en bosquejos
– Filtrado de contenido utilizando índices de las imágenes

Descriptores de estructura de color

• Escaneando la imagen en bloques de 8x8 pixeles
• Conteo del número de bloques contenidos en cada color
• Generando un histograma de color (HMMD)

Descriptores de color GoF/GoP

• Extensión de Descriptores de color escalables
• Genera un histograma de color para un segemento de video o un grupo de
cuadros.
• Métodos de cálculo:
– Valor medio
– Mediana
– Intersección
 Descriptores de Textura

Descriptor de Textura Homogéneo

• Particionamiento del dominio de frecuencias en 30 canales (modelado por
una función en Gabor en 2D )
• Procesamiento de la energía y la desviación de energía para cada canal
• Procesamiento de la media y la desviación estándar de los coeficientes de
frecuencia
• F = {fDC, fSD, e1,…, e30, d1,…, d30}
• Una implementación eficiente sería:
– Transformada de Radon seguida por la transformada de Fourier

Función de Gabor en 2D

• Es una curva sinusoidal Gaussiana

• Es utulizada para modelera canals individuales
• Cada filtro de canal especifica el tipo de textura
Transformada de Radón

• Transforma imágenes con líneas en un dominio de posibles parámetros de

líneas.
• Cada línea será transformada en un punto pico en la imagen final.

Descriptor de Textura No-Homogéneo

 • Representa la distribución especial de cinco tipos de márgenes
– vertical, horizontal, 45°, 135°, y no direccional
• Divide a la imagen en bloques de 16 (4x4)
• Genera un histograma de 5-bin por cada bloque
• Es una escala invariante

Descriptores de Forma

Descriptores basados en regiones

• Expreaa la distribución de pixels dentro de una región de un objeto 2-D
• Emplea una compleja ART (Angular Radial Transformation) en 2-D
• Ventajas:
– Describe formas complejas con regions desconectadas.
– Es robust ante ruido de segmentación
– Tamaño pequeño
– Extracción y conincidencias rápidas.
–

• Es aplicable para las figures (a) – (e)

• Distingue la (i) de la (g) y la (h)
• (j), (k) y (l) son similares

Descriptores basados en contorno

• Están basados en la representación en la curvatura escalar de espacio.
Curvatura escalar de espacio

• Encuentra los puntos de cruce por cero de la curvatura del contorno de la

forma
• (puntos clave)
• Reduce el número de puntos clave paso a paso aplicando una cruva
Gaussiana suave.
• La posición de los puntos clave es expresada relativamente a la longitude
del contorno de la curva.

Comparación

• Azul: Formas similares basadas en la región

• Amarillo: Formas similares basadas en el contorno
Descriptores de forma 2D/3D
• Un objeto 3D difícilmente descrito por disparos instantaneous tomados
desde diferntes ángulos
• Describe un objeto 3D por un número de descriptors de forma 2D
• Múltiples coincidencias entre pares de vistas 2D

Descriptores de forma 3D
• Basado en un espectro de forma
• Es una extension de Índice de forma ( Una medida local de formas 3D
desde mallas 3D)
• Captura información acerca de la conexión local
• Calcula un histograma del índice de forma a través de toda la superficie
3D

Descriptores de Movimiento

Descriptor de actividad motriz

• Captura la ‘intensidad de una acción’ o el ‘cambio de acción’
• Basado en la desvición estándar de las magnitudes del vector de
movimiento
• Cuantizado en 3 bits enteros [1, 5]

Descriptor de cámara en movimiento

Boom up
T ilt up
Track right Dolly Pan right
backward
Dolly
forward Track left Pan left

Boom down Roll T ilt down

• Describe el movimiento de una cámara o un punto de vista virutal

• Soporta 7 operaciones de cámara

Trayectoria de movimiento
 • Describe el movimiento de un punto representativo de una region
específica
• Una colecicón de puntos claves (x, y, z, t)
• Una colección de funciones interpoladas describiendo el camino

Movimiento paramétrico
• Caracteriza la evolución de las regions a través del tiempo
• Utiliza transformadas geométricas 2D
• Ejemplo:
– Rotamiento/Escalamiento
• Dx(x,y) = a + bx + cy
• Dy(x,y) = d – cx + by

Otros Componentes

MPEG-7 Audio
• Comprende 5 tecnologías:
– Descripción del framework de audio (17 descriptores de bajo nivel)
– Herramientas de descripción de auido de alto nivel (Ds & DSs)
• Herramientoas de descripción de timbre instrumental
• Herramientas de reconocimiento de sonido
• Herramientas de descripción de contenido vocal
• Herramientas de descripción de melodía (facilita la consulta
tarareando)

Esquemas de descripción multimedia

Collections Models User
Content organization interaction

Navigation & User

Creation & Access
Production Preferences
Summaries
Media Usage
Content management User
Views History
Content description
Structural Semantic
Variations
aspects aspects

Basic elements
Schema Basic Links & media Basic
Tools datatypes localization Tools

• Estructuras específicas de metadatos

• Describe y anota conceptos audio-visuales
• Contiene descriptors MPEG-7 u otros DSs
DDL (Description Definition Language)
• Permite la creación de nuevos esquemas de descripción y la extensión y
modificación es esquemas de descripción existentes
• Se basa en el lenguaje XML
• Consiste de:
• Componentes estructurales de esquema XML
• Tipos de datos de esquema XML
• Extensiones específicas MPEG-7

Ejemplo:

MPEG-7 Systems
• Define
– Arquitectura terminal y las interfaces normativas.
– Cómo se reservan, acceden y transmiten los descriptores y los
esquemas de descripción
– Herramientas necesarias que permiten la sincronización entre el
contenido y las descripciones.

Referencias de Software: XM
• XM implementa
– MPEG-7 Descriptors (Ds)
– MPEG-7 Description Schemes (DSs)
– Coding Schemes
– DDL

MPEG-7 Conformance
• Incluye los lineamientos y procedimientos para probar que las
implementaciones MPEG-7 cumplan los requerimientos necesarios.
BIBLIOGRAFÍA:
1. T. Sikora, “The MPEG-7 Visual Standard for Content Description – An
Overview”, IEEE Trans. Circuits Syst. Video Technol., vol. 11, pp. 696-
702, June 2001
2. S.-F. Chang, T.Sikora, and A. Puri, “Overview of MPEG-7 Standard”,
IEEE Trans. Circuits Syst. Video Technol., vol. 11, pp. 688-695, June
2001
3. J. M. Martinez, "Overview of the MPEG-7 Standard", ISO/IEC
JTC1/SC29/WG1, 2001
4. B.S. Manjunath, J.-R. Ohm, V.V. Vasudevan, and A. Yamada, “MPEG-7
Color and Texture Descriptors”, IEEE Trans. Circuits Syst. Video
Technol., vol. 11, pp. 703-715, June 2001
5. M. Bober, “MPEG-7 Visual Shape Descriptors”, IEEE Trans. Circuits
Syst. Video Technol., vol. 11, pp. 716-719, June 2001
6. A. Divakaran, “An Overview of MPEG-7 Motion Descriptors and Their
Applications”, 9th Int. Conf. on Computer Analysis of Images and
Patterns , CAIP 2001 Warsaw, Poland, 2001, Lecture Notes in Computer
Science vol.2124, pp. 29-40
7. J. Hunter, "An overview of the MPEG-7 description definition language
(DDL)", IEEE Trans. Circuits Syst. Video Technol., vol. 11, pp. 765-772,
June 2001
8. F. Mokhtarian, S. Abbasi, and J. Kittler, “Robust and Efficient Shape
Indexing through Curvature Scale Space”, Proc. International Workshop
on Image DataBases and MultiMedia Search, pp. 35-42, Amsterdam, The
Netherlands, 1996
9. CSS Demo,
http://www.ee.surrey.ac.uk/Research/VSSP/imagedb/demo.html
10. Gabor Function, http://disney.ctr.columbia.edu/jrsthesis/node43.html
11. Radon Transform, http://eivind.imm.dtu.dk/staff/ptoft/Radon/Radon.html

Presented for
Multimedia Systems Course
Prof. Ze-Nian Li
School of Computing Science
Simon Fraser University
June 2002