M AESTRA EN I NFORMTICA

S EGUIMIENTO DE O BJETOS EN
M LTIPLES C MARAS DE S EGURIDAD
BASADO EN I NDEXACIN Y
R ECUPERACIN DE V IDEOS
Tesista:
E DISON G REGORIO PARIA F ERNNDEZ

TABLA DE C ONTENIDO

Pg.
1

Planeamiento del Estudio

1.1

Contexto y Motivacin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.2

Definicin del Problema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.3

Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.3.1

Objetivo General . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.3.2

Objetivos Especficos . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.4

Justificacin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.5

rea de Investigacin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.6

Metodologa de la Investigacin . . . . . . . . . . . . . . . . . . . . . . . . . .

1.6.1

Etapa de aprendizaje y dominio del tema . . . . . . . . . . . . . . . .

1.6.2

Etapa de modelamiento . . . . . . . . . . . . . . . . . . . . . . . . . .

1.6.3

Etapa de Implementacin de algoritmos . . . . . . . . . . . . . . . .

Cronograma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.7
2

Indexacin y Recuperacin de Videos

2.1

Introduccin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.2

Indexacin de Videos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.3

Recuperacin de Videos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.4

Tcnicas de Indexacin y Recuperacin de Videos . . . . . . . . . . . . . . . 10

2.4.1

Visual Content-Based Video Indexing and Retrieval . . . . . . . . . 10

2.5

Comparacin de Algoritmos de Indexacin y Recuperacin de Videos . . . 12

2.6

Definicin Conceptual de Trminos . . . . . . . . . . . . . . . . . . . . . . . . 12

2.6.1

Video . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

2.6.2

Videovigilancia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2.6.3

Seguimiento de Objetos . . . . . . . . . . . . . . . . . . . . . . . . . . 14

Bibliografa

15
i

CAPTULO

P LANEAMIENTO DEL E STUDIO

1.1

Contexto y Motivacin

Una de las etapas de los sistemas de videovigilancia es el seguimiento de objetos, el

cual lleva al estudio de consultas que involucran temporalidad y georefencia; es decir,
es necesario almacenar no solo los datos multimedia, tambin el tiempo en el cual cada
video es capturado y la localizacin de donde se est obteniendo el video, esto para
realizar consultas espacio temporales, lo cual permitir calcular estimaciones de flujo de
un objeto.
El seguimiento de objetos es una etapa muy importante, y ms aun si involucran
diferentes escenarios en un tiempo determinado; es decir, las ocurrencias de actividades
similares en diferentes reas de un espacio en especfico, o la conexin que existen de las
actividades o sucesos que ocurren en diferentes reas.
Es por ello que se propone desarrollar un mtodo que permita realizar el seguimiento
de un objeto en diferentes videos de cmaras de seguridad, para analizar las conexiones
entre las actividades que suceden y la relacin que existes en las mismas.

CAPTULO 1. PLANEAMIENTO DEL ESTUDIO

1.2

Definicin del Problema

Las nuevas tecnologas de captura hacen que la informacin multimedia sea de mayor
calidad en el sentido de resolucin de las imgenes y los videos, pero esto tiene un
costo: el tamao de los datos que se capturan y que tienen que almacenarse, es decir
guardar grandes cantidades de informacin multimedia genera un costo muy alto de
almacenamiento.
Indexar y recuperar grandes cantidades de informacin es uno de los trabajos ms
tediosos en el rea de procesamiento de imgenes; adems existe muchas variantes de
este problema [12], dependiendo del contenido de las aplicaciones y las bases de datos
que se usan, por ejemplo podran ser solo de imgenes, solo de videos, o imgenes y
videos.
Realizar consultas en informacin multimedia genera un costo de procesamiento
muy alto, es por ello que la necesidad de un mtodo de indexar y recuperar informacin
multimedia son tareas bsicas muy importantes. De acuerdo a nuestra investigacin las
consultas a realizarse contiene informacin espacio temporal; es decir, es informacin
georeferencial con cmaras que ubican un espacio y un tiempo (maana tarde y noche) y
es necesario almacenar informacin del origen de los videos y responder a consultas en
espacio - temporales
A partir de la informacin indexada las consultas realizarse pueden hacerse estimaciones de flujo con la informacin almacenada; sin usar GPS si no en funcin a
la informacin almacenada (atributos espacio - temporales) y recuperar informacin
georeferencialmente

1.3
1.3.1

Objetivos
Objetivo General

Desarrollar un modelo que nos permita almacenar e interactuar con grandes cantidades
de informacin multimedia para extraer estimaciones de flujo.

1.3.2

Objetivos Especficos

Indexacin y Recuperacion de videos

Consultas de Espacio y Tiempo basado en Georeferenciamiendo temporal en videos

CAPTULO 1. PLANEAMIENTO DEL ESTUDIO

Estimaciones de Flujo de objetos.

1.4

Justificacin

Tener almacenado grandes cantidades de informacin en la actualidad tiene un gran auge,

el uso de informacin multimedia pretende enriquecer las exigencias de los usuarios.
Tomando como base la evolucin de los datos que: se transforman, analizan y se realizan
consultas, se puede afirmar la necesidad de interactuar con los nuevos tipos de datos.
La afirmacin anterior nos permite comprender la importancia de indexar y recuperar
informacin multimedia. Se hace necesario entonces, proponer un mtodo que agilice el
acceso a esta informacin, que nos permita interactuar con ellos de manera rpida. Esto
debido a que los avances tecnolgicos son cada mas grandes, adems, la optimizacin de
los recursos hacen de este estudio viable.

1.5

rea de Investigacin

Esta investigacin se encuentra dentro de la lnea de investigacin de Procesamiento

Multimedia, en el rea de Visin Computacional.

1.6

Metodologa de la Investigacin

Puesto que es un rea de computacin la tcnica a seguir para desarrollar el proyecto

toma como base el procesos de desarrollo de software tradicional, en el cual La presente
investigacin tiene bsicamente 3 etapas:

1.6.1

Etapa de aprendizaje y dominio del tema

1.6.1.1

Meta:

Esta etapa consiste principalmente de aprendizaje de los diferentes algoritmos empleados

en el anlisis y modelamiento de indexacin y recuperacin de videos.
1.6.1.2

Actividades:

1. Revisin bibliogrfica
2. Anlisis de los algoritmos revisados
3

CAPTULO 1. PLANEAMIENTO DEL ESTUDIO

3. Recopilacin de informacin de los mtodos de indexacin y recuperacin de videos.

4. Validacin del proceso de desarrollo a usar la siguiente etapa.

1.6.2

Etapa de modelamiento

1.6.2.1

Meta:

Esta etapa consiste principalmente en el planteamiento y modelamiento de los algoritmos

una vez revisados.
1.6.2.2

Actividades:

1. Revisin bibliogrfica
2. Anlisis de los algoritmos revisados
3. Recopilacin de informacin de los mtodos de indexacin y recuperacin de videos.
4. Validacin del proceso de desarrollo.

1.6.3

Etapa de Implementacin de algoritmos

1.6.3.1

Meta:

Esta etapa consiste en la implementacin de algoritmos seleccionados con casos de

aplicacin especficos.
1.6.3.2

Actividades:

Implementar 3 mdulos:
1. Mdulo de Indexacin de Videos
2. Mdulo de Recuperacin de Videos
3. Modulo de Consultas y estimaciones de flujo.

1.7

Cronograma

Las Actividades a realizarse son listadas en la tabla 1.1, que est divida en meses, para
realizar la tesis en su totalidad:
4

CAPTULO 1. PLANEAMIENTO DEL ESTUDIO

1. Revisin bibliogrfica
2. Planteamiento de la propuesta
3. Diseo e implementacin
4. Experimentos y pruebas
5. Resultados
6. Redaccin de tesis

Actividades
1
2
3
4
5
6

May
x

Jun
x
x

Jul
x
x

2016
Ago Set
x
x
x
x
x
x

Oct

Nov

Dic

Ene

x
x

x
x

x
x

Cuadro 1.1: Cronograma de Actividades

Fev

x
x
x

2017
Mar Abr

x
x
x

x
x

May

CAPTULO

I NDEXACIN Y R ECUPERACIN DE V IDEOS

2.1

Introduccin

La indexacin y recuperacin de videos son muy importantes puesto que tienen componentes necesarios para el almacenamiento, clasificacin y acceso al contenido multimedia.
Tambin facilita la bsqueda de los componentes deseados para formar un repositorio
multimedia [10]. Adems, existen muchos recursos multimedia, pero los videos son un
componente clave que comprende principalmente de tres partes principales[7]:
Contenido con mayor informacin que una imagen.
Gran cantidad de datos crudos.
La estructura de un video es muy pequea.
Estas caractersticas hacen que la indexacin y recuperacin de videos bastante
difcil. En el pasado, las bases de datos de video han sido relativamente pequeas, y
la indexacin y recuperacin se han basado en palabras clave anotados manualmente,
recientemente, estas bases de datos se han vuelto mucho ms grande y se requiere
indexacin y recuperacin de videos con la mnima participacin humana.
La estructura general de los sistemas de indexacin y recuperacin de videos se
muestra en la figura 2.1. A continuacin se incluye dentro de la estructura:
6

CAPTULO 2. INDEXACIN Y RECUPERACIN DE VIDEOS

1. Anlisis de la estructura: para la deteccin de lmites de una toma(shot de

video), extraccin de fotogramas claves y fragmentos de la escena.
2. Partes de unidades segmentadas de video (escenas): consiste en la caracterstica esttica de fotogramas clave, las caractersticas de movimiento y las
caractersticas del objeto.
3. Suprime datos de video: por medio de extraccin de caractersticas
4. Anotaciones de video: las caractersticas extradas y el conocimiento extrado
se utilizan para la produccin de un ndice semntico del video. Las secuencias
de videos almacenados en la base de datos incluyen el ndice total de semntica y
juntos proporcionan una alta calidad de vector caractersticas del video obtenido.
5. Pregunta: el uso de los ndice y los atributos de video, en paralelo, proporcionan
una bsqueda mas rica en la base de datos.
6. Navegacin visual y respuesta: los videos buscados en respuesta a la pregunta
hacen que la navegacin y la revisin de los resultados sean ms ptmmos.

CAPTULO 2. INDEXACIN Y RECUPERACIN DE VIDEOS

Figura 2.1: Estructura general de Indexacin y Recuperacin de Videos [3].

CAPTULO 2. INDEXACIN Y RECUPERACIN DE VIDEOS

2.2

Indexacin de Videos

Indexacin de Videos es el proceso de proveer a los usuario una forma de navegar en

contenido multimedia(Videos) de manera sencilla, muy similar al ndice de un libro.
Es tambin la seleccin de ndices y/o atributos del contenido de video para ayudar a
representar y organizar el flujo del video original[8]. Tambin llamado "Video Concept
Detection"ha tenido un gran nfasis tanto en la academia como en la industria[14]; se
considera muy dificil interactuar con este tipo de archivos[1].
Indexacin y Recuperacin de informacin [10] es necesaria para describir, almacenar
y organizar informacin multimedia, adems de, asistir a las personas a encontrar los
recursos deseados de manera rpida. Los videos dinmicos son una forma importante de
informacin multimedia.

2.3

Recuperacin de Videos

La Recuperacin de informacin multimedia (Multimedia information retrieval - MMIR

o MIR) es una disciplina de investigacin de ciencias de la computacin que tiene como
objetivo extraer informacin semntica a partir de fuentes de datos multimedia [6]. Las
fuentes de datos incluyen medios directamente perceptibles como audio, imagen y video;
perceptibles de manera indirecta, como texto, bioseales, y como fuentes no perceptibles,
tales como bioinformtica, precios de acciones, etc. La metodologa de MMIR se pueden
organizar en tres grupos:
Los mtodos para el resumen del contenido de los medios (extraccin de caractersticas). El resultado de la extraccin de caractersticas es una descripcin.
Los mtodos para el filtrado de las descripciones de los medios de comunicacin
(por ejemplo, la eliminacin de la redundancia)
Los mtodos para la clasificacin de las descripciones de los medios de comunicacin
en clases.

CAPTULO 2. INDEXACIN Y RECUPERACIN DE VIDEOS

2.4

Tcnicas de Indexacin y Recuperacin de

Videos

2.4.1

Visual Content-Based Video Indexing and Retrieval

Figura 2.2: Estructura general de Indexacin y Recuperacin de Videos Basados en

Contenido [7].
Content-based significa que en la bsqueda se analizar el contenido del video. El
trmino contenido en este contexto se refiere al: color, forma y textura[13].
La segmentacin de video es el primer paso hacia la recuperacin de video por
contenido basado en el objetivo de segmentar los objetos de secuencias de video en
movimiento. Inicia con los segmentos del primer cuadro de imagen; luego hace un
seguimiento de la evolucin de los objetos en movimiento en los cuadros de imagen
subsiguientes.
Estos objetos segmentados tienen muchas aplicaciones, como la vigilancia, la manipulacin de objetos, la composicin de la escena, y la recuperacin de video [13]. El video
se crea mediante la adopcin de una serie de capturas y componer juntos utilizando los
operadores de composicin especificados:
1. Caracteristicas de Textura:
La textura se define como los patrones visuales que tienen propiedades de homogeneidad que no resultan de la presencia de un solo color o intensidad. Estos
se compone de seis funciones estadsticas, as como la tosquedad, el contraste,

10

CAPTULO 2. INDEXACIN Y RECUPERACIN DE VIDEOS

la direccionalidad, la lnea de semejanza, regularidad y rugosidad para describir

diversas propiedades de textura.
2. Caracteristicas de Color:
El color es una de las caractersticas visuales ms ampliamente utilizados en el
contexto multimedia y recuperacin de imgenes / video.
3. Caracteristicas de Forma:
Hacemos un conjunto de medidas que caracterizan de forma independiente algn
aspecto de la forma. Las mediciones pueden incluir propiedades de una regin
como rea, permetro, relacin de aspecto, valores propios, discrepancia convexa, y
varios momentos centrales.

11

CAPTULO 2. INDEXACIN Y RECUPERACIN DE VIDEOS

2.5

Comparacin de Algoritmos de Indexacin y

Recuperacin de Videos
Algoritmos

Indexacin y
Recuparacin
basado en
R-Frames de
Video Shots

Indexacin y
Recuparacin
basado en
Informacin de
Movimiento

Enforque
La forma ms comn de crear una
indexacin de shots de videos es
usando un frame representativo.
Un R-Frame captura las principales
caractersticas de contenido de
un shot. Estas caractersticas de
indexacin pueden ser extradas
en base a color, textura y/o forma;
como se hace en la recuperacin de
imgenes
Basado en el contenido de
movimiento, uniformidad
de movimiento, toma
panormica de movimiento,
etc. Todo esto es capturado
de los videos.

Ventajas

Limitaciones

Un inico frame representa

un shot completo, reduciendo
as la complejidad
computacional.

Las secuencias de video

son imgenes que pierden
informacin temporal y de
informacin de movimiento
contenidos en un video.

Es una extencin de los

R-Frames que toma en
cuenta informacin de
movimiento.

La velocidad de
recuperacin de
videos depende del
tamao (ancho x alto).

Disear e implementar
el seguimiento de objetos
y tcnicas de segmentacin
son difciles de implementar.

Indexacin y
Recuparacin
basado en
Objetos

Basado en la Segmentacin
de Objetos

La indexacin y recuperacin
de video puede llevarse a
cabo fcilmente cuando
el video es comprimido
utilizando el estndar de
codificacin basado en
objetos MPEG-4.

Indexacin y
Recuparacin
basado en
Metadatos

Se usa informacin
descriptiva acerca
de los datos que
contienen los
videos para la
indexacin

Adecuados para DBMS

convencionales

Indexacin y
Recuparacin
basado en
Anotaciones

Se realizan anotaciones de
forma manual y automtica

Se desempea bien si las

anotaciones estn
disponibles y detalladas.

Bsqueda de video
de grandes bases
de datos utilizando
una nueva
caracterstica del histogramas

Este algoritmo esta basado

en Adjacent Pixel Intensity
Difference Quantization
(APIDQ)

Es robusto frente
al ruido gaussiano

Este mtodo es muy difcil

de implementar debido al
ruido exterior, lo cual hace
de las anotaciones
menos verdicas.

Cuadro 2.1: Comparacin de Enfoques de Indexacin y Recuperacin de Videos [4]

2.6
2.6.1

Definicin Conceptual de Trminos

Video

Un video se puede considerar como una secuencia de imgenes o fotogramas que varan
en el tiempo.
Se define como una funcin f ( x, y, t) que depende de dos variables espaciales ( x, y)
y una temporal t, usualmente observada en una ventana rectangular W sobre algn
12

CAPTULO 2. INDEXACIN Y RECUPERACIN DE VIDEOS

intervalo de tiempo T [2].

Las dimensiones de W se denotan como mxn donde m es el ancho de la ventana y n
el alto, correspondiente a cada fotograma perteneciente al video.
Generalmente un video est dividido jerrquicamente, como se observa en el figura
2.3.

Figura 2.3: Jerarqua General de un video [3].

2.6.2

Videovigilancia

Sistema de grabacin de imgenes y sonidos a travs de videocmaras que sirve como

medio para llevar a cabo la proteccin del libre ejercicio de los derechos y libertades, y
garantizar la seguridad ciudadana [11].
El proceso general de un sistema de videovigilancia incluye las siguientes etapas [9]:
1. Motion/object detection
2. Object classification
3. Object tracking
13

CAPTULO 2. INDEXACIN Y RECUPERACIN DE VIDEOS

4. Behavior and Activity analysis

5. Object identification

2.6.3

Seguimiento de Objetos

Es un mtodo de deteccin de objetos en movimiento y el trazado de su recorrido mediante

el anlisis de ellos [5].

14

B IBLIOGRAFA

[1] Aigrain, P., Zhang, H., and Petkovic, D. (1996). Content-based representation and
retrieval of visual media: A state-of-the-art review. Multimedia tools and applications,
3(3):179202.
[2] Al, B. (2000). Handbook of image and video processing. Academic Press.
[3] Asghar, M. N., Hussain, F., and Manton, R. (2014). Video indexing: a survey. framework, 3(01).
[4] Bhute, A. N., Meshram, B., and Bhute, H. A. (2012). Multimedia indexing and
retrieval techniques: A review. International Journal of Computer Applications, 58(3).
[5] Devasena, C. L., Revath, R., and Hemalatha, M. (2011). Video surveillance systems
a survey. International Journal of Computer Science (IJCSI), 8(4).
[6] Eidenberger, H. (2011). Fundamental media understanding: the common methods of
audio retrieval, biosignal processing, content-based image retrieval, face recognition,
genome analysis, music genre classification, speech recognition, technical stock analysis,
text retrieval and video surveillance. BoDBooks on Demand.
[7] Hu, W., Xie, N., Li, L., Zeng, X., and Maybank, S. (2011). A survey on visual contentbased video indexing and retrieval. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 41(6):797819.
[8] Kidd, T. T. (2008). Handbook of research on instructional systems and technology. IGI
Global.
[9] Ko, T. (2008). A survey on behavior analysis in video surveillance for homeland security applications. In 2008 37th IEEE Applied Imagery Pattern Recognition Workshop,
pages 18. IEEE.

15

BIBLIOGRAFA

[10] Lew, M. S., Sebe, N., Djeraba, C., and Jain, R. (2006). Content-based multimedia information retrieval: State of the art and challenges. ACM Transactions on Multimedia
Computing, Communications, and Applications (TOMM), 2(1):119.
[11] Moliner Gil, C. (2015). La videovigilancia en lugares pblicos.
[12] Oliveira Barra, G. d. (2015). Livre: A video extension to the lire content-based image
retrieval system.
[13] Patel, B. and Meshram, B. (2007). Retrieving and summarizing images from pdf
documents. In International Conference on Soft computing and Intelligent Systems
(ICSCSI-07), Jabalpur, India, pages 2729.
[14] Zha, Z.-J., Wang, M., Zheng, Y.-T., Yang, Y., Hong, R., and Chua, T.-S. (2012). Interactive video indexing with statistical active learning. IEEE Transactions on Multimedia,
14(1):1727.

16