Estudio sobre el Reconocimiento Automatico de

Objetos en Imagenes
Proyecto Final Ingeniera Informatica

Meola Franco Roman, Puente Julieta, Strubolini Diego Martn

28 de julio de 2016

Tutor: Dra. Mara Juliana Gambini

Que vamos a ver

Motivacion
Metodos de Reconocimiento: SIFT, SURF y ORB
Experimento y Resultados en Imagenes Sinteticas
Transformaciones Reales: Galera de Arte
Conclusiones

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

2 / 63

Introducci
on
Aplicaciones

Parte I
Motivacion

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

3 / 63

Introducci
on
Aplicaciones

Reconocimiento Automatico de Objetos en Imagenes

Introducci
on

Es trivial para el ojo humano

Para grandes vol
umenes de datos la automatizacion es
imprescindible
Decidir si dos imagenes corresponden a la misma escena es un
desafo

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

4 / 63

Introducci
on
Aplicaciones

Aplicaciones
Mosaico de im
agenes

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

5 / 63

Introducci
on
Aplicaciones

Aplicaciones
Localizaci
on de objetos para para un mapeo 3D

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

6 / 63

Introducci
on
Aplicaciones

Aplicaciones
Recomendaci
on de recetas de cocina en tiempo real

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

7 / 63

Introducci
on
Aplicaciones

Aplicaciones
Detecci
on de objetos en videos de c
amaras de seguridad

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

8 / 63

Introducci
on
Aplicaciones

Aplicaciones
Reconocimiento de caras

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

9 / 63

Introducci
on
SIFT
SURF
ORB

Parte II
Metodos de Reconocimiento: SIFT,
SURF y ORB

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

10 / 63

Introducci
on
SIFT
SURF
ORB

Metodos de Reconocimiento
Introducci
on

Los dos conceptos mas relevantes son: puntos

caractersticos (keypoints) y descriptores
Un keypoint es un punto representativo de la imagen
Un descriptor es un vector que representa las caractersticas
de cada keypoint y sera utilizado en el calculo de
correspondencias

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

11 / 63

Introducci
on
SIFT
SURF
ORB

Introducci
on
Algoritmo

SIFT
Introducci
on

Scale Invariant Feature Transform1

Propuesto por David Lowe en el a
no 1999
Es el metodo mas utilizado por sus buenos resultados
Alto costo computacional

D.G. Lowe. Object recognition from local scale-invariant features. En:

Computer Vision, 1999. The Proceedings of the Seventh IEEE International
Conference on. Vol. 2. 1999, 1150-1157 vol.2. doi:
10.1109/ICCV.1999.790410.
Meola Franco Rom
an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

12 / 63

Introducci
on
SIFT
SURF
ORB

Introducci
on
Algoritmo

SIFT
Algoritmo

Espacio Escala Gaussiano

Diferencias Gaussianas (DoG)

Puntos de interes

Asignacion de orientaci
on a los puntos de interes

Construccion de descriptores

Calculo de correspondencias

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

13 / 63

Introducci
on
SIFT
SURF
ORB

Introducci
on
Algoritmo

SURF
Introducci
on

Speeded Up Robust Features 2

Propuesto por Bay, Tuytelaars y Van Gool en el a
no 2006
Una alternativa a SIFT que conserva cierta robustez
mejorando la performance

2
Herbert Bay, Tinne Tuytelaars y Luc Van Gool. Surf: Speeded up robust
features. En: European conference on computer vision. Springer. 2006,
p
ags. 404-417.
Meola Franco Rom
an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

14 / 63

Introducci
on
SIFT
SURF
ORB

Introducci
on
Algoritmo

SURF
Algoritmo

Espacio Escala Gaussiano

Imagen Integral

Puntos de Interes

Asignacion de orientaci
on a los puntos de interes

Construccion de descriptores

Calculo de correspondencias

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

15 / 63

Introducci
on
SIFT
SURF
ORB

Introducci
on
Algoritmo

ORB
Introducci
on

Oriented FAST and Rotated BRIEF 3

Propuesto pot Rublee en el a
no 2011
Se destaca por su rapidez debido al uso de descriptores
binarios
Orientado al procesamiento en tiempo real

Ethan Rublee y col. ORB: An Efficient Alternative to SIFT or SURF. En:

Proceedings of the 2011 International Conference on Computer Vision. ICCV
11. Washington, DC, USA: IEEE Computer Society, 2011, p
ags. 2564-2571.
isbn: 978-1-4577-1101-5. doi: 10.1109/ICCV.2011.6126544. url:
http://dx.doi.org/10.1109/ICCV.2011.6126544.
Meola Franco Rom
an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

16 / 63

Introducci
on
SIFT
SURF
ORB

Introducci
on
Algoritmo

ORB
Algoritmo

Localizacion de los keypoints utilizando FAST

Seleccion de los mejores keypoints utilizando Harris

Asignacion de orientaci
on a los puntos de interes

Construccion de descriptores utilizando BRIEF

Calculo de correspondencias

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

17 / 63

Experimento
Resultados

Parte III
Experimento y Resultados en Imagenes
Sinteticas

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

18 / 63

Experimento
Resultados

Pruebas realizadas
Procedimiento

Experimento
Pruebas realizadas

Tiempo de procesamiento
Escala
Rotacion en dos dimensiones
Blur
Iluminacion

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

19 / 63

Experimento
Resultados

Pruebas realizadas
Procedimiento

Experimento
Procedimiento

Seleccion del set de imagenes

Modificaciones sinteticas del set de imagenes

Calculo de correspondencias

Calculo del promedio del porcentaje de correspondencias

Comparacion de los metodos

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

20 / 63

Experimento
Resultados

Tiempo de procesamiento
Escala
Rotaci
on 2D
Blur
Cambios en iluminaci
on

Resultados
Tiempo de procesamiento

Se debe tener en cuenta que el tiempo de procesamiento incluye a

las tareas de:
Deteccion de puntos caractersticos
Extraccion de descriptores
Matching de correspondencias
Filtrado del conjunto de correspondencias

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

21 / 63

Experimento
Resultados

Tiempo de procesamiento
Escala
Rotaci
on 2D
Blur
Cambios en iluminaci
on

Resultados
Tiempo de procesamiento

Dimensiones [px]
12.288.000
8.192.000
4.096.000
819.200

SIFT [ms]
450776
174366
47141
30165

SURF [ms]
171999
96179
29291
16067

ORB [ms]
754
610
519
496

Tabla 1: Tiempo de procesamiento en funci

on de las dimensiones (en
pxeles) de la imagen para los metodos SIFT, SURF y ORB

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

22 / 63

Resultados
Tiempo de procesamiento
1000000

Tiempo de procesamiento (ms)

100000

SIFT

10000

SURF
ORB

1000

100
0

0.1

0.2

0.3

0.4

0.5
Ra2o

0.6

0.7

0.8

0.9

Experimento
Resultados

Tiempo de procesamiento
Escala
Rotaci
on 2D
Blur
Cambios en iluminaci
on

Resultados
Escala

(a) Imagen de ejemplo.

(b) Imagen de ejemplo escalada

con un ratio de 0.5.

Figura 2: Transformaci
on escala a una imagen de ejemplo.

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

24 / 63

Experimento
Resultados

Tiempo de procesamiento
Escala
Rotaci
on 2D
Blur
Cambios en iluminaci
on

Resultados
Escala

Figura 3: Puntos de correspondencia entre las imagenes 2(a) y 2(b)

unidos por una lnea recta para el metodo SIFT con la imagen de ejemplo.
Meola Franco Rom
an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

25 / 63

Experimento
Resultados

Tiempo de procesamiento
Escala
Rotaci
on 2D
Blur
Cambios en iluminaci
on

Resultados
Escala

Figura 4: Puntos de correspondencia entre las imagenes 2(a) y 2(b)

unidos por una lnea recta para el metodo SURF con la imagen de
ejemplo.
Meola Franco Rom
an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

26 / 63

Experimento
Resultados

Tiempo de procesamiento
Escala
Rotaci
on 2D
Blur
Cambios en iluminaci
on

Resultados
Escala

Figura 5: Puntos de correspondencia entre las imagenes 2(a) y 2(b)

unidos por una lnea recta para el metodo ORB con la imagen de ejemplo.
Meola Franco Rom
an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

27 / 63

Experimento
Resultados

Tiempo de procesamiento
Escala
Rotaci
on 2D
Blur
Cambios en iluminaci
on

Resultados
Escala

Ratio
0.5

SIFT
24.05

SURF
27.01

ORB
14.80

Tabla 2: Porcentaje de correspondencias en funci

on del ratio de escala
para los metodos SIFT, SURF y ORB

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

28 / 63

Resultados
Escala
100
90

Porcentaje de Correspondencias

80
70
60
SIFT

50

SURF
40

ORB

30
20
10
0
0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.1
Ra1o

1.2

1.3

1.4

1.5

1.6

1.7

1.8

1.9

Experimento
Resultados

Tiempo de procesamiento
Escala
Rotaci
on 2D
Blur
Cambios en iluminaci
on

Resultados
Rotaci
on 2D

(a) Imagen de ejemplo

(b) Imagen de ejemplo rotada 45

grados

Figura 6: Transformaci
on rotaci
on a una imagen de ejemplo.

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

30 / 63

Experimento
Resultados

Tiempo de procesamiento
Escala
Rotaci
on 2D
Blur
Cambios en iluminaci
on

Resultados
Rotaci
on 2D

Figura 7: Puntos de correspondencia entre las imagenes 6(a) y 6(b)

unidos por una lnea recta para el metodo SIFT con la imagen de ejemplo.

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

31 / 63

Experimento
Resultados

Tiempo de procesamiento
Escala
Rotaci
on 2D
Blur
Cambios en iluminaci
on

Resultados
Rotaci
on 2D

Figura 8: Puntos de correspondencia entre las imagenes 6(a) y 6(b)

unidos por una lnea recta para el metodo SURF con la imagen de
ejemplo.

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

32 / 63

Experimento
Resultados

Tiempo de procesamiento
Escala
Rotaci
on 2D
Blur
Cambios en iluminaci
on

Resultados
Rotaci
on 2D

Figura 9: Puntos de correspondencia entre las imagenes 6(a) y 6(b)

unidos por una lnea recta para el metodo ORB con la imagen de ejemplo.

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

33 / 63

Experimento
Resultados

Tiempo de procesamiento
Escala
Rotaci
on 2D
Blur
Cambios en iluminaci
on

Resultados
Rotaci
on 2D

Grados
45

SIFT
58.34

SURF
19.58

ORB
23.20

Tabla 3: Porcentaje de correspondencias en funci

on del grado de rotacion
para los metodos SIFT, SURF y ORB

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

34 / 63

Resultados
Rotaci
on 2D
100
90
80

Porcentaje de Correspondencias

70
60
SIFT

50

SURF
40

ORB

30
20
10
0
0

20

40

60

80

100

120

140

160

180

Experimento
Resultados

Tiempo de procesamiento
Escala
Rotaci
on 2D
Blur
Cambios en iluminaci
on

Resultados
Blur

(a) Imagen de ejemplo

(b) Imagen de ejemplo

borroneada con 4

Figura 10: Transformaci

on blur a una imagen de ejemplo.

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

36 / 63

Experimento
Resultados

Tiempo de procesamiento
Escala
Rotaci
on 2D
Blur
Cambios en iluminaci
on

Resultados
Blur

Figura 11: Puntos de correspondencia entre las imagenes 10(a) y 10(b)

unidos por una lnea recta para el metodo SIFT con la imagen de ejemplo.

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

37 / 63

Experimento
Resultados

Tiempo de procesamiento
Escala
Rotaci
on 2D
Blur
Cambios en iluminaci
on

Resultados
Blur

Figura 12: Puntos de correspondencia entre las imagenes 10(a) y 10(b)

unidos por una lnea recta para el metodo SURF con la imagen de
ejemplo.

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

38 / 63

Experimento
Resultados

Tiempo de procesamiento
Escala
Rotaci
on 2D
Blur
Cambios en iluminaci
on

Resultados
Blur

Figura 13: Puntos de correspondencia entre las imagenes 10(a) y 10(b)

unidos por una lnea recta para el metodo ORB con la imagen de ejemplo.

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

39 / 63

Experimento
Resultados

Tiempo de procesamiento
Escala
Rotaci
on 2D
Blur
Cambios en iluminaci
on

Resultados
Blur

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

40 / 63

Resultados
Blur
100
90
80

Porcentaje de Correspondencias

70
60
SIFT

50

SURF
40

ORB

30
20
10
0
0

Experimento
Resultados

Tiempo de procesamiento
Escala
Rotaci
on 2D
Blur
Cambios en iluminaci
on

Resultados
Cambios en iluminaci
on

(a) Imagen de ejemplo

(b) Imagen de ejemplo iluminada

con 2

Figura 14: Transformaci

on iluminaci
on a una imagen de ejemplo.

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

42 / 63

Experimento
Resultados

Tiempo de procesamiento
Escala
Rotaci
on 2D
Blur
Cambios en iluminaci
on

Resultados
Cambios en iluminaci
on

Figura 15: Puntos de correspondencia entre las imagenes 14(a) y 14(b)

unidos por una lnea recta para el metodo SIFT con la imagen de ejemplo.

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

43 / 63

Experimento
Resultados

Tiempo de procesamiento
Escala
Rotaci
on 2D
Blur
Cambios en iluminaci
on

Resultados
Cambios en iluminaci
on

Figura 16: Puntos de correspondencia entre las imagenes 14(a) y 14(b)

unidos por una lnea recta para el metodo SURF con la imagen de
ejemplo.

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

44 / 63

Experimento
Resultados

Tiempo de procesamiento
Escala
Rotaci
on 2D
Blur
Cambios en iluminaci
on

Resultados
Cambios en iluminaci
on

Figura 17: Puntos de correspondencia entre las imagenes 14(a) y 14(b)

unidos por una lnea recta para el metodo ORB con la imagen de ejemplo.

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

45 / 63

Experimento
Resultados

Tiempo de procesamiento
Escala
Rotaci
on 2D
Blur
Cambios en iluminaci
on

Resultados
Cambios en iluminaci
on

SIFT
43.16

SURF
36.59

ORB
6.00

Tabla 4: Porcentaje de correspondencias en funci

on del de iluminacion
para los metodos SIFT, SURF y ORB

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

46 / 63

Resultados
Cambios en iluminaci
on
100
90
80

Porcentaje de Correspondencias

70
60
SIFT

50

SURF
40

ORB

30
20
10
0
0

0,5

1,5

2,5

3,5

4,5

Parte IV
Transformaciones Reales: Galera de Arte

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

48 / 63

Transformaciones Reales: Galera de Arte

Introducci
on

Ahora se utilizan imagenes reales d

onde las transformaciones
surgen de manera natural
Las imagenes utilizadas fueron tomadas a partir de cuadros
presentados en el Museo Amalia Lacroze de Fortabat
Se comparan las imagenes del cuadro de la base de datos del
museo con una foto del cuadro tomada por un visitante del
museo
De esta forma la imagen con el mayor porcentaje de
correspondencias es la candidata al ser cuadro capturado en la
fotografa

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

49 / 63

Transformaciones Reales: Galera de Arte

Transformaciones Reales: Galera de Arte

Transformaciones Reales: Galera de Arte

Transformaciones Reales: Galera de Arte

Transformaciones Reales: Galera de Arte

Transformaciones Reales: Galera de Arte

Transformaciones Reales: Galera de Arte

Transformaciones Reales: Galera de Arte

Transformaciones Reales: Galera de Arte

Transformaciones Reales: Galera de Arte

Parte V
Conclusiones

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

60 / 63

Conclusiones

Prueba
Tiempo
Escala
Rotaci
on
Borroneo
Iluminaci
on

SIFT
Regular

Optimo

Optimo
Regular
Bueno

SURF
Bueno
Bueno
Bueno
Bueno
Bueno

ORB

Optimo
Regular
Regular
Bueno
Regular

Tabla 5: Desempe
no promedio para los distintos tipos de pruebas para
SIFT, SURF y ORB.

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

61 / 63

Conclusiones

Ninguno de los tres metodos se desempe

na mejor que los
demas para todas las situaciones
Resulta indispensable analizar el contexto de aplicacion para
decidir que metodo de reconocimiento automatico de objetos
en imagenes conviene seleccionar

Meola Franco Rom

an, Puente Julieta, Strubolini Diego Martn

Reconocimiento Autom
atico de Objetos en Im
agenes

62 / 63

Gracias