INTRODUCCIN A LA DETECCIN DE OBJETOS

Template matching

Maria Vanrell
DEPARTAMENTO DE CIENCIAS DE LA COMPUTACIN

INTRODUCCIN a la DETECCIN DE OBJETOS Template matching

... hasta ahora

Descriptores de pxeles (COLOR)

Imagen

+
Objeto
(cara, mano, persona, ...)

Sistema detector de objetos

Extraccin de
Generacin de
caractersticas
candidatos
Clasificacin de
candidatos
Refinacin de
la decisin

Ventana/-s

cara
mano

Descriptores de los objetos

persona

Conclusin: Los descriptores basados en la informacin del pxel son muy sensibles a cambios y sobre
todo no consideran la informacin espacial que es relevante en la descripcin de un objeto.

INTRODUCCIN a la DETECCIN DE OBJETOS Template matching

Template Matching, la imagen como descriptor

Si continuamos con el detector de manos

Imagen de entrada:

Objetivo:

Descriptor total: Una mano es una imagen, un patrn (template), como este

Template

En resumen
Descriptor simple:

Descriptor total:

EL COLOR DEL PXEL

LA IMAGEN DEL OBJETO

INTRODUCCIN a la DETECCIN DE OBJETOS Template matching

Template matching (correspondencia de patrn). Es una tcnica para detectar una

parte de una imagen, aquella ventana que ms se parece a un template o patrn dado.
Este patrn representa el objeto que queremos detectar.
Algoritmo bsico:
Clculo de la diferencia. Para cada punto de la imagen se asigna un valor
que representa la semejanza entre el patrn y la ventana correspondiente a
cada punto y que tiene tamao igual al patrn
Extraccin de mnimos. El punto de la imagen que presente el valor
mnimo de las diferencias nos dara la localizacin del objeto encontrado en la
imagen. Si queremos detectar varias apariciones, otros mnimos locales que
aparezcan en el mapa de distancia.

INTRODUCCIN a la DETECCIN DE OBJETOS Template matching

Esquema general de un sistema detector de objetos

Extraccin de
caractersticas

Generacin de
candidatos

Generacin de
candidatos

Extraccin de
caractersticas

Deslizamiento por toda la imagen

Clasificacin de
candidatos

Refinacin de
la decisin

Clasificacin segn diferencia con la imagen

(di-similitud)

INTRODUCCIN a la DETECCIN DE OBJETOS Template matching

Esquema simplificado:
Clasificacin de candidatos
Generacin de
candidatos

Para cada pxel de la

imagen se desplaza la
ventana del template

Clculo de la
diferencia

Decisin sobre
la diferencia

Clculo de la diferencia entre

el patrn que buscamos y la
ventana de la imagen

Extraccin de mnimos
sobre las diferencias
calculadas

Diferencia
Diferenca mnima
Template

Ventana Imagen

Mayor similitud

INTRODUCCIN a la DETECCIN DE OBJETOS Template matching

Clasificacin de candidatos
Generacin de
candidatos

Clculo de la
diferencia

Decisin sobre
la diferencia

Dos maneras de estimar la semejanza entre el template y cada ventanas de la Imagen:

Clculo de las diferencias (DISIMILITUD)
Clculo de similitudes (SIMILITUD)

INTRODUCCIN a la DETECCIN DE OBJETOS Template matching

Template matching basado en diferencia

T:

s1

T ( x , y ) : Templatede tamao s1 s2

s2

I( x , y ) : Imagen
x'

TMI ,T ( x , y )

(T ( x' , y' ) I( x x' , y

x' ,y'

y' ))2

y'

s1
s
,..., 1
2
2
s2
s
,..., 2
2
2

Ejemplo:
Template:

Imagen:

T( x, y )

I( x , y )

Negro: 0
Blanco: 255

INTRODUCCIN a la DETECCIN DE OBJETOS Template matching

Ejemplo: Clculo de diferencias por cada ventana

TMI ,T ( x , y )

(T ( x' , y' ) I( x x' , y

y' ))2
0

x' ,y'

19 255 39

38 156 53

TM( x , y ) 0

68

TM( x , y ) 255

TM( x , y ) 156

14 * 255 2

8 * 255 2

58

78

83

97

TM( x , y ) 97
4 * 255 2

4 * 128 2

INTRODUCCIN a la DETECCIN DE OBJETOS Template matching

Ejemplo: con una escena real

Template:
Otros mnimos locales
Imagen

Diferencias

Otras detecciones

Deteccin

Mnimo global de la imagen

INTRODUCCIN a la DETECCIN DE OBJETOS Template matching

Ejemplo: variaciones entre la imagen y el template

Imagen:

Template que
no proviene
de la imagen

Templates con pequeas variaciones:

Mnimo global de la imagen

Mnimos locales

INTRODUCCIN a la DETECCIN DE OBJETOS Template matching

Ejemplo: cuando la imagen presenta variaciones de intensidad

Imagen:

Template de la imagen:

Mnimo global de
la imagen
Mnimo global de
la imagen

Template que no proviene de la imagen:

Pocos mnimos
importantes en
la zona oscura
de la imagen

Zonas de mnimos locales

INTRODUCCIN a la DETECCIN DE OBJETOS Template matching

Clasificacin de candidatos
Generacin de
candidatos

Clculo de la
diferencia

Decisin sobre
la diferencia

Dos maneras de estimar la semejanza entre el template y cada ventanas de la Imagen:

Clculo de las diferencias (DISIMILITUD)

Clculo de similitudes (SIMILITUD)

Clculo de la
similitud

Decisin sobre
la similitud

INTRODUCCIN a la DETECCIN DE OBJETOS Template matching

Template matching basado en similitud (correlacin normalizada)

T:

s1

T ( x , y ) : Templatede tamao s1 s2

s2

I( x , y ) : Imagen
x'

(T ( x' , y ' ) I ( x
TM I ,T ( x , y )

y' ))
y'

x' , y '

T ( x' , y ' )2 I ( x
x' , y '

Ejemplo:

Imagen:

Template:

I( x , y )

T( x, y )

x' , y
x' , y

y ' )2

s1
s
,..., 1
2
2
s2
s
,..., 2
2
2

INTRODUCCIN a la DETECCIN DE OBJETOS Template matching

Ejemplo: Clculo de SIMILITUDES por cada ventana

TMI ,T ( x , y )

(T ( x' , y' ) I ( x

x' , y

T ( x' , y' )2 I ( x

y' ))

x' , y '

x' , y '

236

255

255 0

TM( x , y ) 255
8 * 255255
8

8 * 255255 2

y' )2

x' , y

218

236

199

199

218

TM ( x , y ) 180

TM( x , y ) 0

180

TM( x , y ) 180

4 255255 / 4 255255 2

4 255128 /

180

4 255128 2

INTRODUCCIN a la DETECCIN DE OBJETOS Template matching

Ejemplo: con una escena real

Template:
Otros mnimos locales
Imagen

Diferencias

Otras detecciones

Deteccin

Mximo global de la imagen

INTRODUCCIN a la DETECCIN DE OBJETOS Template matching

Ejemplo: variaciones entre la imagen y el template

Imagen:
Template que no proviene de la imagen

Templates con pequeas variaciones:

Mximo global de la imagen

INTRODUCCIN a la DETECCIN DE OBJETOS Template matching

Ejemplo: cuando la imagen presenta variaciones de intensidad

Imagen:

Template de la imagen:

Mximo global
de la imagen

Template que no proviene de la imagen:

Zonas de mximos
locales

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pixel

En resumen:
Se ha introducido un mtodo muy bsico de deteccin de objetos: el Template Matching.
La imagen del objeto como descriptor que nos ha permitido trabajar con la forma del
objeto.
Hemos visto que la diferencia es una medida de disimilitud que no es invariante a la

intensidad.
En cambio la correlacin normalizada , como medida de similitud, nos permite detectar
objetos independientemente de variaciones de la intensidad.