INTRODUCCIN A LA DETECCIN DE OBJETOS

Caractersticas locales

Maria Vanrell
DEPARTAMENTO DE CIENCIAS DE LA COMPUTACIN

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas locales

Descriptores de objetos
Imagen

+
Objeto
(cara, mano, persona, ...)

Sistema detector de objetos

Extraccin de
caractersticas
Clasificacin de
candidatos
Refinacin de
la decisin

Ventana/-s

cara
mano

Descriptores de los objetos

basados en caractersticas del pxel
basados en toda la imagen
basados en caractersticas locales

persona

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas locales

Esquema general:

Extraccin de
caractersticas
Generacin de
candidatos

Generacin de
candidatos
Extraccin de
caractersticas

Descriptores basados en
caracterticas locales

Clasificacin de
candidatos

Refinacin de
la decisin

Clasificacin de descriptores

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas locales

Caracterstica local (local feature) : Una caracterstica local es una propiedad que describe las
propiedades de un pxel con relacin a su vecindad. Estas caractersticas pueden presentar
formas especificas con una estructura propia, tales como puntos (blobs) o contornos (edges),
o cualquier otra estructura que se adapte a formas habituales.
contornos

R +G +B

Una manera genrica de detectar caractersticas locales es usando la operacin de la convolucin con
una forma local definida por un filtro o kernel
-1 0 1
1
-1 0 1
0
-1

-1

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas locales

La convolucin: es una operacin matemtica entre dos funciones, f y g, que se representa como
una nueva funcin que nos da el grado de solapamiento de la funcin g sobre la funcin f.

( f g )( x , y ) =

g( x' , y' ) f ( x x' , y y' )

x' , y '

En teora de la seal, la convolucin es usada para la

descomposicin de una seal en una serie de funciones
ms simples.

f : Seal de entrada
g : Funciones bsicas

En visin por computador se utiliza

para suavizar la imagen (blurring),
para mejorar la imagen (sharpening), o
para extraccin de caractersticas locales (contornos, puntos, )

En visin por computador la funcin f normalmente representa la imagen y la funcin g la

caracterstica local, de la que queremos medir su solapamiento con la imagen original.

( f g )( x , y ) =

g( x' , y' ) f ( x x' , y y' )

x' , y '

r ( x , y ) = I( x , y ) * k ( x , y ) =

k ( x' , y' ) I ( x x' , y y' )

x' ,y'

k : kernel/filtro

I : Imagen

Observacin: sobre el clculo de la convolucin

Ejemplo: supongamos un kernel 3x3

k ( x' , y' )

r ( x , y ) = I( x , y ) * k ( x , y ) =
=

k ( x' , y' ) I ( x x' , y y' )

x' ,y'

(-1,-1) (0,-1) (1,-1)

(-1,0)

(0,0) (1,0)

(-1,1)

(0,1) (1,1)

( x , y ) : Centro del kernel

r ( x , y ) = k ( 1,1 ) I ( x + 1, y + 1 ) + k ( 0 ,1 ) I ( x , y + 1 ) + k (1,1 ) I ( x 1, y + 1 ) +
+
k ( 1,0 ) I ( x + 1, y ) +
k ( 0 ,0 ) I ( x , y ) +
k (1,0 ) I ( x 1, y )
+ k ( 1,1 ) I ( x + 1, y 1 ) +
k ( 0 ,1 ) I ( x , y 1 ) +
k (1,1 ) I ( x 1, y 1 )

La convolucin se basa en el producto de la ventana de la imagen con el filtro invertido

r ( x , y ) = k ( 1,1 ) I ( x + 1, y + 1 ) + k ( 0 ,1 ) I ( x , y + 1 ) + k (1,1 ) I ( x 1, y + 1 ) +
+
k ( 1,0 ) I ( x + 1, y ) +
k ( 0 ,0 ) I ( x , y ) +
k (1,0 ) I ( x 1, y )
+

k ( 1,1 ) I ( x + 1, y 1 ) +

k ( 0 ,1 ) I ( x , y 1 ) +

I( x , y )

h( x' , y' )
(-1,-1) (0,-1) (1,-1)
(-1,0)

(0,0) (1,0)

(-1,1)

(0,1) (1,1)

k (1,1 ) I ( x 1, y 1 )

(x-1,y-1) (x,y-1) (x+1,y-1)

(x-1,y)

(x,y)

(x+1,y)

(x-1,y+1) (x,y+1) (x+1,y+1)

Relacin entre la convolucin y la correlacin:

La convolucin es una correlacin con el filtro invertido.
Importante:
Convolucin con k

Correlacin con k

k( x , y )

k' ( x , y )

Filtro simtrico

k( x , y )

A B

A B

D C

D E

A B

G H

C B

A
Convolucin = Correlacin

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas locales

Caracterstica local (local feature) : el contorno

contornos

R +G +B

Posibles filtros detectores de contorno:

-1

0 -1

-1

-1

-1

-1

0 -1

-1

0 -1

0
-1

-1

-1

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas locales

Descriptores de objetos
Imagen

+
Objeto
(cara, mano, persona, ...)

Sistema detector de objetos

Extraccin de
caractersticas
Clasificacin de
candidatos
Refinacin de
la decisin

Ventana/-s

cara
mano

Descriptores de los objetos

basados en caractersticas del pxel
basados en toda la imagen
basados en caractersticas locales

persona

Ejemplo: Representacin de objetos simples usando la convolucin.

Imagen: I ( x , y )

Kernels: k ( x , y )

Negro: 0
Blanco: 255

90
Escala

Escala

135

0
Escala

Escala

45

Imagen: I ( x , y )
p : pxel

Descriptor ( p ) = (x1
= x 90
s =1

x 90
s =2

xn ) =
x 90 x 0
x 0
s =3
s =1
s =2
x2

x 0
s =3

x135
s =1

x 45
s =3

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas locales

Esquema: (el mismo esquema usado en caracterticas de pixel)

Extraccin de
caratersticas
Para cada pxel, p(x,y), le
asociamos un descriptor basado
en un conjunto de caractersticas
locales
x filtro
1
1
Descriptor ( p ) = =

x n filtro n

Filtros:

Clasificacin de
candidatos

Generacin de
ventanas

Cada pxel se clasificar dentro o

fuera de la clase definida por cada
textura en el espaco de dimensin n

Cerrar las regiones

etiquetadas y localizar las
ventanas

xn
x n 1
x2

x1

Textura mano

Filtros seleccionados: para la deteccin de las manos con textura se ha trabajado con un conjunto
de 8 filtros bsicos.

90

Escala
90
+

Isotrpicos (ninguna direccin predomienante)

Kernels: k ( x , y )
Nota:

Estos filtros se han generado a partir de

derivadas parciales o combinaciones de stas
de la funcin de Gauss en 2D.

Escala

Se ha relacionado la forma de estos filtros con

los campos receptivos del sistema visual
humano, que muestran selectividad a
determinados patrones.
Lectura recomendada sobre este tema:
D. Marr. Vision, 1982 Ed. W.H.Freeman and Company.

Resultados de la convolucin:
Cada filtro ha detectado unas
caractersticas diferentes en
funcin de la orientacin o la
escala.

Resultado final:
Imagen
original

Descriptor
de c. locales

Resultado
clasificacin

Descriptor ( p ) = (x1
= x 90
s =1

x2

x8 ) =

x 45
s =1

x 90
s =2

x 45
s =2

x iso
s =1

x iso +
s =1

x iso
s =2

x iso +
s =2

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pixel

En resumen:
Se ha definido el concepto de caracterstica local a partir del concepto de contorno.
Se ha definido la operacin de convolucin con un filtro.
Se han visto algunas cuestiones de implementacin de la convolucin y se ha relacin
con la correlacin .
Se ha definido un descriptor basado en la concatenacin de las respuestas de la
convolucin con una familia de filtros.

Resumen de la semana:
Introduccin a una serie de conceptos muy bsicos de la visin por computador, y que creen
relevantes para la deteccin de objetos.
Tres maneras de construir descriptores de objetos ad-hoc:
basados en caractersticas del pxel
basados en toda la imagen
basados en caractersticas locales
Dos algoritmos bsicos de la deteccin de objetos: el template matching y el etiquetaje de regiones conexas.
Anlisis del comportamiento de los algoritmos frente a variaciones de iluminacin, de tamao, o de forma.