INTRODUCCIN A LA DETECCIN DE OBJETOS

Caractersticas de pxel

Maria Vanrell
DEPARTAMENTO DE CIENCIAS DE LA COMPUTACIN

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

La extraccin de caractersticas construye los descriptores de los objetos de las imgenes

Imagen

+
Objeto
(cara, mano, persona, ...)

Sistema detector de objetos

Extraccin de
Generacin de
caractersticas
candidatos
Clasificacin de
candidatos
Refinacin de
la decisin

Ventana/-s

cara
mano

Descriptores de los objetos

persona

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Un descriptor simple: EL COLOR del pxel

Imagen de entrada:

Objetivo:

Objeto: Regin de pxeles conectados que tienen color de piel.

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Consideraremos slo una parte del esquema general

Extraccin de
caractersticas
Generacin de
candidatos

Generacin de
candidatos
Extraccin de
caractersticas

Clasificacin de
candidatos

Refinacin de
la decisin

Clasificacin de descriptores
Descriptores simples de pxel

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Esquema:

Extraccin de
caractersticas

Para cada pxel, p(x,y), le

asociamos un descriptor de
3 dimensiones:
x1 R

Descriptor ( p ) = x 2 = G
x B
3

Clasificacin de
candidatos

Generacin de
ventanas

Cada descriptor de pxel

se clasificar dentro o
fuera del cubo la clase
piel
G

( Rp
R

Gp

Bp )

Clase piel

Para los pxeles de

clase piel se extraern
las regiones conectadas
que se han formado

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Extraccin de caractersticas

Clasificacin de descriptores

x1 R

Descriptor ( p ) = x 2 = G
x B
3

Imagen entrada

( Rp

piel

Bp )

ropa

Gp

s3

s2

s1

fondo

( Rp

Gp

Bp )

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Resultados:

Imagen entrada

Clase piel: ( R p Gp Bp ) = (117.5 66.0 38.5)

s1 = 113 s2 = 80 s3 = 77

Generacin de ventanas

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Problema: Qu pasa si la imagen presenta cambios de intensidad, luz ms tenue

Clasificador Inicial

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Solucin: Eliminar los efectos de la intensidad en la imagen, cambio de descriptor pasaremos

a un espacio de color invariante a la intensidad, son las coordenadas cromticas

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Nuevo descriptor:
Paso a coordenadas cromticas (divisin por la Intensidad)

(R

G B)
R +G +B

G
R +G +B

R +G +B

Un cambio de intensidad en la imagen es un producto con un escalar

(R G B ) s (R G B ) (s R

s G s B )

La intensidad se cancelar y el nuevo descriptor es invariante a la intensidad

(sR

sR

sG SB )
sR + sG + sB

sG
sR + sG + sB

sB

sR
=
sR + sG + sB s( R + G + B )

sG
s( R + G + B )

sB

s( R + G + B )
G

Importante: el nuevo descriptor es de dimensin 2, es una proyeccin sobre el plano

R +G +B =1

1
1

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Resultados:

Imagen
original
Coordenadas
Cromticas
Resultado
Clasificacin

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Ms problemas: Qu pasa si la imagen presenta cambios de color, por cambio de luz o de cmara

Clasificador Inicial

El clasificador no funciona y adems es difcil re-definir sus parmetros para todas las condiciones.

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Solucin: Eliminar los efectos del cambio de color directamente sobre la imagen original, y pasar a
una representacin cannica, una representacin donde una superficie blanca en la escena tenga
valores de RGB que sean (255, 255, 255), es el algoritmo de white-patch.

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Algoritmo White-patch. Asume que los valores mximos de color en los tres canales de la
imagen es el color del blanco bajo la luz de la escena, entonces se elimina el efecto de esa luz y
se impone una luz blanca.
Estimacin del color de la luz de la escena de la imagen

(Rmax ( I )

Gmax ( I ) Bmax ( I ))

Rmax ( I ) : valor mximo del canal R de la imagen I

Gmax ( I ) :

"

"

Bmax ( I ) :

"

"

Suponemos el color de la luz blanca en este caso

(255

255 255 )

Eliminamos la luz de la escena e introducimos la luz blanca

(R

255
G B )
R
R
(
I
)
max

255
G
Gmax ( I )

255
B
Bmax ( I )

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Resultados:
Imagen
original
Algoritmo
White-patch
Clasificador
Inicial
Clasificador
adaptado

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

En resumen: hemos trabajado en

Un esquema simple de deteccin de objetos
Un descriptor de objetos basado la caracterstica del color del pxel
El problema de la invariancia a los cambios de intensidad
El problema de la invariancia a los cambios de color (luz o cmara)

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pxel

Ms problemas:
Qu pasa si el fondo de la imagen no presenta ninguna superficie blanca?
(white-patch puede dar imgenes desviadas hacia el color de la superficie ms
intensa de la escena)
Qu pasa si el fondo de la imagen tiene objetos que no son manos, pero son
de color piel?