INTRODUCCIÓN A LA DETECCIÓN DE OBJETOS

Características de píxel

Maria Vanrell
DEPARTAMENTO DE CIENCIAS DE LA COMPUTACIÓN
 INTRODUCCIÓN a la DETECCIÓN DE OBJETOS – Características de píxel

La extracción de características construye los descriptores de los objetos de las imágenes

Imagen Sistema detector de objetos

Ventana/-s
Extracción de
Generación de
características
candidatos
Clasificación de
candidatos
Refinación de
+ la decisión
Objeto cara
(cara, mano, persona, ...) mano

persona
Descriptores de los objetos
INTRODUCCIÓN a la DETECCIÓN DE OBJETOS – Características de píxel

Un descriptor simple: EL COLOR del píxel

Imagen de entrada: Objetivo:

Objeto: Región de píxeles conectados que tienen color de piel.

INTRODUCCIÓN a la DETECCIÓN DE OBJETOS – Características de píxel

Consideraremos sólo una parte del esquema general

Extracción de Generación de
características candidatos
Clasificación de Refinación de
candidatos la decisión
Generación de Extracción de
candidatos características

Clasificación de descriptores

Descriptores simples de píxel

 INTRODUCCIÓN a la DETECCIÓN DE OBJETOS – Características de píxel

Esquema:

Extracción de Clasificación de Generación de

características candidatos ventanas

Para cada píxel, p(x,y), le Cada descriptor de píxel Para los píxeles de
asociamos un descriptor de se clasificará dentro o clase piel se extraerán
3 dimensiones: fuera del cubo la clase las regiones conectadas
 x1   R  piel que se han formado
    s
Descriptor ( p ) =  x 2  =  G  G
x  B  ( Rp Gp Bp )
 3  
R
B Clase piel
INTRODUCCIÓN a la DETECCIÓN DE OBJETOS – Características de píxel

Extracción de características Clasificación de descriptores

s
 x1   R  G
    ( Rp Gp Bp )
Descriptor ( p ) =  x 2  =  G 
x  B 
 3   R
B
Imagen entrada G G
ropa
s2
s3 s1
B B
piel
R R

( Rp Gp Bp )
fondo
INTRODUCCIÓN a la DETECCIÓN DE OBJETOS – Características de píxel

Resultados:

Imagen entrada

Clase piel: ( R p Gp Bp ) = (117.5 66.0 38.5)

s1 = 113 s2 = 80 s3 = 77

Generación de ventanas
INTRODUCCIÓN a la DETECCIÓN DE OBJETOS – Características de píxel

Problema: Qué pasa si la imagen presenta cambios de intensidad, luz más tenue

Clasificador Inicial
INTRODUCCIÓN a la DETECCIÓN DE OBJETOS – Características de píxel

Solución: Eliminar los efectos de la intensidad en la imagen, cambio de descriptor pasaremos

a un espacio de color invariante a la intensidad, son las coordenadas cromáticas
 INTRODUCCIÓN a la DETECCIÓN DE OBJETOS – Características de píxel

Nuevo descriptor:

Paso a coordenadas cromáticas (división por la Intensidad)

 R G B 
(R G B) →  
 R +G +B R +G +B R +G +B 
Un cambio de intensidad en la imagen es un producto con un escalar

(R G B ) → s ⋅(R G B ) → (s ⋅R s ⋅G s ⋅ B ) s ∈ℜ

La intensidad se cancelará y el nuevo descriptor es invariante a la intensidad

 sR sG sB   sR sG sB 
(sR sG SB ) →   =  
 sR + sG + sB sR + sG + sB sR + sG + sB   s( R + G + B ) s( R + G + B ) s( R + G + B ) 

Importante: el nuevo descriptor es de dimensión 2, es una proyección sobre el plano G 1

R +G +B =1 1

1 R
B
INTRODUCCIÓN a la DETECCIÓN DE OBJETOS – Características de píxel

Resultados:

Imagen
original

Coordenadas
Cromáticas

Resultado
Clasificación
INTRODUCCIÓN a la DETECCIÓN DE OBJETOS – Características de píxel

Más problemas: Qué pasa si la imagen presenta cambios de color, por cambio de luz o de cámara

Clasificador Inicial

El clasificador no funciona y además es difícil re-definir sus parámetros para todas las condiciones.
INTRODUCCIÓN a la DETECCIÓN DE OBJETOS – Características de píxel

Solución: Eliminar los efectos del cambio de color directamente sobre la imagen original, y pasar a
una representación canónica, una representación donde una superficie blanca en la escena tenga
valores de RGB que sean (255, 255, 255), es el algoritmo de white-patch.
INTRODUCCIÓN a la DETECCIÓN DE OBJETOS – Características de píxel

Algoritmo White-patch. Asume que los valores máximos de color en los tres canales de la
imagen es el color del blanco bajo la luz de la escena, entonces se elimina el efecto de esa luz y
se impone una luz blanca.
Estimación del color de la luz de la escena de la imagen
Rmax ( I ) : valor máximo del canal R de la imagen I
(Rmax ( I ) Gmax ( I ) Bmax ( I ))
Gmax ( I ) : " G "
Bmax ( I ) : " B "
Suponemos el color de la luz blanca en este caso
(255 255 255 )

Eliminamos la luz de la escena e introducimos la luz blanca

 255 255 255 
(R G B ) →  ⋅R ⋅G ⋅ B 
R
 max ( I ) Gmax ( I ) Bmax ( I ) 
INTRODUCCIÓN a la DETECCIÓN DE OBJETOS – Características de píxel

Resultados:

Imagen
original

Algoritmo
White-patch

Clasificador
Inicial

Clasificador
adaptado
INTRODUCCIÓN a la DETECCIÓN DE OBJETOS – Características de píxel

En resumen: hemos trabajado en

• Un esquema simple de detección de objetos

• Un descriptor de objetos basado la característica del color del píxel
• El problema de la invariancia a los cambios de intensidad
• El problema de la invariancia a los cambios de color (luz o cámara)
INTRODUCCIÓN a la DETECCIÓN DE OBJETOS – Características de píxel

Más problemas:

• ¿Qué pasa si el fondo de la imagen no presenta ninguna superficie blanca?

(white-patch puede dar imágenes desviadas hacia el color de la superficie más
intensa de la escena)

• ¿Qué pasa si el fondo de la imagen tiene objetos que no son manos, pero son
de color piel?