Introducci on T ecnicas Diferenciales

Optical Flow: Movimiento Aparente

Mat as Godoy Campbell1
1 Departamento

de Ingenier a Matem atica, Universidad de Chile.

Presentaci on para el curso: MA695-1 Seminario Avanzado de Matem aticas I Jueves 19 de Noviembre 2009

Mat as Godoy Campbell

Optical Flow

Introducci on T ecnicas Diferenciales

Tabla de Contenidos

Introducci on

T ecnicas Diferenciales Restricci on de Flujo Optico (OFC)

Mat as Godoy Campbell

Optical Flow

Introducci on T ecnicas Diferenciales

Motivaci on y Conceptos B asicos

Desplazamiento en 3-D, Proyecci on a 2-D

Los desplazamientos en un entorno f sico solo podemos observarlos como una proyecci on. Luego, solo podemos percibir un movimiento aparente, relativo al cambio de intensidades (brillo) de la imagen.

Mat as Godoy Campbell

Optical Flow

Introducci on T ecnicas Diferenciales

Deniciones
El ejemplo anterior motiva a denir: Motion Field (Campo de Movimiento) Es la proyecci on en el plano de la imagen de la velocidad 3-D de la escena. Notemos que no somos capaces de medir el Campo de Movimiento 2-D, debido a la p erdida de informaci on producto de la proyecci on. Optical Flow (Flujo Optico) Es el movimiento aparente de los objetos, supercies y bordes de la escena Notar que este u ltimo es causado por el movimiento relativo entre el observador y la escena
Mat as Godoy Campbell Optical Flow

Introducci on T ecnicas Diferenciales

Deniciones

Optical Flow = Campo de Movimiento?

Ej. 1: a) No basta la existencia de movimiento para percibirlo b) El movimiento de la fuente genera cambios de intensidad Ej. 2: a) Flujo de movimiento b) Optical Flow, movimiento que se percibe

Mat as Godoy Campbell

Optical Flow

Introducci on T ecnicas Diferenciales

Optical Flow = Campo de Movimiento?

Los ejemplos anteriores muestran que, en general, el Flujo Optico es distinto al Campo de Movimiento, al menos cuantitativamente. Sin embargo, coinciden en sus propiedades cualitativas, como por ejemplo las discontinuidades. Luego, el Flujo Optico es una fuente amplia de informaci on sobre el movimiento 3-D de los objetos, o de la geometr a de una regi on.

Mat as Godoy Campbell

Optical Flow

Introducci on T ecnicas Diferenciales

Aplicaciones

En vista de lo anterior, podemos mencionar, a modo de motivaci on, las aplicaciones que presenta la informaci on que provee el Flujo Optico:
1 2 3 4

Reconocimiento de Objetos y Geometr a. Segmentaci on Detecci on de Movimiento Compresi on de Video (p.e. MPEG)

Mat as Godoy Campbell

Optical Flow

Introducci on T ecnicas Diferenciales

C omo determinar el Flujo Optico?

Se han propuesto numerosos m etodos para determinarlo, como por ejemplo: T ecnicas basadas en Correlaci on T ecnicas basadas en Caracter sticas M etodos de Gradiente (T ecnicas Diferenciales) Campos Markovianos (T ecnicas Probabilistas) An alisis de Fourier EDPs En esta presentaci on se har a enfasis en las T ecnicas Diferenciales.

Mat as Godoy Campbell

Optical Flow

Introducci on T ecnicas Diferenciales

Restricci on de Flujo Optico (OFC)

Optical Flow y Variaci on de Intensidad

Resulta razonable asumir que la intensidad de un punto permanece constante a lo largo de su trayectoria, siempre que los desplazamientos sean peque nos, para los cuales los cambios de intensidad de la fuente de luz es peque na y no existe oclusi on (es decir, la fuente no es bloqueada) Luego, si consideramos a u(t, x) como la intensidad del pixel x = (x1 , x2 ) en un tiempo t, y deniendo la trayectoria desde un punto x0 en un tiempo t0 como: t (t, x(t)) Entonces...

Mat as Godoy Campbell

Optical Flow

 Restricci on de Flujo Optico (OFC)

Se cumple que: u(t, x(t)) = u(t0 , x0 ) t (t0 , x(t0 )) = (t0 , x0 ) Derivando respecto a t y evaluando en t = t0 se obtiene: dx (t0 ) u(t0 , x0 ) + (t0 , x0 ) = 0 dt Luego, buscamos el ujo optico, denido como el campo de dx velocidades: (x0 ) = dt (t0 ) tal que satisface la ecuaci on anterior.

Mat as Godoy Campbell

Optical Flow

 Restricci on de Flujo Optico (OFC)

Resumiendo, dada una intensidad u(t, x) y un tiempo de observaci on t0 , debemos determinar la velocidad instant anea aparente (x) tal que satisfaga: Restricci on de Flujo Optico (OFC en Ingl es) (x0 ) u(t, x0 ) + ut (t, x0 ) = 0

Mat as Godoy Campbell

Optical Flow

Problema!

(OFC) es solo una ecuaci on escalar, lo cual es insuciente para determinar las dos componentes del campo de velocidad. La ecuaci on anterior solo nos entrega la componente en la direcci on de u. Este es llamado el ujo normal. Este problema se denomina usualmente Problema de Apertura

Mat as Godoy Campbell

Optical Flow

Resoluci on del Problema de Apertura

Para resolver el problema de apertura se han propuesto variados m etodos, entre ellos: Restricciones de derivadas de segundo orden. Por ejemplo: du dt (t, x) = 0 Aproximaci on cuadr atica con pesos. Es decir, calcular (x0 ) a partir de: nf
z B (x0 ,r)

w2 (x)(z u + ut )2 dx

w(x) es una funci on que entrega mayor peso en las cercan as de x0

Mat as Godoy Campbell

Optical Flow

Resoluci on del Problema de Apertura

Modelos param etricos de velocidad para aproximar a . Por ejemplo, en el caso af n: (x) = (x) = 1 + 2 x 1 + 3 x 2 4 + 5 x 1 + 6 x 2

Con R6 a determinar, v a minimizaci on de: E ( ) =

( u + ut )dx

Con funci on apropiada. Observaci on: Basta que cumpla: : [0, [ [0, [ , ( s) c oncava en ]0, [ y (s) no-decreciente para que exista soluci on
Mat as Godoy Campbell Optical Flow

Resoluci on del Problema de Apertura

Regularizaci on del campo de velocidades. La idea es considerar un problema de minimizaci on del tipo: nf A( ) + S ( )
termino de delidad termino de suavidad

Este tipo de resoluci on posee un gran n umero de variantes, a saber: Horn y Schunck proponen:
2

nf

( u + ut )2 dx +
j =1 A( )

|j |2 dx
S ( )

Con constante. El problema de este modelo est a en que no preserva discontinuidades.

Mat as Godoy Campbell Optical Flow

Resoluci on del Problema de Apertura

Ejemplo del M etodo de Horn y Schunk

N otese que las discontinuidades cerca de los bordes se pierden.

Mat as Godoy Campbell Optical Flow

Resoluci on del Problema de Apertura

Para superar el problema de preservaci on de discontinuidades se proponen: (Black y otros) Modican el t ermino S ( ) de Horn y Schunck proponiendo:
2

(|j |)dx
j =1

Con una funci on tal que preserve discontinuidades. Por ejemplo: s2 (s) = 1+ (Geman y Reynolds) s2 (s) = log (1 + s2 ) (Malik y Perona) (s) = 2 log [cosh(s)] (Green) (s) = 2 1 + s2 2 (Aubert)
Mat as Godoy Campbell Optical Flow

Resoluci on del Problema de Apertura

(Nagel y Enkelmann) Proponen restricciones de suavidad orientadas, de modo tal de atenuar las oclusiones. Con t ermino de penalizaci on del tipo: 1 traza(( )T D(u)( ))dx |u| + 22

ux2 ux1 (Nesi) Propone una versi on modicada de la formulaci on de Horn y Schunck, introduciendo el largo del conjunto de discontinuidades de , que notaremos por |S |. Notemos que esta es la idea de Mumford y Shah para el problema de segmentaci on. Luego, el t ermino de regularizaci on en este caso es del tipo: Con D(u) = nnT + 2 Id y n =
Mat as Godoy Campbell Optical Flow

Resoluci on del Problema de Apertura

|j |2 dx + |S |
j =1

con constante. Tal como en el caso del problema de segmentaci on, el principal problema es determinar el u ltimo t ermino. Para resolver esto, se pueden usar las nociones de la llamada -convergencia.

Mat as Godoy Campbell

Optical Flow

An alisis caso Preservaci on de Discontinuidades

Consideraremos en esta secci on un t ermino de suavidad an alogo al del problema de restauraci on. Dada una secuencia u(t, x) se desea buscar un campo de velocidades que realice el m nimo de energ a:
2

E ( ) =

| Du + ut | + s
j =1

(Dj ) + h

c(|Du|)| |2 dx

E ( ) = A( ) + s S ( ) + h H ( ) Con s y h constantes positivas. Notar que, dado que buscamos Optical Flows discontinuos, el espacio de trabajo debe ser BV ().

Mat as Godoy Campbell

Optical Flow

An alisis caso Preservaci on de Discontinuidades

Notemos que la energ a est a compuesta por: A( ): Es la norma L1 de (OFC). (En un contexto formal, debe interpretarse como una medida) S ( ): T ermino de suavidad. Tal como en restauraci on de im agenes, uno desea que preserve discontinuidades, para ello, necesitamos que:
sea estrictamente convexa, no decreciente de R+ en R+ , con (0) = 0 l ms (s) = + c > 0 y b 0 tal que cs b (s) cs + b s 0

Adem as, si agregamos a las condiciones pedidas por la regularizaci on del problema de restauraci on, se tiene que S ( ) es una funci on convexa (de medidas). Luego, es s.c.i. para la topolog a d ebil-* de BV ()
Mat as Godoy Campbell Optical Flow

An alisis caso Preservaci on de Discontinuidades

H ( ): T ermino asociado a regiones homogeneas. La idea es que si no hay texturas (osea, no hay gradiente), entonces no hay forma de estimarlo correctamente, luego, imponemos que sea cero. Lo anterior se realiza considerando una funci on c(s) tal que:
s0

l m c(s) = 1 y

l m c(s) = 0

Adem as, sin perdida de generalidad asumimos que: x c(|Du|(x)) C () mc > 0 tal que c(|Du|(x)) [mc , 1]x Este u ltimo termino, exigido para poseer coercividad del funcional.
Mat as Godoy Campbell Optical Flow

An alisis caso Preservaci on de Discontinuidades

Notemos que con el problema ya denido, solo nos falta imponer condiciones sobre la regularidad del dato u, el cual evidentemente condicionar a la naturaleza del problema. En efecto, si asumimos que el dato es Lipschitz en espacio y tiempo, i.e.: u W 1, (R ) Entonces, se tiene el siguiente resultado:

Mat as Godoy Campbell

Optical Flow

An alisis caso Preservaci on de Discontinuidades

Teorema Bajo las hipotesis mencionadas en esta secci on, el problema de minimizaci on
2 BV ()

nf

E ( ) =

| Du+ut |+

s j =1

(Dj )+h

c(|Du|)| |2 dx

admite una u nica soluci on en BV ()

Mat as Godoy Campbell

Optical Flow

An alisis caso Preservaci on de Discontinuidades

Dado que el teorema asegura la existencia, solo falta generar una sucesi on que aproxime la soluci on del problema. Estp se hace, al igual que en restauraci on de im agenes v a alg un algoritmo semiquadr atico, basado en la -convergencia. Ejemplo: Horn y Schunck Original v/s Modicaci on (Aubert)

Mat as Godoy Campbell

Optical Flow

An alisis caso Preservaci on de Discontinuidades

Que ocurre si u W 1, (R )? Intuitivamente: Existen saltos en u En este caso, el OFC nal pasa a ser de la forma: (x) = A(x) + J (x) con A(x) una parte absolutamente continua, y J (x) una parte asociada a la longitud de los saltos de u En este caso la existencia de soluciones es m as complicada, pues ya no existe semicontinuidad inferior d ebil-*. Luego, no se tiene a priori convergencia a una soluci on. Se debe plantear un funcional relajado en este caso, que si satisfaga las condiciones anteriores.

Mat as Godoy Campbell

Optical Flow

Alternativas a OFC
Si bien es la primera forma de afrontar el problema de c alculo del Optical Flow, existen variadas razones para intentar utilizar otros m etodos, algunos de ellos son, por ejemplo: Desplazamientos importantes. Existen 2 posibilidades en este caso:
M etodos multiresoluci on, calcular OFC en cada nivel disponible y combinar los resultados. No diferenciar la ecuaci on de conservaci on de intensidad. Luego, considerar un t ermino de delidad de la forma: A( ) =

(u(t +

t, x + t) u(t, x))2 dx

Plantear, en vez de OFC, una ecuaci on tipo conservaci on de masa, en este caso: div (u ) + ut = 0 Desear relajar la condici on de intensidad constante. Esto se puede hacer cuando el movimiento relativo es paralelo al
Mat as Godoy Campbell Optical Flow

Conclusiones y Desaf os
El problema de Optical Flow est a aun lejos de ser resuelto completamente. La elecci on del t ermino de datos aun no est a bien establecida, y no es una u nica posibilidad. Respeco a los t erminos de regularizaci on, hay que notar que: La mayor a son intr nsecos: La difusi on es controlada solo por el Flujo Algunos son extr nsecos: La difusi on es controlada por la intensidad de la imagen. o est a claro cual soluci on es la mejor, tanto en modelaci on como en resultados num ericos Aun no se conoce mayormente la relaci on entre u y en funci on de sus conjuntos de discontinuidades. Se cree que S Su . Finalmente, se debe considerar el acoplamiento entre los t erminos regularizadores y los de delidad.
Mat as Godoy Campbell Optical Flow