Componentes de un sistema de visin

Captulo 1. Formacin de imagen

Luis Baumela. Vision por Computador. p.2/19

Luis Baumela. Vision por Computador. p.3/19

Formacin de imagen

Modelo de lente na
Hiptesis: La ptica de la lente puede modelarse como una lente na.

ndice: Modelo de lente na Modelo de proyeccin perspectiva Modelo proyectivo de cmara Modelo afn de cmara Calibracin Bibliografa

Luis Baumela. Vision por Computador. p.4/19

Luis Baumela. Vision por Computador. p.5/19

Modelo de lente na
Hiptesis: La ptica de la lente puede modelarse como una lente na. Principio de funcionamiento: Refraccin de la luz. O
to F
C Objeto Lente

Modelo de lente na
Hiptesis: La ptica de la lente puede modelarse como una lente na. Principio de funcionamiento: Refraccin de la luz.
Lente

di

O
f F ti f

Ec fundamental:
1 1 1 + = f di do F
C

Ec fundamental:
F 1 1 1 + = f di do

I
do
Imagen Imagen
Luis Baumela. Vision por Computador. p.5/19

Luis Baumela. Vision por Computador. p.5/19

Modelo de lente na
Hiptesis: La ptica de la lente puede modelarse como una lente na. Principio de funcionamiento: Refraccin de la luz.
Lente

Modelo de proyeccin perspectiva

Cmara oscura.

O Ec fundamental:
F
C
plano imagen imagen virtual objeto

1 1 1 + = f di do f = di , si do .

I
Imagen
Luis Baumela. Vision por Computador. p.5/19 Luis Baumela. Vision por Computador. p.6/19

Modelo de proyeccin perspectiva

Abstraccin geomtrica.
La proyeccin de un punto viene dada por el corte del plano imagen con la visual que une el punto y el centro ptico de la cmara.
M(X,Y,Z)
m(u,v)

Modelo de proyeccin perspectiva

Abstraccin geomtrica.
La proyeccin de un punto viene dada por el corte del plano imagen con la visual que une el punto y el centro ptico de la cmara.
M(X,Y,Z)
m(u,v)

SR Escena

C
u v SR Imagen

X Y
Plano imagen

Plano imagen

Luis Baumela. Vision por Computador. p.6/19

Luis Baumela. Vision por Computador. p.6/19

Modelo de proyeccin perspectiva

Modelo de proyeccin.
Relaciona las posiciones de puntos en la escena con su proyeccin sobre el plano imagen.
M(X,Y,Z)
m(u,v)

Modelo proyectivo de cmara

1. El modelo es lineal empleando coordenadas homogneas. cartesianas homogneas (X, Y, Z) (X, Y, Z, ) A B C (A , B, C, D) (D, D, D)

X
f

u
Z
Z u

u=f v=f
Plano imagen

X Z Y Z

Luis Baumela. Vision por Computador. p.6/19

Luis Baumela. Vision por Computador. p.7/19

Modelo proyectivo de cmara

1. El modelo es lineal empleando coordenadas homogneas. cartesianas homogneas (X, Y, Z) (X, Y, Z, ) A B C (A, B, C, D) (D, D, D) 2. El modelo de proyeccin resultante, en forma matricial: X X u f 0 0 0 u=f Y Z v = 0 f 0 0 Y Z v=f 0 0 1 0 Z 1
Luis Baumela. Vision por Computador. p.7/19

Modelo proyectivo de cmara

3. Modelo intrnseco. Digitalizacin cambio de unidades + traslacin.
Imagen j CCD 1 ku i

(i 0 ,j 0 ) u v 1
Punto Principal

kv

Luis Baumela. Vision por Computador. p.8/19

Modelo proyectivo de cmara

3. Modelo intrnseco. Digitalizacin cambio de unidades + traslacin.
Imagen j CCD 1 ku i CCD

Modelo proyectivo de cmara

3. Modelo intrnseco. Digitalizacin cambio de unidades + traslacin.
Imagen j 1 ku i

(i 0 ,j 0 ) u v 1
Punto Principal

(i 0 ,j 0 ) u v 1
Punto Principal

j ku 0 i 0 u i = 0 kv j0 v 1 0 0 1
donde

kv

kv

ku : Densidad pxeles horizontal kv : Densidad pxeles vertical

j = ku u + j0 i = k v v + i0
Luis Baumela. Vision por Computador. p.8/19

j = ku u + j0 i = k v v + i0
Luis Baumela. Vision por Computador. p.8/19

Modelo proyectivo de cmara

3. Modelo intrnseco. Digitalizacin cambio de unidades + traslacin.
Imagen j CCD 1 ku i

Modelo proyectivo de cmara

3. Modelo intrnseco. Digitalizacin cambio de unidades + traslacin.
X
Imagen j CCD 1 ku i

(i 0 ,j 0 )

j f ku i = 0 0

s f kv 0

i0 j0 1

Y 0 Z 0 1

(i 0 ,j 0 )

j f ku i = 0 0

s f kv 0

i0 j0 1

v 1
Punto Principal

Y 0 Z 0 1

v 1
Punto Principal

Parmetros intrnsecos:
kv

kv

Punto principal: (i0 , j0 ) Focal horizontal: u = f ku

j = ku u + j0 i = k v v + i0
Luis Baumela. Vision por Computador. p.8/19

j = ku u + j0 i = k v v + i0

Focal vertical: v = f kv Sesgo: s

Luis Baumela. Vision por Computador. p.8/19

Modelo proyectivo de cmara

4. Modelo extrnseco. Movemos el SR de la escena fuera de la cmara
M(X,Y,Z)

Modelo proyectivo de cmara

4. Modelo extrnseco. Movemos el SR de la escena fuera de la cmara
M(X,Y,Z)

X Y Z

Z C X t Y R Y Z X
Luis Baumela. Vision por Computador. p.9/19

Z C X t Y R Y Z X

donde

R33 t31 13 1 0

X Y Z 1

R: Rotacin entre SR escena y cmara. t : Posicin cmara en la escena.

Luis Baumela. Vision por Computador. p.9/19

Modelo proyectivo de cmara

5. Modelo de proyeccin perspectiva
i j M(X,Y,Z)

Modelo proyectivo de cmara

5. Modelo de proyeccin perspectiva

m(i,j)

j 31 ) i = K (R33 | t P34

X Y Z 1

M(X,Y,Z)

m(i,j) (i0,j0)

ku kv

j 31 ) i = K (R33 | t
5 parmetros intrnsecos: s j0 u K = 0 v i0 0 0 1

X Y Z 1

Z C X Y Z X Y

11 parmetros del modelo: p p1 2 p 1 4 11 . . .. . . . P34 = . . . . . p31 p32 p34

Luis Baumela. Vision por Computador. p.10/19

Z C X Y

Z X Y

Luis Baumela. Vision por Computador. p.10/19

Modelo proyectivo de cmara

5. Modelo de proyeccin perspectiva
i j M(X,Y,Z)

Modelo proyectivo de cmara

6. Caracterizacin del modelo de proyeccin perspectiva.
Sea P = (A | una matriz de dimensin 3 4 y sean ( i ) b) a (i = 1 . . . 3) las las de la matriz A. P es una matriz de proyeccin perspectiva d e t(A) = 0. P es una matriz de proyeccin perspectiva sin sesgo (s = 0) d e t(A) = 0 y (1 a3 ) (2 a3 ) = 0. a a P es una matriz de proyeccin perspectiva sin sesgo y con pxeles cuadrados
u v

m(i,j)

X j Y i = K (R33 | t31 ) Z 1
6 parmetros extrnsecos:

Z C X t Y R Y
Luis Baumela. Vision por Computador. p.10/19

=1

d e t(A) = 0 y = = 0 (2 a3 ) (2 a3 ) a a

Z X

R33 (, , ),

t31

t X = tY tZ

a (1 a3 ) (2 a3 ) a a (1 a3 ) (1 a3 ) a

Luis Baumela. Vision por Computador. p.11/19

Modelo proyectivo de cmara

7. Propiedades.
M(X,Y,Z) Sea la matriz de proyeccin [A | b]
Centro Optico.

Modelo proyectivo de cmara

7. Propiedades.
M(X,Y,Z) Sea la matriz de proyeccin [A | b]
Centro Optico.

c = A1 b.
m

c = A1 b.

Ya que: P tambin puede expresarse como P = K [R | R]. Luego, A = K R c = A, con lo que c = A1 yb c b.

Z C X

Ya que: P tambin puede expresarse como P = K [R | R]. Luego, A = K R c = A, con lo que c = A1 yb c b.

Z C X t Y R Y
Luis Baumela. Vision por Computador. p.12/19

Z X

c Y R Y

Z X
Luis Baumela. Vision por Computador. p.12/19

Modelo proyectivo de cmara

7. Propiedades.
M(X,Y,Z) Sea la matriz de proyeccin [A | b]
Centro Optico.

Modelo proyectivo de cmara

7. Propiedades.
M(X,Y,Z) Sea la matriz de proyeccin [A | b]
Centro Optico.

c = A1 b.
m

c = A1 b.

Filas de P

Planos que pasan por c y:

Filas de P

Planos que pasan por c y:

(1 ) . contiene la lnea j = 0. p

(1 ) . contiene la lnea j = 0. p (2 ) . contiene la lnea i = 0. p

Z C X c Y R Y
Luis Baumela. Vision por Computador. p.12/19

Z C X Z X Y
Luis Baumela. Vision por Computador. p.12/19

c Y R

Z X

Modelo proyectivo de cmara

7. Propiedades.
M(X,Y,Z)

Modelo proyectivo de cmara

7. Propiedades.
M(X,Y,Z) Sea la matriz de proyeccin [A | b]
Centro Optico.

Sea la matriz de proyeccin [A | b]

Centro Optico.

c = A1 b.
m

c = A1 b.

Filas de P

Planos que pasan por c y: contiene la lnea j = 0.

Filas de P

Planos que pasan por c y: contiene la lnea j = 0.

(1 ) . p

(1 ) . p
(i0,j0) Z C X

(2 ) . contiene la lnea i = 0. p (3 ) . es paralelo al plano imagen. p

Z C X c Y R Y Z X Y
Luis Baumela. Vision por Computador. p.12/19

(2 ) . contiene la lnea i = 0. p (3 ) . es paralelo al plano imagen. p

Punto principal.

c Y R

A3 . Ya que el eje axial a 3 A1 y su imagen b, es a [A | b] 3 A1 a b = A3 . a 1

Luis Baumela. Vision por Computador. p.12/19

Z X

Modelo afn de cmara

Si la matriz de proyeccin PA es de la forma a11 a12 a13 b1 r1 u s 0 2 PA = a21 a22 a23 b2 = 0 v 0 r 0 0 1 0 0 0 1 0 entonces decimos que PA representa una cmara afn. Tiene 8 parmetros: . t1

Modelo afn de cmara

Si la matriz de proyeccin PA es de la forma a11 a12 a13 b1 r1 u s 0 2 PA = a21 a22 a23 b2 = 0 v 0 r 0 0 1 0 0 0 1 0 entonces decimos que PA representa una cmara afn. Tiene 8 parmetros: 3 parmetros intrnsecos . No est denido el punto principal. u s K22 = 0 v t1

t2 1

t2 1

Luis Baumela. Vision por Computador. p.13/19

Luis Baumela. Vision por Computador. p.13/19

Modelo afn de cmara

Si la matriz de proyeccin PA es de la forma r1 a11 a12 a13 b1 u s 0 2 PA = a21 a22 a23 b2 = 0 v 0 r 0 0 1 0 0 0 0 1 entonces decimos que PA representa una cmara afn. Tiene 8 parmetros: 3 parmetros intrnsecos . 5 parmetros extrnsecos. R23 = r1 r2 , t1 t= . t2
Luis Baumela. Vision por Computador. p.13/19

Modelo afn de cmara

Propiedades: t1 Es una buena aproximacin a una cmara real cuando el relieve de la escena es pequeo en comparacin a la distancia media de la escena a la cmara.

t2 1

Luis Baumela. Vision por Computador. p.14/19

Modelo afn de cmara

Propiedades: Es una buena aproximacin a una cmara real cuando el relieve de la escena es pequeo en comparacin a la distancia media de la escena a la cmara. La proyeccin del centro de masas de una nube de puntos es el centro de masas de las proyecciones. En efecto, la proyeccin en cartesianas puede expresarse como m21 = A23 M31 + entonces basta comprobar que b, 1 N (AMi + = A b)
i

Modelo afn de cmara

Propiedades: Es una buena aproximacin a una cmara real cuando el relieve de la escena es pequeo en comparacin a la distancia media de la escena a la cmara. La proyeccin del centro de masas de una nube de puntos es el centro de masas de las proyecciones. Conserva el paralelismo.

1 N

Mi
i

+ b

Luis Baumela. Vision por Computador. p.14/19

Luis Baumela. Vision por Computador. p.14/19

Modelo afn de cmara

Propiedades: Es una buena aproximacin a una cmara real cuando el relieve de la escena es pequeo en comparacin a la distancia media de la escena a la cmara. La proyeccin del centro de masas de una nube de puntos es el centro de masas de las proyecciones. Conserva el paralelismo. La direccin de proyeccin ortogonal es el vector d tal que 0. A23 d =

Modelo afn de cmara

Propiedades: Es una buena aproximacin a una cmara real cuando el relieve de la escena es pequeo en comparacin a la distancia media de la escena a la cmara. La proyeccin del centro de masas de una nube de puntos es el centro de masas de las proyecciones. Conserva el paralelismo. La direccin de proyeccin ortogonal es el vector d tal que 0. A23 d = Caracterizacin. Una matriz P24 = [A23 | 21 ] representa b una cmara afn el rango de A es 2.

Luis Baumela. Vision por Computador. p.14/19

Luis Baumela. Vision por Computador. p.14/19

Calibracin
Qu es? Proceso en el que se calculan los parmetros de P para una cmara concreta. Cmo? Proyectando un conjunto de puntos de posicin conocida Ecuaciones. Desarrollando: j p11 p12 p22 p32 p13 p23 p33 p14 p24 p34 X Y Z 1
Luis Baumela. Vision por Computador. p.15/19

Calibracin
Qu es? Proceso en el que se calculan los parmetros de P para una cmara concreta. Cmo? Proyectando un conjunto de puntos de posicin conocida Ecuaciones. p11 X + p12 Y + p13 Z p31 jX p32 jY p33 jZ p34 j + p14 = 0 p21 X + p22 Y + p23 Z p31 iX p32 iY p33 iZ p34 i + p24 = 0

i = p21 p31

Luis Baumela. Vision por Computador. p.15/19

Calibracin
Algoritmo: 1. Extrae los bordes de la imagen (p.ej. Canny). 2. Ajusta lneas rectas a los bordes extraidos. 3. Calcula las esquinas de los cuadrados intersecando rectas. 4. Dados un conjunto de n 6 correspondencias {mi Mi }, resuelve el sistema de ecuaciones:
Mi 0 0 Mi j Mi iMi p2 = 2n1 0 3 p
x(P)121 1.

Calibracin
Resolucin del sistema de ecuaciones: Solucin lineal. Calcula P mediante una solucin lineal de A = 0. x a) Normalizacin. Normalizamos las coordenadas de los puntos 2D y 3D para mejorar el condicionamiento numrico: Sean {mi = T33 mi , i = 1 . . . n} y {Mi = U44 Mi , i = 1 . . . n} sendos

b)

conjuntos de datos centrados en el origen y a una distancia media del origen de 2 y 3 respectivamente. x Resuelve el sistema de ecuaciones A(M )(P) = s.a. |||| = 1. 0, x Sea svd(A)=UD V , la solucin x es la columna de V asociada al menor valor singular.

p1

2.

Minimiza el error de reproyeccin. Sea d(, ) una distancia, calculamos m n

P i

d(i , PMi ), x

mediante un algoritmo iterativo (ej. Levenberg-Marquardt). 3. Desnormalizacin. La matriz de proyeccin para los datos originales P P = T1 PU.

A(M )2n9

Luis Baumela. Vision por Computador. p.16/19

Luis Baumela. Vision por Computador. p.17/19

Calibracin
Estimacin de K, R y t. b] Conocida P = [A | , mediante descomposicin RQ de A (Hartley, 2004) se puede obtener K y R. Conocida K, t = K1. b

Bibliografa
1. D. Forsyth, J. Ponce. Computer Vision. A modern approach. Prentice Hall. 2003. 2. R. Hartley, A. Zisserman. Multiple view geometry in computer vision. Cambridge University Press, 2004.

Luis Baumela. Vision por Computador. p.18/19

Luis Baumela. Vision por Computador. p.19/19