Departamento de Engenharia Electrotcnica Faculdade de Cincias e Tecnologia UNIVERSIDADE de COIMBRA

VISO POR COMPUTADOR

2 Semestre Ano lectivo 03/04

Calibrao Tridimensional de Cmaras de Video

Xc Zc X x= f c Zc x= f

Yc Zc A projeco na imagem de um ponto P do espao 3D da cmara pode ser Y y= f c descrito atravs de diversos modelos para a cmara. Um dos modelos mais Zc comuns e que melhor descrevem o processo de formao da imagem o modelo de perspectiva, no qual um ponto Pc de coordenadas Xc,Yc,Zc! apresenta um ponto hom"logo de projeco na imagem # x,y! definido por y f = k y y + cy y= f
y f = k y y + cy x f = k x x + cx

x f = k x x + cx

$orrespondendo a uma imagem digitali%ada uma matri% de pi&eis de dimenso MxN, a transformao de coordenadas de um ponto no plano imagem 'mm( para o plano sensorial reali%ada atravs de As coordenadas do ponto Pc so representadas no sistema de coordenadas da cmara, o qual apresenta como origem o centro de perspectiva da lente sendo o ei&o dos ) coincidente com o ei&o "ptico da lente. *o entanto, a locali%ao do centro de perspectiva da lente no conhecido, pelo que os pontos 3D do espao tridimensional so referidos a um sistema de coordenadas o+jecto colocado no espao circundante , cmara. - sistema de coordenadas o+jecto e o sistema de coordenadas da cmara esto interligados atravs de uma transformao de corpo r.gido, a qual representada atravs de r6 r5 r3 t x Pc = R Pw + T = r4 r3 r2 Pw + t y r1 r0 r/ t z

 r6 r5 r3 tx onde Pw representa as coordenadas do ponto no sistema de coordenadas do Pc = R Pw + T = r4 r3 r2 Pw + ty o+jecto. R e T representam os parmetros da transformao de corpo r.gido, respectivamente a matri% de rotao R e o vector de translao T entre os dois r1 r0 r/ tz referenciais. $onjugando a transformao de corpo r.gido com a transformao de perspectiva, um qualquer ponto Pw projecta7se na imagem num ponto hom"logo pf, com as coordenadas de pf definidas por

+ cy r1 X w + r0 Yw + r/ Z w + t z r4 X w + r3 Yw + r2 Zw + t y r X w + r5 Yw + r3 Z w + t x + cx y f = ky f + cy x f = k x f 6 r1 X w + r0 Yw + r/ Z w + tz r1 X w + r0 Yw + r/ Z w + t z r X + r Y + r Z + t x f = kx f 6 w 5 w 3 w x + cx As equa8es de projeco integram um total de 61 parmetros do modelo r1 X w + r0 Yw + r/ Zw + tz 'r1..r9, tx,ty,tz,f,kx,ky,cx,cy(. 9stas equa8es de projeco podem ser representadas matricialmente em coordenadas homogneas atravs de X w X w jx f M 6 M 5 M 3 M 4 Y Yw jy = M w f 3 M2 M1 M0 Z = M Z w w j M / M 6: M 66 M 65 6 6 Xw Xw 9sta relao matricial representa a transformao de perspectiva utili%ando apenas jxf M6 M5 M3 M4 65 parmetros, os quais podem ser o+tidos conhecendo as coordenadas de 2 pontos jy = M M M M Yw M = Yw f 3 2 1 0 Z Z hom"logos de cali+rao. 9stes 65 parmetros no representam e&plicitamente j M/ M6: M6 M65 w w nenhum dos parmetros f.sicos anteriormente apresentados, sendo funo dos 6 6 parmetros do modelo. $onhecendo as coordenadas de um conjunto de pontos hom"logos superior a 2, os elementos da matri% ; podem ser o+tidos atravs de um qualquer processo de minimi%ao 'e&< 9rro m.nimo quadrado(. =eformulando a relao matricial anterior em funo dos elementos da matri% ;, o+tem7se : : : x f X w x f Yw x f Z w x f X w Yw Z w 6 : : [ M i ] = [ :] : : : X Y Z 6 y X y Y y Z y w w w f w f w f w f Xw Yw Zw 6 : : : : xf Xw xf Yw xf Zw xf : : : : X Y Z 6 y X y Y y Z y [ Mi] = [ :] A relao matricial apresentada homognea pelo que a soluo Mi#: satisfa% w w w f w f w f w f a equao. A soluo para a equao matricial o+tida atravs da integrao de uma restrio, que no caso deste tra+alho pr>tico ser> considerar o elemento M12#6. 9sta restrio o+tem7se dividindo os elementos da matri% M por M12. : : : x f X w x f Yw x f Z w X w Yw Z w 6 : x f [ M ?i ] = : : : : X w Yw Z w 6 y f X w y f Yw y f Z w y f
Xw Yw Zw 6 : : :: f Xx w f Yx w f Zx w xf : : :: X Y Z 6 Xy Yy Zy [M?i] = y w w w f w f w f w f

yf = ky f

r4 X w + r3 Yw + r2 Z w + t y

@ntegrando esta condio na equao matricial anterior o+tem7se

9sta relao matricial permite o+ter os 66 Mi elementos, considerando

M12#6.

=epresentando a relao matricial anterior por A!M"#$, e considerando a utili%ao de um conjunto de pontos hom"logos de cali+rao superior a 2, os elementos do vector M" so o+tidos atravs de M"#A% ! $, onde A% representa a matri& pseudo7inversa de A. A soluo deste sistema matricial e&ige que os pontos hom"logos de cali+rao no pertenam a um Anico plano, isto , necess>rio considerar pontos que pertencam a diferentes planos de cali+rao.

Tr&'&l(o r)tico & re&li*&r + Bretende7se efectuar a cali+rao de perspectiva de uma cmara de video, utili%ando o c>lculo da matri% de perspectiva. - processo de cali+rao integra os seguintes passos< 6. Adquirir as coordenadas dos pontos hom"logos de cali+rao pertencentes a diferentes planos de cali+rao.
*ota < As coordenadas 3D podem ser o+tidas pelo utili%ador manualmante. As coordenadas 5D devem ser o+tidas na imagem atravs do c>lculo do centro de massa dos c.rculos colocados num plano de cali+rao. - padro de cali+rao pode ser constituido por uma matri% de c.rculos igualmente espaados. A distncia entre o centro de cada c.rculo deve ser conhecida com preciso. $onsidere o ponto superior esquerdo coincidente com a origem do sistema de coordenadas -CD9$E-, e que o ei&o dos F e G do referencial esto alinhados com as linhas e colunas da matri% de c.rculos. -+tenha as coordenadas 3D dos centros dos c.rculos.

5. Breencha a matri% A uma ve% conhecidas as coordenadas Xw,YwZw! e xf,yf! de cada um dos pontos considerados para cali+rao.
*ota< As coordenadas xf,yf! so o+tidas atravs do c>lculo dos centros de massa na imagem.

3. $alcule a matri& pseuso7inversa de A! 4. $alcule os elementos da matri% M, considerando ;65#6.

D=
D=
5 5 f f f f
5 5

( x x? ) + ( y y? ) ve% conhecida a matri& de perspectiva M, projecte os pontos 3D ( x x? ) + ( y y? ) 3. Uma de cali+rao na imagem ' ,#M P # ." 01" ! (, e calcule a disparidade
f f f f

na imagem. A disparidade calculada para cada ponto atravs de 2. $alcule a disparidade mdia da imagem.
9ste parmetro um +om indicador da qualidade da cali+rao efectuada e Htam+mI da qualidade dos parmetros do modelo calculados. Uma cali+rao perfeita d> origem a uma disparidade mdia nula, isto , todos os pontos projectados na imagem so coincidentes com os calculados atravs da matri% de perspectiva.

@;B < Jero disponi+ili%adas imagens dos padr8es de cali+rao, +em como as coordenadas 3D dos centros dos c.rculos de cali+rao.