Presentation

Points d'intrt
Arnaud LE BRIS
Laboratoire MATIS IGN
http://recherche.ign.fr/labos/matis
arnaud.le-bris@ign.fr
Master PPMD
04/03/2011

I nvariants loc aux
-
Dtec tion et appariement de points d'intrt

Processus de vision
Extraction de primitives :
- contours
- points d'intrt
Avantage des points :
- correspondent des doubles discontinuits
- soit occults, soit visibles
- existent dans la majorit des images
- plus simples dtecter (pas de chanage)
Points destins tre mis en correspondance
Rptabilit de la dtection
Introduction : invariance ponctuelle
- points isols
- coins
- intersections
- blobs

Conditions d'invariance
P point 3D
S i l'image de P est dtecte dans l'image 1
alors :
P est rpt dans l'image i
s s i l'image de P dans i est dtecte
Dfinition
Changement de point de vue :
Rotation
Echelle
Dformations locales
Variation d'illumination
Bruit

Conditions d'invariance
P point 3D
S i l'image de P est dtecte dans l'image 1
alors :
P est rpt dans l'image i
s s i l'image de P dans i est dtecte
Dfinition
Changement de point de vue :
Rotation
Echelle
Dformations locales
Variation d'illumination
Bruit

Dtec tion de points d'intrt
http://www.robots.ox.ac.uk/~vgg/research/affine/detectors.html
Dtection des points d'intrt
Qualit d'un dtecteur de points d'intrt
Rptabilit
aptitude dtecter des points correspondant aux mmes dtails
Prcision
pas seulement correspondre un mme dtail,
mais aussi tre prcis gomtrquement
(cf coordonnes)
Dtection...
Approche contour
Approche modle
Approche intensit : directement partir de l'image
Dtection partir de contours
Courbure
Intersection de droite
Dtection partir de modles
+ : grande prcision
- : rptabilit
Dtection directement partir de l'image
+ stable
+ gnrale
Des dtecteurs de coins et de points isols
(Moravec, Harris...)
aux dtecteurs de rgions
Dtection des points d'intrt : Moravec
Dtecteur de coin de Moravec (1980)
Considrer le voisinage w (i.e. une fentre) d'un pixel (x0,y0)
Dterminer changements moyens de l'intensit de limage dans ce voisinage
pour de petits dplacements (dx,dy) de la fentre dans diffrentes directions.
Si image peu prs constante : mesure faible dans toutes les directions
Si contour : mesure forte pour dplacements perpendiculaires la lignes
et faible pour des dplacements le long de la ligne
Si coin ou point isol : mesure forte dans toutes directions
Recherche des maximas locaux de
E
dx ,dy
(w)=
x , y
w( x , y).I ( x+dx , y+dy)I ( x , y)
2
min
dx , dy1;0;1
E
dx , dy
( x
0
, y
0
)
Dtecteur de Harris (1988)
Amlioration du dtecteur de Moravec
Harris, C. and Stephens, M. A combined corner and edge detector. In Alvey Vision
Conference, pp 147-151, 1988
Recherche des maxima locaux de R(x,y) suprieurs un seuil
Dtection des points d'intrt : Harris
R( x , y)=Det (M ( x , y))k.| Tr (M ( x , y))
2
M=G
c
|
I
x
2
I
x
. I
y
I
x
. I
y
I
y
2

I
x
=
I
x
=|1 0 1I
I
y
=
I
y
=|1 0 1
t
I
A quoi correspond la mesure ?
R1 R1
R2 R2
Valeurs propres de la matrice correspondent aux courbures de la
fonction locale d'autocorrlation

Invariance l'chelle
Moravec et Harris = dtecteurs de coins ou de points isols
Pb : pas d'invariance l'chelle
Prendre en compte la notion d'chelle

Invariance l'chelle
Construction d'un scale space (espace d'chelles)
( ) ) , )( ( ) , ( ) ( ) , , ( y x I G y x L y x L = =

Invariance l'chelle

Construction d'un scale space (espace d'chelles)
( ) ) , )( ( ) , ( ) ( ) , , ( y x I G y x L y x L = =

21
Dtecteur de Harris-Laplace (2004)
Dtection des points d'intrt : Harris-Laplace
Recherche des maxima locaux de R
R=Det ( M )k. |Tr ( M )
2
M ( x , y , c
I
, c
D
)=G
c
I
|
L
x
2
( x , y , c
D
) L
x
. L
y
( x , y ,c
D
)
L
x
. L
y
( x , y , c
D
) L
y
2
( x , y ,c
D
)

L
x
=
L
x
, ...
L( x , y ,c)=(G
c
I )( x , y)
LoG( x ,c
D
)
=c
D
2
.
L
xx
( x ,c
D
)+L
yy
( x , c
D
)
et des maxima locaux de |LoG| (pour slection de l'chelle

caractristique)
22
Rfrence: Mikolajczyk, K. et Schmid, C. Scale and affine invariant point detectors.
In International Journal of Conference Vision (IJCV), n60(1), pp 63-86, 2004
Algorithme
Dtection des points d'intrt : Harris-Laplace
Dtection des points de Harris chaque niveau
n
= (1,4)
n
.
0
de l'espace d'chelles
(Utilisation de la mesure R(x,y,
D
,
I
) pour
I
=
n
et
D
=0,7.
n
)
Pour chaque point m
(0)
(x
(0)
,y
(0)
,
(0)
) dtect : on itre les actions suivantes tant que
Recherche de l'extremum du LoG au point (x
(k)
,y
(k)
) parmi les chelles voisines
de
( k )
.
Si aucun extremum dtect : point rejet
Sinon :
( k+1 )

m
(chelle pour laquelle l'extremum est atteint)
Recherche du maximum de la mesure de Harris le plus proche de (x
(k)
, y
(k)
)
pour
I
=
( k+1 )

(et
D
=0,7.
i
).
(x
( k+1 )
, y
( k+1 )
) (x
m
, y
m
) (coordonnes pour lesquelles le maximum est atteint)
) 1 ( ) ( +
k k
m m
23
Dtecteur Hessian-Laplace
Variante de Harris-Laplace utilisant la hessienne
Dtection des points d'intrt : Hessian-Laplace
Recherche des maxima locaux de det(H)
H( x , y , c
D
)=
|
L
xx
( x , y ,c
D
) L
xy
( x , y , c
D
)
L
xy
( x , y ,c
D
) L
yy
( x , y , c
D
)
L
xy
=
2
L
x y
, ...
L( x , y ,c)=(G
c
I )( x , y)
et des maxima locaux de |LoG| (pour slection de l'chelle)
LoG( x ,c
D
)
=c
D
2
.
L
xx
( x ,c
D
)+L
yy
( x , c
D
)
LoG( x ,c
D
)
=c
D
2
.
L
xx
( x ,c
D
)+L
yy
( x , c
D
)
et des maxima locaux de |LoG| (pour slection de l'chelle

caractristique)
24
SIFT (et le DoG)
SURF
Autres variantes de SIFT ...

L D
D( x , y , c)=L
k.c
t
( x , y)L
c
t
( x , y)=
(
(G
k.c
t
G
c
t
)I
)
( x , y)

25
Les dtecteurs prcdents sont notamment invariants aux variations
d'clairements, aux variations d'chelle et aux rotations (ainsi que dans une
certaine mesure aux petites dformations)
mais certaines dtecteurs sont invariants aux dformations affines :
Harris-affine
Hessian-affine
invariants aux dformations affines
Dtection des points d'intrt : Harris/Hessian affine
( ) ( ) ( ) ( ) ) , ( ). , ( . det ) , , , (
D
t
D D I D
x L x L G y x R
I
=
=
2
2
0
0
I
I
I
Cas isotropique : cf Harris-Laplace
=
2
2
0
0
D
D
D
Rfrence: Mikolajczyk, K. et Schmid, C. Scale and affine invariant point detectors.

In International Journal of Conference Vision (IJCV), n60(1), pp 63-86, 2004
26
MSER (Maximum Stable Extrema Region)
Extremal a rgions telles que tous les pixels l'intrieur d'une rgion MSER
ont une valeur suprieure (respectivement infrieure) celle des pixels de sa
frontire
Rgions les plus claires ou les plus sombres de l'image
maximum stable a rgion MSER = rgion de l'image stable pour la

binarisation pour des seuils variant dans un certain intervalle.
Variations de surface (relatives) peu importantes
Dtecteur invariant aux dformations affines
Rgion modlise par une ellipse (centre, moment)
Rfrence: Matas, J., Chum, O., Urba, M. et Pajdla, T. Robust wide baseline stereo from
maximally stable extremal regions. In BMVC2002, pp 384-396, 2002
Dtection des points d'intrt : MSER

Appariement mes ures invariantes
u ,v
( I
1
( x
1
+u , y
1
+v)
I
1
).( I
2
( x
2
+u , y
2
+v)
I
2
)
.
u ,v
( I
1
( x
1
+u , y
1
+v)
I
1
)
2
.
.
u, v
( I
2
( x
2
+u , y
2
+v)
I
2
)
Appariement - mesures
Coefficient de corrlation
Problme en cas de :
Rotations
Changements d'chelle
Utilisation d'autres mesures invariantes
L dsigne la convolution de I par unegaussienne
L
x
=
L
x
, L
xy
=

2
L
x y
Mesures invariantes du signal
LoG( x ,c
D
)
=c
D
2
.
L
xx
( x ,c
D
)+L
yy
( x , c
D
)
+ +
+
+ +
+
=
yy yy xy xy xx xx
yy xx
y y yy y x xy x x xx
y y x x
L L L L L L
L L
L L L L L L L L L
L L L L
L
V
. . . 2 .
. . . . 2 . .
. .
Descripteurs invariants
(Caractrisation du comportement de l'image au voisinage des points d'intrt)
SIFT (Scale Invariant Feature Transform)
et ses variantes (SIFT-PCA, ...)
SURF
Recherche du plus proche voisin dans l'espace des descripteurs

[Mindru99] F. Mindru and T. Moons and L. Van Gool, Recognizing Color Patterns Irrespective of Viewpoint [Mindru99] F. Mindru and T. Moons and L. Van Gool, Recognizing Color Patterns Irrespective of Viewpoint
and Illumination, pp 368-373, CVPR99 and Illumination, pp 368-373, CVPR99
M
pq
abc
=
x
p
y
q
|
R( x , y)
a
|
V ( x , y)
b
|
B( x , y)
c
dx dy
Invariants colorimtriques
Calcul d'invariants fonction des moments colorimtriques
Appariement - filtrage
Filtrage des mises en correspondance errones
Filtrage par considration du voisinage
Appariement crois
Filtrage photogrammtrique
Contrainte pipolaire en inter-bandes
Formules d'image

Appariement : quelques exemples
Appariement : exemples
Vhicule en mouvements
Faux appariement : motifs rptitifs
Faux appariement : zones ressemblantes (localement)
Problme des ombres

S I FT (S c ale I nvariant Feature Trans form)
Rfrence :
http://www.cs.ubc.ca/~lowe/keypoints
David. G. Lowe Distinctive Image Features from Scale-Invariant Keypoints.
International Journal of Computer Vision. 2004.

SIFT : Scale Invariant Feature Transform

D
Extraction des points de Lowe
Construction d'un scale space et d'un DoG
G
c
gaussienne de variance c
L
( ) ) , )( ( ) , ( ) ( ) , , ( y x I G y x L y x L = =

D( x , y , c)=L( x , y , k. c)L( x , y , c)=
(
(G
k. c
G
c
)I
)
( x , y)
( ) ) , )( ( ) , ( ) ( ) , , ( y x I G y x L y x L = =

D
L
D( x , y , c)=L( x , y , k. c)L( x , y , c)=
(
(G
k. c
G
c
)I
)
( x , y)
( ) ) , )( ( ) , ( ) ( ) , , ( y x I G y x L y x L = =

D( x , y , c)=L( x , y , k. c)L( x , y , c)=
(
(G
k. c
G
c
)I
)
( x , y)

Extraction des points de Lowe (suite)
Dtection des extrema de D
Affinage de la localisation des points dtects :
Recherche de la position interpole de l'extremum de D
Soit P( x , y , c) un point dtect prcdemment. Soit la matrice X =
t
| x y c .
Onrecherche l ' extremum

X =X +d

X de Dau voisinagede X :
|
d

x
d y
d

c
=d

X =
(
2
D
X
2
( X )
)
1
.
D
X
( X )
(qui correspond au passage par 0 dela drive)
D( X +dX )=D( X )+
t
(
D
X
( X )
)
. dx+
1
2
.
t
dX.
(
2
D
X
2
( X )
)
. dX
(dveloppement de Taylor de la fonction D au voisinage de X )
Extraction des points de Lowe (suite)
limination des points les moins contrasts
limination des points situs sur une arte
Rejet si D( X )S
contraste
Soit la matrice hessienne:
H( x , y , c)=
|
2
D
x
2
( x , y , c)

2
D
x y
( x , y , c)
2
D
x y
( x , y ,c)

2
D
y
2
( x , y ,c)

au point P( x , y ,c)
Si
Tr ( H ( x , y , c))
2
Det
(
H ( x , y ,c)
)
( S
edge
+1)
2
S
edge
Alors Pest conserv
Sinon Pest rejet
Le descripteur SIFT
Calcul de l'orientation des points dtects
Calcul de l'histogramme des orientations des gradients des pixels voisins dans L()
Orientation = orientation correspondant au plus haut pic de l'histogramme
Si plusieurs pics importants, on ddouble le point
Calcul du descripteur SIFT

Le descripteur SIFT
Calcul des histogrammes des orientations (relatives l'orientation du point d'intrt)
des gradients des pixels voisins dans L()
Calcul des histogrammes de ces orientations au sein de fentres situes de part et
d'autres du point d'intrt dtect
Valeurs de ces histogrammes sous la forme d'un vecteur dans chaque fentre
Concatnation de ces vecteurs en un seul vecteur : le descripteur
Normalisation du descripteur
Le descripteur SIFT
Le descripteur SIFT
Le descripteur SIFT
Le descripteur SIFT
V= [ a1 a2 a3 a4 a5 a6 a7 a8 b1 b2 b3 b4 b5 b6 b7 b8 c1 c2 c3 c4 c5 c6 c7 c8 d1 d2 d3 d4 d5 d6 d7 d8 ]
V
SIFT
=
V
V
Le descripteur SIFT

Le descripteur SIFT
Calcul des histogrammes des orientations (relatives l'orientation du point d'intrt)
des gradients des pixels voisins dans L()
Calcul des histogrammes de ces orientations au sein de fentres situes de part et
d'autres du point d'intrt dtect
Valeurs de ces histogrammes sous la forme d'un vecteur dans chaque fentre
Concatnation de ces vecteurs en un seul vecteur : le descripteur
Normalisation du descripteur
Appariement
Recherche du plus proche voisin au sens de la distance euclidienne
dans l'espace des descripteurs
Espace de dimension 128...
Utilisation d'un k-d tree et de la mthode de recherche best-bin first
Appariement
Bons rsultats en gnral
Peu sensible :
aux rotations
aux variations d'chelle
au bruit
aux changements de points de vue
aux transformations affines dans une certaine limite
Mais forte sensibilit au diachronisme

S URF (S peeded-Up Robus t Features )
Rfrence :
Bay, H., Tuytelaars, T. et Van Gool, L., SURF: Speeded Up Robust Features,
ECCV'2006, pp 404--417, 2006.
(http://www.vision.ee.ethz.ch/~surf/papers.html)

SURF : Speeded-Up Robust Features
Une variante de SIFT
avec des approximations augmentant la rapidit
2 tapes :
Extraction des points d'intrt et calcul de leur descripteur (image par
image)
Appariement des points d'intrt dtects (couple par couple)

Extraction des points SURF
En thorie, recherche des maxima de det(H)
H ( x , y , c)=
|
L
xx
( x , y ,c) L
xy
( x , y , c)
L
xy
( x , y ,c) L
yy
( x , y , c)
L
xy
=
2
G
c
x y
I
det ( H
app
)=D
xx
. D
yy
( w.D
xy
)
2
En pratique : choix d'une approximation
Utilisation d'image intgrale pour rapidit :
I
2
( x , y)=
i =0
x
j=0
y
I (i , j )

Extraction des points SURF
Ncessite interpolation de la position (x,y,) du point dtect
(cf mthode utilise pour SIFT)

Le descripteur SURF
Calcul de l'orientation des points dtects
Calcul des rponses dx et dy des ondelettes de Haar respectivement pour les directions x
et y au niveau des pixels voisins (voisinage = 6., taille du filtre de Haar = 6.)
Somme des rponses dx et dy au sein d'une fentre angulaire.
Calcul d'un vecteur orientation partir de ces sommes
Orientation = orientation correspondant au
plus long de ces vecteurs

Le descripteur SURF
Calcul du descripteur
Rotation pour se trouver dans la direction de l'orientation du point d'intrt calcul
prcdemment
et y au niveau de pixels voisins
Somme de ces rponses dx et dy mais aussi de|dx| et |dy| au sein de fentres situes de
part et d'autres du point d'intrt.
un vecteur V= (dx, dy, |dx|, |dy|)
obtenu pour chaque fentre

Le descripteur SURF
Calcul du descripteur
Rotation pour se trouver dans la direction de l'orientation du point d'intrt calcul
prcdemment
et y au niveau de pixels voisins
Somme de ces rponses dx et dy mais aussi de|dx| et |dy| au sein de fentres situes de
part et d'autres du point d'intrt.
un vecteur V= (dx, dy, |dx|, |dy|)
obtenu pour chaque fentre
Concatnation de ces vecteurs en un seul vecteur : le descripteur SURF
Normalisation de ce vecteur


Appariement
Recherche du plus proche voisin dans l'espace des descripteurs au sens
de la distance euclidienne
Utilisation du signe du LoG i.e. de la trace de la matrice hessienne pour
acclrer la recherche
(cf contraste)

AS I FT (Affine-S I FT)
Rfrence :
Morel, J.M. et Yu, G., 2009, ASIFT : A new framework for fully affine invariant
image comparison, SIAM Journal on Imaging Sciences, 2(2):438-469.
(http://mw.cmla.ens-cachan.fr/demo/asift)

ASIFT : Affine-SIFT
Modlisation
Dformation de l'image due un changement de point de vue
modlisable localement par une trans formation affine en
considrant la s cne localement plane
Modle local de dformation de l'image = affinit 2D
de dterminant positif
Dcomposition unique de A :
= camera spin = angle de rotation dans le plan de la camra
et = angles donnant le point de vue de la camra
t appel tilt, t>=1
=arccos(1/t)
>0 avec .t dterminant de A
dans [0,180[

ASIFT : Affine-SIFT
Simulations et SIFT
Simulation des dformations possibles pour les 2 images mettre en
correspondance
Utilisation de la formule prcdente
Echantillonnage des paramtres et t :
Tests pour un nombre fini et rduit de configurations
t dans {1, a, a
2
, ..., a
n
} avec a=2
1/2
Pour chaque t, dans {0, b/t, ... , k.b/t}
avec b=72 et k=argmax{l|l.b/t<180}
Pour chaque paire d'images simules,
extraction et appariement des points SIFT
Rduction des temps de calcul en appliquant d'abord l'algorithme une
image sous-chantillonne afin de dterminer les configurations
intressantes.

ASIFT : Affine-SIFT
Simulations et SIFT
Simulation des dformations possibles pour les 2 images mettre en
correspondance
Utilisation de la formule prcdente
Echantillonnage des paramtres et t :
Tests pour un nombre fini et rduit de configurations
t dans {1, a, a
2
, ..., a
n
} avec a=2
1/2
Pour chaque t, dans {0, b/t, ... , k.b/t}
avec b=72 et k=argmax{l|l.b/t<180}
Pour chaque paire d'images simules,
extraction et appariement des points SIFT
Rduction des temps de calcul en appliquant d'abord l'algorithme une
image sous-chantillonne afin de dterminer les configurations
intressantes.

ASIFT : Affine-SIFT

Applic ations
Applications
Quelques applications :
Mise en correspondance d'images en vue d'un recalage
Calcul de points de liaison multiples pour
l'arotriangulation
vision par ordinateur
en vue de raliser une panoramique
Constitution automatique d'un tableau d'assemblage
Reconnaissance d'objets
Indexation d'images
Utilisation du descripteur de SIFT comme une information de texture pour
des applications de classification
...
Ortho GEOBASE Photographie arienne
Applications
Mise en correspondance d'images en vue d'un recalage
Applications
Ortho GEOBASE Photographie arienne
Applications
Applications

Applications

Applications

Applications

Applications
Calcul de points de liaison multiples pour l'arotriangulation
Applications
Applications
Applications
Sensibilit de SIFT au diachronisme
? ? ?
1 1 2 2 3 3
4 4
Image A Image A Image B Image B Image C Image C
Image D Image D
Applications
Points de liaison pour l'arotriangulation
Ncessite des points de liaison multiples
Construction itrative des points multiples
Utilisation de la liste de points homologues par couple
Point multiple dordre 6 Point multiple dordre 6
Applications
Points de liaison pour l'arotriangulation
Prise de vue oblique
Applications
Applications
Applications
Aspect multi-chelle :
Recherche de la zone de
recouvrement des images
Estimation de la disparit.
Dtection de points
Appariement crois
Filtrage
Applications
Mesure de points de liaison pour l'arotriangulation
Comparaison Harris / SIFT
avec Harris :
Estimation de la disparit
Fentre de scurit (300*300)
Corrlation croise
Applications
avec Harris (suite) :
Appariement de points d'intrt : algorithme de recherche en pleine
rsolution
Applications
avec SIFT :
Pas besoin de prdicteur
Dtection de points (image par image)
Calcul de leur descripteur
Appariement des points dtects (couple par couple)
Filtrage
Mthode rapide :
Dtection : 1 minute par image
Appariement : 1 minute par couple
Limitations de la mthode :
Forte rotation entre les deux images
Facteur d'chelle entre images
Taille des images
Problme de robustesse :
Ncessit des points multiples
Filtrage photogrammtrique.
SIFT plus lent :
z
Dtection : 5 minutes par image
mais existence d'implmentations GPU : temps rduit 5 secondes
z
Appariement : 3-5 minutes par couple
mais plus robuste face aux limitations de Harris
Applications
Harris :
SIFT :

Applications
Applications
Applications

n n+1 n n+2
Motifs rptitifs...
Applications

Applications

Applications

Applications
Calcul automatique d'un tableau d'assemblage
Cas du chantier de l'Ile aux Cochons
un chantier ancien (images acquises en 1982)
pas d'orientation approche des images
images acquises depuis un hlicoptre (rotations importantes)
prsence de l'ocan
prsence importante de nuages
prsence de tches blanches
bruit
Applications
Applications
Reconnaissance d'objets

Presentation

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Presentation

Cargado por

Copyright:

Formatos disponibles

Points d'intrt

Changement de point de vue :

Changement de point de vue :

et des maxima locaux de |LoG| (pour slection de l'chelle

et des maxima locaux de |LoG| (pour slection de l'chelle

Cas isotropique : cf Harris-Laplace

Rfrence: Mikolajczyk, K. et Schmid, C. Scale and affine invariant point detectors.

maximum stable a rgion MSER = rgion de l'image stable pour la

También podría gustarte