Segmentation de séquences dimages au sens du mouvement Stage DEA Image & Calculs Elodie Bichot...
-
Upload
gustave-lafont -
Category
Documents
-
view
104 -
download
0
Transcript of Segmentation de séquences dimages au sens du mouvement Stage DEA Image & Calculs Elodie Bichot...
Segmentation de séquences Segmentation de séquences d’images au sens du d’images au sens du
mouvementmouvement
Stage DEA Image & Calculs
Elodie Bichot
Juillet 2002
Encadrant : L. Mascarilla
IntroductionIntroduction
illusion de mouvement créée par la succession d’images à une cadence élevée
mouvement = information importante en traitement d’images
segmentation de séquences d’images au sens du mouvement
PlanPlan
I. Définition de la segmentation au sens du mouvement
II. Les méthodes de segmentation au sens du mouvement
1. Le flot optique2. Les méthodes d’estimation du flot optique3. Le partitionnement du flot optique
III. Mise en œuvre1. L’appariement par fenêtres2. L’algorithme de segmentation au sens du
mouvement mis en œuvre
Contexte : Projet Aqu@thèqueContexte : Projet Aqu@thèque
étape de segmentation : détecter la région correspondant au poisson sélectionné
images couleurs réelles présentant des effets spéculaires, des changements de luminosité
méthodes de segmentation par le mouvement impossible de distinguer deux poissons évoluant en
sens opposé au moment où ils se croisent
segmentation au sens du mouvement
Segmentation au sens du mouvementSegmentation au sens du mouvement
Partitionnement de l’image en régions uniformes ausens du mouvement : estimation du mouvement 2D (flot optique) classification des pixels selon leur mouvement
.............................................
..........................................................................................
.............................................
.............................................
.............................................
...............................
.............................................
..............
...............................
.............................................
.............................................
.............................................
.............................................
...............................
Estimation du mouvement
Séquence d’images
segmentation
Flot optique Images segmentées en régions uniformes au sens du mouvement
Le flot optiqueLe flot optique
champ de vecteurs de déplacements produit par la projection du mouvement 3D des objets et/ou par le mouvement de la caméra
estimation du flot optique illumination constante : I t x t I( , ( )) 0
v I I t. 0
vdx
dt
dx
dtv v ( , ) ( , )1 2
1 2
II
tt
composantes de la vitesse
gradient spatial de I
gradient temporel de I
équation du flot optique
],[),(21
21xx II
x
I
x
II
Le flot optiqueLe flot optique
v I I t. 0 équation du flot optique
fossé entre mouvement estimé par équation du flot optique et mouvement réel
détermination du mouvement problème mal posé :
problème d’ouverture : seule b, composante du mouvement normale au bord, peut être
estimée [2]
Domaines d’utilisation du flot optiqueDomaines d’utilisation du flot optique compression vidéo par compensation de mouvement segmentation : météorologie
reconnaissance de signes du langage des signes surveillance de sites routiers
Le flot optique pour segmenter des véhicules en mouvement [1]
Méthodes d’estimation du flot optiqueMéthodes d’estimation du flot optique
Techniques différentielles Méthodes fréquentielles Appariement par fenêtres
Les méthodes différentiellesLes méthodes différentielles
fondées sur hypothèse d’intensité constante
Problème d’ouverture ajout de contrainte de lissage du flot optique :flot optique constant sur un voisinage local de
meilleure solution : la plus régulière [HS81]
I x v t I x t( , ) ( , ) 1
I x t v x t I x t Ot( , ). ( , ) ( , )1 2
x
min ( )( ( , ). ( , ))W x I x t vI
tx t
x
2 2
[LK81]
( . ) ( ) I vI
tv v dxdy
image
2 21
2
2
2
Positionnement des techniques Positionnement des techniques différentiellesdifférentielles
coût de calculs faible précise
estimation de déplacements de faible amplitude mauvaise estimation du flot optique aux
frontières des objets = zones de discontinuités du mouvement
L’appariement par fenêtresL’appariement par fenêtres recherche de la meilleure correspondance entre des régions
de deux images consécutives par :– maximisation d’un critère de similarité– minimisation d’une distanceentre deux fenêtres de référence sur une zone de recherche
fenêtre de référence ou de corrélation zone de recherche
position translatée de la
fenêtre de référence
pixel (i, j) de l’image considéré
Positionnement de l’appariement par Positionnement de l’appariement par fenêtresfenêtres
simple possibilité d’estimer des déplacements d’amplitude
importante
problème en cas d’images bruitées, en présence d’occultations, en cas de zones uniformes
coûteuse en temps de calculs imprécise
Segmentation du flot optiqueSegmentation du flot optique
qualité liée à la qualité de l’estimation du mouvement
par estimation d’un mouvement dominant
- évaluation du mouvement dominant
- « extraction » de l’objet animé du mouvement dominant
problème : lorsqu’il n’y a pas qu’un seul mouvement dominant
Segmentation du flot optiqueSegmentation du flot optique
par classification sur les paramètres d’un modèle de mouvement affine [WA94] :
mouvement affine :- facile à implémenter- décrit les mouvements rencontrés dans les vidéos
v x y a a x a y
v x y a a x a yx x xx xy
y y yx yy
( , )
( , )
0
0
génération d’hypothèses de
mouvementclassification
flot optique
affectation des régions à l’hypothèse la plus
proche
image segmentée
objets en translation : groupement des pixels de même vitesse
Estimation du flot optique par Estimation du flot optique par appariement par fenêtresappariement par fenêtres
simple à l’origine des meilleurs résultats pas fondé sur hypothèse d’illumination constante intégration assez facile de l’information de couleur
difficile d’apprécier la justesse du flot optique estimé
image initiale, flot optique évalué par appariement et par la méthode de Lucas & Kanade
Estimation du flot optiqueEstimation du flot optique
Représentation des normes des vecteurs vitesses et du flot optique évalués par appariement à partir d’images en niveaux de gris à gauche, à partir d’images en
couleurs à droite
Algorithme de segmentation au sens du Algorithme de segmentation au sens du mouvementmouvement
flot optique évalué par appariement segmentation par classification sur les paramètres
d’un modèle de mouvement affine nombre de classes fixé arbitrairement
Estimation du flot optique
Estimation des paramètres d’un modèle de mouvement affine sur des régions carrées [WA94]
Classification par Cmoyennes floues sur les paramètres de mouvement
Représentation des classes dans l’espace de l’image
image initiale image segmentée
Algorithme de segmentation au sens du Algorithme de segmentation au sens du mouvementmouvement
flot optique évalué par appariement segmentation par classification sur les composantes de
la vitesse nombre de classes fixé arbitrairement
image initiale segmentation par classification sur les composantes de la vitesse
ConclusionConclusion
estimation du flot optique + partitionnement du flot optique = segmentation au sens du mouvement
appariement par fenêtres + classification sur les composantes du déplacement = segmentation au sens du mouvement
distinction de poissons évoluant en sens opposé
coopération entre la segmentation au sens du mouvement et la poursuite de cibles
Références Références [HS81] B.K.P. Horn, B.G. Schunck. Determining optical flow. Artificial Intelligence
17 : 185-204, 1981. [LK81] B. Lucas, T. Kanade. An iterative image registration technique with an
application to stereo vision. Proc. DARPA Image Understanding Workshop, pp.121-130, 1981.
[WA94] J.Y.A. Wang, E.H. Adelson, Spatio-Temporal Segmentation of Video Data. Proceedings of the SPIE : Image and Video Processing 2, vol. 2182, San Jose, 1994.
[WA94] J.Y.A. Wang, E.H. Adelson. Representing Moving Images with Layers. IEEE Transactions on Image Processing Special Issue : Image Sequence Compression, vol3, n°5, p. 625-638, 1994.
[1] http://www.cmap.polytechnique.fr/~bernard/FlotOptique/page3.html [2] http://www.dai.ed.ac.uk/CVonline/LOCAL_COPIES/OWENS/LECT12/node4.html