ESIEA 28/11/05 1Philippe Ciuciu SHFJ/CEA
Approche statistique semi-
paramétrique du recalage
iconique d’images
Philippe Ciuciu (CEA/SHFJ)
http://www.madic.org/people/ciuciu
ESIEA 28/11/05 2Philippe Ciuciu SHFJ/CEA
Cours préparé à partir de la thèse
d’Alexis Roche (CEA/SHFJ)
http://www.madic.org/people/roche
ESIEA 28/11/05 3Philippe Ciuciu SHFJ/CEA
Plan
Introduction
Méthode du rapport de corrélation
Recalage par inférence statistique
Recalage non-rigide multimodal
ESIEA 28/11/05 4Philippe Ciuciu SHFJ/CEA
Le recalage d’images
Trouver la transformation géométrique qui aligne « au mieux » les voxels homologues
ESIEA 28/11/05 5Philippe Ciuciu SHFJ/CEA
Exemples de recalage
- Correction d’un mouvement rigide- Fusion monomodale, multimodale- Estimation de déformations- Fusion inter-sujets- etc.
ESIEA 28/11/05 6Philippe Ciuciu SHFJ/CEA
Formulation générale (Brown, 92)
• Étant données deux images I et J,
),,(maxargˆΤ
TJISTT
Mesure de similarité
Espace de recherche (rigide, affine, élastique,…)
Algorithme d’optimisation
ESIEA 28/11/05 7Philippe Ciuciu SHFJ/CEA
Construction d’une mesure de similarité
• Approche géométrique- Détection de primitives géométriques (points, lignes,
surfaces,… graphes relationnels) - Critère de distance entre ces primitives
• Approche iconique• Comparaison directe des intensités
ESIEA 28/11/05 8Philippe Ciuciu SHFJ/CEA
Exemple intuitif
• Comment recaler ces deux images ?
ESIEA 28/11/05 9Philippe Ciuciu SHFJ/CEA
Détection des primitives (ici, points de forte courbure)
Mesure: par exemple, k
kCPkTTS2
)()()( yx
Approche géométrique/iconique
ESIEA 28/11/05 10Philippe Ciuciu SHFJ/CEA
Détection des primitives (ici, points de forte courbure)
Mesure: par exemple, k
kCPkTTS2
)()()( yx
Approche géométrique/iconique
ESIEA 28/11/05 11Philippe Ciuciu SHFJ/CEA
Segmentation facultative…
Mesure: par ex., k
kk jiTS 2)()(
kikj
)( kT x kx
T
))(( kk TJj xInterpolation:
Approche géométrique/iconique
ESIEA 28/11/05 12Philippe Ciuciu SHFJ/CEA
T1 =Id
Segmentation facultative…
Mesure: par ex., k
kk jiTS 2)()(
Approche géométrique/iconique
ESIEA 28/11/05 13Philippe Ciuciu SHFJ/CEA
T2
Recouvrement partiel
Approche géométrique/iconique
Segmentation facultative…
Mesure: par ex., k
kk jiTS 2)()(
ESIEA 28/11/05 14Philippe Ciuciu SHFJ/CEA
Notion d’histogramme conjoint
i
j
Image source
Image cible
ik
jk
jjiinkn
T kkjip ,,,...,1Card
1,
))(( kk xTJj
ESIEA 28/11/05 15Philippe Ciuciu SHFJ/CEA
•Relation supposée
Somme des différences au carréSomme des différences en valeur absolueMesures de différence d’images [Buzug 1997]
•Mesures adaptées
Conservation de l'intensité
Intensité de l’image J
Inte
nsi
té d
e l’
imag
e I
Classification des mesures iconiquesHistogramme conjoint
ESIEA 28/11/05 16Philippe Ciuciu SHFJ/CEA
Classification des mesures iconiques
•Relation supposée
Intensité de l’image J
Inte
nsi
té d
e l’
imag
e I
Affine
•Mesures adaptées
Coefficient de corrélation [Brown 1992]
Histogramme conjoint
ESIEA 28/11/05 17Philippe Ciuciu SHFJ/CEA
•Relation supposée
Critère de Woods (1993)Variantes Woods [Ardekani 1995; Alpert 1996; Nikou 1997]Rapport de corrélation [Roche, 1998]
Intensité de l’image J
Inte
nsi
té d
e l’
imag
e I
Fonctionnelle
•Mesures adaptées
Classification des mesures iconiquesHistogramme conjoint
ESIEA 28/11/05 18Philippe Ciuciu SHFJ/CEA
Entropie conjointe [Hill 1995; Collignon 1995]Information mutuelle [Collignon 1995; Viola 1995]Information mutuelle normalisée [Studholme 1998]
Intensité de l’image J
Inte
ns
ité
de
l’i
ma
ge
I
Redondance
•Mesures adaptées
Classification des mesures iconiques
•Relation supposéeHistogramme conjoint
ji
ji
jijiJI pp
ppTI ,
,,, log)(
ESIEA 28/11/05 19Philippe Ciuciu SHFJ/CEA
Plan
Introduction
Méthode du rapport de corrélation
Recalage par inférence statistique
Recalage non-rigide multimodal
ESIEA 28/11/05 20Philippe Ciuciu SHFJ/CEA
Coefficient de corrélation
Information mutuelle
kkk
JIIJ JjIi
nT ))((
1)(
- Spécifique monomodal+ Robuste
+ Générale- Peu robuste
k kjki
kkIJ
jPiP
jiP
nT
)()(
),(log
1)(I
Motivation: une mesure intermédiaire entre…
ESIEA 28/11/05 21Philippe Ciuciu SHFJ/CEA
Coefficient de corrélation
kkk
JIIJ JjIi
nT ))((
1)(
Erreur quadratique de régression linéaire
Normalisation (recouvrement partiel)
2
2))((min1
I
kkk
f
n
jfi
Motivation: une mesure intermédiaire entre…
ESIEA 28/11/05 22Philippe Ciuciu SHFJ/CEA
Régression non-linéaire aux moindres carrés
intensité en J
inte
ns
ité
en
I
Espace de recherche vectoriel = problème linéaire
polynômes, B-splines, fonctions constantes par morceaux...
ESIEA 28/11/05 23Philippe Ciuciu SHFJ/CEA
Généralisations du rapport de corrélation
Métrique d’ordre supérieur
)(min
))((min1)(
2
2
|
I
TJfIT
cte
fgeneJI
Métrique robuste (M-estimateur d’échelle)
...)(222
k kkk IiI
k
k cteI
i
n )(
1
ESIEA 28/11/05 24Philippe Ciuciu SHFJ/CEA
Validation: base « Vanderbilt »
8 patients: scanner, TEP, IRM (T1, T2, DP)
Recalages rigides IRM {T1, T2, DP} / scanner, TEP
« Vérités terrain » connues
5 mesures de similarité testées:
RC (L2), RC (L1), RC (Geman), IM, Woods
ESIEA 28/11/05 25Philippe Ciuciu SHFJ/CEA
Résultats recalage : IRM / scanner
0
1
2
3
4
5
6
Erreur médiane
(mm)
RC (L2) RC (L1) RC (Gem.) IM
scanner / T1
scanner / T2
scanner / DP
ESIEA 28/11/05 26Philippe Ciuciu SHFJ/CEA
Résultats: IRM / TEP
0
1
2
3
4
5
6
7
Erreur médiane
(mm)
RC (L2) RC (L1) RC(Gem.)
IM Woods
TEP / T1
TEP / T2
TEP / DP
ESIEA 28/11/05 27Philippe Ciuciu SHFJ/CEA
Plan
Introduction
Méthode du rapport de corrélation
Recalage par inférence statistique
Recalage non-rigide multimodal
ESIEA 28/11/05 28Philippe Ciuciu SHFJ/CEA
Motivation
• Renverser l’approche classique
Dictionnaire de mesures Problème de recalage
Construire les mesures de similarité en fonction d'hypothèses de dépendance
ESIEA 28/11/05 29Philippe Ciuciu SHFJ/CEA
Recalage par inférence statistique Modèle de dépendance inter-images
Scène S
Modèle d’acquisition
Image I
Image J
Transfo.spatiale
Modèle d’acquisition
A priorianatomique
)|,(max TJIPT
Inférence par maximum de vraisemblance
),|( TSIP
)|( SJP
)(SP
T
Scène S
Modèle d’acquisition
Image I
Image J
Transfo.spatiale
Modèle d’acquisition
A priorianatomique
Fonction de vraisemblance
dSSPTSJIPTJIPTL )(),|,()|,()(
ESIEA 28/11/05 30Philippe Ciuciu SHFJ/CEA
Recalage par inférence statistique Hypothèse: les processus S, I|S et J|S sont
– Stationnaires– Spatialement indépendants
Problème: estimer la distribution conjointe p(i,j)
)(log)(log)()(
),(log)(log lj
lki
kAk kjki
kk jpipjpip
jipTL
Fonction de vraisemblance
mutuelle"nInformatio"n
ESIEA 28/11/05 31Philippe Ciuciu SHFJ/CEA
Approche paramétrique: modèle de mélange
Estimation de la densité conjointe
Approche non-paramétrique: méthode de Parzen
Approche semi-paramétrique: ajustement local
),,,(),(1
pp
C
pp mjiNjip
n
k
kk
h
jj
h
ii
njip
1 21
,1
),(
ijajaiajaiaajip 52
42
3210),(log
sur un voisinage 21 hh
ESIEA 28/11/05 32Philippe Ciuciu SHFJ/CEA
Plus flexible que l’approche paramétrique
Approche semi-paramétrique
Continuum de mesures englobant l’existant• Coefficient de corrélation: • Rapport de corrélation: • Information mutuelle:
Meilleur compromis biais/variance que Parzen
21 , hh
21 ,0 hh
0,0 21 hh
ESIEA 28/11/05 33Philippe Ciuciu SHFJ/CEA
Exemple: recalage rigide scanner / IRM
ESIEA 28/11/05 34Philippe Ciuciu SHFJ/CEA
Estimation de la densité conjointe
• Histogramme conjoint
Ik
kkji jjiiKn
Tp ),(1
,,
ESIEA 28/11/05 35Philippe Ciuciu SHFJ/CEA
Estimation de la densité conjointe
• Mélange de gaussiennes
ESIEA 28/11/05 36Philippe Ciuciu SHFJ/CEA
L’approche paramétrique permet une segmentation a posteriori
Estimation de la densité conjointe
ESIEA 28/11/05 37Philippe Ciuciu SHFJ/CEA
Estimation de la densité conjointe
• Ajustement localement quadratique
ESIEA 28/11/05 38Philippe Ciuciu SHFJ/CEA
• Méthode de Parzen
Estimation de la densité conjointe
ESIEA 28/11/05 39Philippe Ciuciu SHFJ/CEA
Plan
Introduction
Méthode du rapport de corrélation
Recalage par inférence statistique
Recalage non-rigide multimodal
ESIEA 28/11/05 40Philippe Ciuciu SHFJ/CEA
Recalage iconique non-rigide
Formulation classique
Stabilisateur
22)(min LTjik
kkT
S’apparente au flux optique (Horn &Schunk, 81)
Nécessité de la régularisation spatiale
ESIEA 28/11/05 41Philippe Ciuciu SHFJ/CEA
Flux optique monomodal : exemple
ESIEA 28/11/05 42Philippe Ciuciu SHFJ/CEA
Recalage multimodal non-rigide
Flux optique multimodal
2
)()(
),(logmin
LTjPiP
jiP
k kjki
kk
T
L’estimation semi-paramétrique de la distribution p(i,j) permet de se ramener au flux optique standard
22)(min LTjiwk
kkkkkT
ESIEA 28/11/05 43Philippe Ciuciu SHFJ/CEA
Image J Image IImage J corrigée
Correction d'intensité
Transformation spatialeFlux optique standard
Ajustement local quadratique
Algorithme itératif
Recalage multimodal non-rigide
ESIEA 28/11/05 45Philippe Ciuciu SHFJ/CEA
DPT1
géométrie+ intensité
Fusion inter-sujets
ESIEA 28/11/05 46Philippe Ciuciu SHFJ/CEA
DPT1géométrie+ intensité
Vue sagitale
Fusion inter-sujets
ESIEA 28/11/05 47Philippe Ciuciu SHFJ/CEA
Conclusion
Méthodologie générale pour le recalage d’images
Algorithmes originaux• Méthode du rapport de corrélation• Recalage non-rigide multimodal
Top Related