Benoit Scherrer
Thèse co-encadrée par Mme Catherine Garbay et M. Michel Dojat
Préparée dans les laboratoires TIMC, GIN et LIG
CollaborationFlorence Forbes, INRIA
Segmentation des tissus et des structures sur les IRM cérébrales :
agents markoviens locaux coopératifs etformulation bayésienne.
/51
Introduction Imagerie par résonance magnétique (IRM)
Permet l’observation avec une résolution fine de l’anatomie Modalité d’imagerie médicale peu invasive Met en évidence les tissus mous
Adaptée pour l’étude du cerveau
Acquisition IRM
Données brutes(issue des mesures physiques) Reconstruction
3D de l’image
INTERPRETATIONDE L’IMAGE
2B. Scherrer, 12/12/2008
Explosion de la quantité d’information générée
Interprétation automatique des IRM cérébrales :
un enjeu majeur
/51
Introduction : la segmentation Parmi les outils d’interprétation : la segmentation des IRM
cérébralesBut : attribuer à chaque voxel une étiquette de classe parmi K classes
3B. Scherrer, 12/12/2008
IRM Pondérée T1
Segmentation des tissusDescription de la matière contenue dans les voxels.
matière blanche (MB), matière grise (MG), liquide céphalo-rachidien (LCR)
Segmentation des structuresDescription selon des régions anatomiques connues.
Noyaux caudés, putamen, thalamus, hypocampe, amygdale, …
La segmentation : différents buts
/51
Application à l’INSERM U836
4B. Scherrer, 12/12/2008
IRM Anatomique 3D Volume de Voxels
IRM Fonctionnelle
Reconstruction fine 3D du Cortex
Projection des données IRMf
Dépliage du Cortex.Cartes Planes.
Contexte de la thèse :Projet de Cartographie des Aires Visuelles chez l’Homme
Segmentation des tissus Matière grise (MG)Segmentation des structures différencier MG du cortex et des structures
La segmentation : un maillon crucial dans la chaînes d’interprétation
Doit être aussi robuste et fiable que possible
/51
Difficulté de la segmentation d’IRM
Nécessite des modèles mathématiques adaptés
5B. Scherrer, 12/12/2008
Images IRM perturbées par de nombreux artéfacts
Inhomogénéité Bruit
Variation de l’intensité pour un même tissu
Inhérent à toute mesure physique
Effet de volume partiel, faible contraste, Taille des données (acquisition 256x256x256 : 16 millions de voxels)
La segmentation : un problème difficile
Enjeux et difficulté d’une segmentation robuste illustrés par l’intérêt croissant porté sur la segmentation
Source : PubMed Requête : medical AND image AND (segmentation OR classification OR labeling)
/51
Segmentation non supervisée
6B. Scherrer, 12/12/2008
Orientéecontours
Modèles déformables
Explicites(snakes)
Implicites(level sets)
Recalaged’atlas
Morphologie mathématique
“bas niveau”
Gradient Morphologique
Ligne de partage des eaux
AscendantsDescendants
AscendantsDescendants
Opérateurs différentiels
Seuillage
Croissance de région
ClassificationSEGMENTATION
Paramétrique Non Paramétrique
Mélange delois
Champ de Markov
Probabiliste
Déterministe
Mean-shift
K-Mean
Fuzzy C-Mean
Approches hybrides
Approches probabilistes Cadre statistique formel bien posé Modélisent l’incertitude dans l’attribution des classes Intègrent naturellement des connaissances a priori
(modèles de bruit, d’inhomogénéité, localisation des structures, …) Modélisation de problèmes couplés (distributions jointes) Inférence naturelle et rigoureuse d’algorithmes d’estimation
Champs de Markov : robuste au bruit
Orientéerégions
/51
La segmentation des IRM
7B. Scherrer, 12/12/2008
Méthode par atlas : recalage global en prétraitement Segmentation tissus et structures : des tâches considérées indépendantes
Pourtant : une structure est composée d’un tissu
Segmentation tissusApproche probabiliste : estimation de modèles d’intensités
Classiquement dans la littérature
Segmentation des structures Les distributions d’intensité se
recouvrent largement Requiert l’introduction
d’information a priori
Modélisation globale de l’intensité des tissus Requiert l’estimation d’un champ d’inhomogénéité (biais)
Recalage d’atlas ou description floue de
l’anatomie
/51
Objet de cette thèse
8B. Scherrer, 12/12/2008
Casser la logique traditionnelle globale du calculLocalité pour mieux refléter les propriétés locales de l’image(estimation des modèles, recalage)Distribuer des processus d’estimation locale autonomes,Introduire des modalités de régulation entre estimations locales
Considérer différents a priori pour segmenter les structures Relations spatiales et recalage d’atlas
Coupler les modèles Segmentation des tissus, segmentation des structures
et construction de connaissances anatomiques Régulariser et contraindre les modèles dans leur
convergence
Modélisation markovienne de la segmentation Régulariser l’étiquetage
Introduire différent
niveaux de régularisation
Enjeux de cette thèse
/51
Plan
9B. Scherrer, 12/12/2008
Première approche : modélisation multi-agents (LOCUS) Segmentation markovienne Segmentation des tissus Segmentation coopérative des tissus et structures
Seconde approche : formulation bayésienne jointe (LOCUSB) Modélisation couplée Formulation des interactions Estimation du modèle
Evaluation LOCUS LOCUSB
Conclusion et perspectives
Seconde approche : formulation bayésienne jointe (LOCUSB) Modélisation couplée Formulation des interactions Estimation du modèle
Evaluation LOCUS LOCUSB
Conclusion et perspectives
Première approche : modélisation multi-agents (LOCUS) Segmentation markovienne Segmentation des tissus Segmentation coopérative des tissus et structures
/51
Segmentation markovienne de l’image
10B. Scherrer, 12/12/2008
Observations Etiquettes La segmentation
Terme d’attache aux données, basé sur les intensités
Terme de régularisation
Champ externe
Connaissance a priori
Segmentation markovienne Par définition : Corrélation spatiale entre les voxels régularisation robuste au bruit
Réaliser la segmentation : maximiser selon z la probabilité
Utilisation d’algorithmes de type EM (Expectation Maximization)
/51
Agent markovien local
11B. Scherrer, 12/12/2008
Paradigme multi-agents : (calcul distribué) Agent = processus de calcul qui s’exécute de manière autonome et interagit
Quatre comportements :
Coopération : contribution des accointances au modèle local Coordination : agit sur l’enchaînement des comportements
Définition :
Situé dans l’image, ancré sur un territoire Estimation coopérative des paramètres d’un
champ de markov local
Agent markovien local:
/51
Segmentation des tissus
12B. Scherrer, 12/12/2008
Partitionnement du volume en sous-volumes Définition d’un AML par sous-volume
AML spécialisé tissus : AML-T Segmentation en trois classes :
LCR, MG, MB Accointances : agents voisins
Forces de l’estimation locale modélisée dans un SMA Première force Seconde force
Sous-volumes «faciles» à segmenter : convergence rapide
Libère des ressources pour traiter les autres zones
Meilleure représentation des distributions d’intensité locales
Robuste aux inhomogénéités sans modélisation explicite d’un biais
/51
Bonne représentation des classes permettant une estimation fiable des modèles
Peu local, sensible aux inhomogénéités
B. Scherrer, 12/12/2008
Compromis localité / fiabilité de l’estimation
Meilleure localité, robuste aux inhomogénéités
Sous représentation des classes pour assurer la fiabilité de l’estimation
13
Sous-volumes avec 40x40x40 voxels (64000 voxels)
Sous-volumes avec 10x10x10 voxels (1000 voxels)
Suffisament local (robustesse aux inhomogénéités)Assurer la validité des modèles locaux
dans la littérature : validité assurée par redondance d’information
Mécanismes de régularisation des modèles locaux
/51B. Scherrer, 12/12/2008
Segmentation des tissus
14
Mécanismes de coopération Assurer la cohérence globale des modèles locaux
Calcul d’un modèle d’intensité moyendans le voisinage
Si nécessaire, correction du modèle local combinaison linéaire du modèle estimé et du modèle moyen
Calcul d’un modèle d’intensité par voxel (splines cubiques, méthode du Krigeage)
Assure des variations lente entre agents voisins Modélise les inhomogénéités dans les sous-
volumes
Paradigme multi-agents Cadre adapté pour réaliser ces mécanismes de coopération
Model checking
Model correction
Model interpolation
/51
Initialisation
Mode sommeil
Diffusion d’information
Model Checking
Agent Global
Ensemble d’AML-T
Met à jour les probabilités
Met à jour les paramètres
Model Checking
avec le voisinage
Model Correction
Model Interpolation
Stabilisé ?
B. Scherrer, 12/12/2008
Algorithme EM Local & Coopératif
15
/51B. Scherrer, 12/12/2008 16
Segmentation des structures
Définition d’un AML spécialisé structure (AML-S) par structure
Segmentation en deux classesstructure et non structure
Groupesd’accointances
D’un AML-T D’un AML-S
Segmentation coopérative des tissus et structures
/51
Relations génériques et stables fournies par un anatomiste
Relations de distance, d’orientation et de symétrie
Prend en compte la nature générale de cette connaissance
Fournie une carte de localisation floue de la structure dans le volume
FUSION
Relation de distance Relation d’orientation
EX : Noyau caudé
Relations spatiales Description de l’anatomie via des relations spatiales floues
« Le noyau caudé droit est à moins de 5mm de la corne frontale droite »« le thalamus droit est en dessous de la corne frontale droite»
etc…
Traduction de la connaissance via des cartes 3-D floues
B. Scherrer, 12/12/2008 17
/51
Champ de Markov local à deux classes Ml pour chaque structure l :
Champ externe
Intégration d’une connaissance a priori basée sur la CLF
Segmentation coopérative des tissus et structures
B. Scherrer, 12/12/2008 18
La carte de localisation floue :
Fournit le territoire de l’agent(Localisation dynamique, via un simple seuil)
Est intégrée dans le champ de markov local
Notation Champ externe
/51
Segmentation coopérative des tissus et structures
B. Scherrer, 12/12/2008 19
LOCUS : Synthèse
Régularisation de l’étiquetage
Régularisation de l’étiquetage
/51
Plan
20B. Scherrer, 12/12/2008
Première approche : Modélisation multi-agents (LOCUS) Segmentation markovienne Segmentation des tissus Segmentation coopérative des tissus et structures
Seconde approche : Formulation bayésienne jointe (LOCUSB) Modélisation couplée Formulation des intéractions Estimation du modèle
Evaluation LOCUS LOCUSB
Conclusion et perspectives
Evaluation LOCUS LOCUSB
Conclusion et perspectives
Seconde approche : formulation bayésienne jointe (LOCUSB) Modélisation couplée Formulation des interactions Estimation du modèle
/51
Cadre théorique formel Coopération exprimée via une modélisation jointe
Introduction d’un atlas statistique pour segmenter les structures Recalage de l’atlas pas un prétraitement mais couplé à la segmentation
Seconde approche proposée
B. Scherrer, 12/12/2008 21
Motivations Mécanismes de coopérations «ad-hoc»
Intuitifs mais quid de la convergence ? Certain nombre de seuils Relations spatiales : information très générale
Difficile de décrire un grand nombre de structures
Seconde approche proposée :
/51
Composants du modèle
Etiquettes des tissus : dans 3 classes
Etiquettes des structures : dans (L+1) classes (L structures + fond) . Le tissu de la structure l est noté Tl.
Intensités : N voxels dans le volume, K=3 classes de tissus, L structures
Connaissance a priori sur les structures (atlas probabiliste)
Données
Modèles d’intensités locaux de paramètres
22B. Scherrer, 12/12/2008
Paramètres de recalage .
Paramètres θ
Données manquantes z (couplées)
Problème à données manquantes coupléesTrouver z=(t, s) en estimant θ=(R,ψ) à partir de y
/51
Estimation d’un problème à données manquantes
23B. Scherrer, 12/12/2008
Formulation fonctionnelle de EMmaximisation alternée selon q et θ de :
l’ensemble des distributions de probabilité sur z
Mise à jour itérative : EM en deux étapesEtape E :
Etape M :
(Interprétation de EM de type Maximization-Maximization)
/51
Interprétation fonctionnelle de EM
24B. Scherrer, 12/12/2008
Cas d’un problème à données manquantes couplées Structure complexe de z=(t,s) issue du couplage
Etape E non calculable en pratique
Approximation de type Variational EM : résolution sur une classe restreinte de distributions de probabilité Celles qui se factorisent : ,
Mise à jour itérative : EM en trois étapes
Pas nécessaire de spécifier ou pour segmenter Seulement
Ne fait intervenir que ces probabilités conditionnelles
/51
Modélisation markovienne & décomposition
25B. Scherrer, 12/12/2008
?
Energie d’un champ de Markov
Terme d’attache aux données
Décomposition
Bayes :Les probabilités conditionnelles , et sont aussi des champs de Markov
Modélisation markovienneavec :
Interactions intra-champ
Interactions inter-champs
Interactions au niveau du terme d’attache aux
données
Formulation des intéractions ?
/51
Formulation des interactions
26B. Scherrer, 12/12/2008
Interactions intra-champ
Interactions entreétiquettes Terme classique
d’interaction spatiale des champ de Markov
Connaissance a priori sur le recalage Amplitudes et
orientations «typiques» des déformations
Interactions entre modèlesd’intensités locaux Interaction markovienne
spatiale entre les modèles d’intensité locaux
/51
Formulation des interactions
27B. Scherrer, 12/12/2008
Interactions inter-champs
Interactions tissus-structuresFavorise l’accord entre information tissu et structure
Non utilisé
Interactions de t,s avec les paramètres de recalageFavorise les configurations où une structure est alignée sur son atlas (Pohl, 2006)
Interactions via le terme d’attache aux données Traduit l’accord entre les informations tissus et structures
dans l’attache aux données Mélange des modèles d’intensité
Favorise le tissu de la structure
Favorise une structure composée du tissu
/51
Recalage et estimation du modèle
28B. Scherrer, 12/12/2008
Estimation dans le cadre Variational EM Fournit l’expression des mises à jour à chaque étape EM en quatre étapes
Nature du recalage de l’atlas Requiert une déformation globalement non linéaireRecalage global élastique : coûteux, grand nombre d’optima locaux
Recalage local affine : profite du caractère local de l’information
Modélisation du problème Fournit les expressions de , et
Espace de l’Atlas Espace de l’image Déformation locale
Transformation globale affine Alignement approximatif
Transformations locales affines Capturent la
déformation résiduelle pour
chaque structure
/51
M-ψ-StepMise à jour des
modèles d’intensité locaux cohérents
Initialisation
Segmentations
29B. Scherrer, 12/12/2008
Estimation du modèle
E-T-StepMise à jour les cartes de probabilité tissus
M-R-StepMise à jour des paramètres de
recalage affine local
E-S-StepMise à jour les cartes de
probabilité structures
Convergence
Distrib. Gaussienne de moyenne et de précision :
Maximisation avec une méthode numérique (Powell) Implémenté dans le paradigme multi-agents
/51
Video
30B. Scherrer, 12/12/2008
/51
Plan
31B. Scherrer, 12/12/2008
Première approche : modélisation multi-agents (LOCUS) Segmentation markovienne Segmentation des tissus Segmentation coopérative des tissus et structures
Seconde approche : formulation bayésienne jointe (LOCUSB) Modélisation couplée Formulation des interactions Estimation du modèle
Evaluation LOCUS LOCUSB
Conclusion et perspectives
Evaluation LOCUS LOCUSB
Conclusion et perspectives
/51
Evaluation de LOCUS-T
32B. Scherrer, 12/12/2008
Bruit, Inhomogénéité Paramètres
d’acquisition…
Segmentation
Simulation
EVALUATIONQUANTITATIVE
Evaluation quantitative : simulation avec BrainWeb
Mesure de SimilaritéCoefficient de Dice :
/51
Evaluation quantitative de LOCUS-T
33B. Scherrer, 12/12/2008
Evaluation de LOCUS-T, comparaison à FAST et SPM5 Pour différents niveaux de bruit et d’inhomogénéité
Temps moyen de calculsSPM5 ( recalage d’atlas + modèle de bruit + modèle de biais) : ~14minFAST ( champ de Markov + modèle de biais ) : ~ 8minLOCUS-T (champ de Markov locaux + régularisation) : ~4min
/51
Evaluation qualitative de LOCUS-T
34B. Scherrer, 12/12/2008
Image réelle à 3 Tesla
LOCUS-TSPM5 FAST
Image avec une très forte inhomogénéité (antenne de surface)
SPM5 FAST LOCUS-T
/51
Evaluation de LOCUS-T : robustesse
35B. Scherrer, 12/12/2008
Robustesse au paramètre de taille des sous-volumes
Robustesse aux paramètres de correction de modèle
Image BrainWeb avec 5% de bruit et 40% d’inhomogénéité
/51
Comportements intéressants
36B. Scherrer, 12/12/2008
Proportion moyenne pour différentes positions dans le volume du nombre d’itérations nécessaires à la convergenceCalculé sur huit segmentations d’images BrainWeb (bruit: 3%, 5%, 7%, 9% ; inh. : 20%, 40%)
Interprétation Faible nombre d’itérations à la périphérie
Classes sous-représentées ; correction de modèle Grand nombre d’itérations entre 40mm et 80mm
Région du cortex, zone de faible contraste avec volume partiel
S’adapte à la complexité locale de l’image
/51
Evaluation de LOCUS-TS
37B. Scherrer, 12/12/2008
Segmentation des structures : évaluation quantitative Trois structures segmentées manuellement sur BrainWeb
par trois experts Utilisation de STAPLE pour calculer une référence
Evaluation pour différents niveaux de bruit et d’inhomogénéité
Coefficient de Dice Amélioration relative entre première et dernière convergence
/51
Evaluation de LOCUS-TS
38B. Scherrer, 12/12/2008
Evaluation qualitative sur images réelles
Illustration de la coopération tissus - structures
/51
Evaluation de la seconde approche LOCUSB
39B. Scherrer, 12/12/2008
Evaluation de LOCUSB-T Approximativement équivalent à LOCUS-T (temps, performances) Focalise sur l’évaluation de LOCUSB-TS et LOCUSB-TSR
Evaluation quantitative sur BrainWeb - LOCUSB-TS et LOCUSB-TSR Avec la référence de trois structures segmentées manuellement
LOCUSB-TS LOCUSB-TSR
Amélioration relative
/51
Evaluation quantitative de LOCUSB
40B. Scherrer, 12/12/2008
Illustration pour le noyau caudéLe recalage de l’atlas s’améliore localement avec LOCUSB-TSR.
/51
Evaluation quantitative de LOCUSB
41B. Scherrer, 12/12/2008
Evaluation quantitative sur IBSR v2
Comparaison
Nécessite l’introduction d’un a priori H(R) sur le
recalage ?
/51
Evaluation qualitative de LOCUSB
42B. Scherrer, 12/12/2008
Comparaison LOCUSB-T, LOCUSB-TS, LOCUSB-TSR
LOCUSB-T
LOCUSB-TS
LOCUSB-TSR
/51
Evaluation qualitative de LOCUSB
43B. Scherrer, 12/12/2008
Recalage initial artificiellement perturbé (LOCUSB-TSR)
SegmentationAtlas
Evolution du recalage et de la segmentation des structures :
/51
Evaluation qualitative de LOCUSB
44B. Scherrer, 12/12/2008
LOCUSB-TS LOCUSB-TSR
Image pathologique Habituellement : approche locale fortement perturbée Cas particulier :
/51
Plan
45B. Scherrer, 12/12/2008
Première approche : modélisation multi-agents (LOCUS) Segmentation markovienne Segmentation des tissus Segmentation coopérative des tissus et structures
Seconde approche : formulation bayésienne jointe (LOCUSB) Modélisation couplée Formulation des interactions Estimation du modèle
Evaluation LOCUS LOCUSB
Conclusion et perspectives
Evaluation LOCUS LOCUSB
Conclusion et perspectives
/51
Publications scientifiques
46B. Scherrer, 12/12/2008
B. Scherrer, M. Dojat, F. Forbes, C. Garbay, Fully Joint Bayesian Model for MR Brain Scan Tissue and Subcortical Structure Segmentation, MICCAI 2008« Young Scientist Award » dans la catégorie Segmentation
B. Scherrer, M. Dojat, F. Forbes, C. Garbay, LOCUS: LOcal Cooperative Unified Segmentation of MRI Brain Scans, MICCAI 2007, Brisbane, Springer-Verlag Berlin, 2007, 219-227
B. Scherrer, M. Dojat, F. Forbes, C. Garbay, MRF Agent Based Segmentation: Application to MRI Brain Scans, AIME 2007, Amsterdam, Springer-Verlag Berlin, 2007, 13-23
Y.Kabir, M.Dojat, B.Scherrer, F.Forbes, C.Garbay, Multimodal MRI segmentation of ischemic stroke lesions, in the Proceedings of the 29th Annual International Conference of the IEEE Engineering in Medicine and biology Society (EMBC), Lyon, 2007
B. Scherrer, M. Dojat, F. Forbes, C. Garbay, Une Approche SMA pour la Segmentation Markovienne des Tissus et Structures Présents dans les IRM Cérébrales, JETIM, Alger, Novembre 2006
B. Scherrer, M. Dojat, F. Forbes, C. Garbay, Segmentation Markovienne Distribuée et Coopérative des Tissus et Structures Présents dans des IRM Cérébrales, RFIA, Tours, 2006
Articles de conférence avec comité de lecture
/51
Publications scientifiques
47B. Scherrer, 12/12/2008
B. Scherrer, M. Dojat, F. Forbes, C. Garbay, Agentification of Markov Model Based Segmentation: Application to MRI Brain Scans, Artificial Intelligence in Medicine (AIM)
Article pour IEEE Transactions on Medical Imaging en période de revue Article sur les travaux plus récent (modèle couplé dans le cadre bayésien) à soumettre
Workshop GDR STIC-Santé, Intégration d’informations anatomiques a priori dans un cadre Markovien : Application aux IRM cérébrales, Paris, Mai 2007,
Articles de journaux
Autres
B. Scherrer, M. Dojat, F. Forbes, C. Garbay, Distributed and Cooperative Markovian Segmentation of Tissues and Structures in MRI Brain Scans, Human Brain Mapping, Florence, 2006
Résumés
/51
Conclusion
48B. Scherrer, 12/12/2008
Pose les bases de l’approche locale distribuée et coopérative Localité et régularisation Estimation locale : mécanismes de régularisation des modèles locaux
Robuste aux inhomogénéités sans modélisation d’un terme de biais Limite l’introduction d’a priori trop contraignant
Modélisation multi-agents : comportement opportuniste des agents Segmentation markovienne robuste au bruit et temps de calcul faible S’adapte à la complexité locale de l’image
Coopérations tissus – structures et régularisation Coopération des segmentations tissus et structures intuitive
Régularisation des niveaux de connaissance Utilisation des relations spatiales pour décrire les structures
Fonctionne pour neuf structures, mais information trop générale ?
Première approche LOCUS
/51
Seconde approche LOCUSB
Définition d’un cadre statistique unifié élégant Modélisation via une unique distribution jointe Modélisation markovienne et décomposition permettant d’identifier
explicitement les interactions
Véritable couplage segmentation des tissus – segmentation des structures – recalage – correction des modèles d’intensités locaux
Conclusion
49B. Scherrer, 12/12/2008
Soucis de localité Estimation locale des modèles d’intensité Régularisation des modèles locaux via modélisation markovienne Recalage local affine de l’atlas de structures
Estimation guidée par le modèle Cadre bayésien rigoureux Algorithme EM en quatre étapes
/51
Evaluation Tissus : comparables aux meilleurs outils, faibles temps de calcul Structures : segmentation de 17 structures, bonnes performancesApport du couplage segmentation – régularisation – recalage
Conclusion et perspectives
50B. Scherrer, 12/12/2008
Force du cadre unifié mis en place : nombreuses possibilités d’extensions Introduction d’un a priori sur le recalage Prise en compte du volume partiel [Santago et Gage, 1993] Extension à la multi-modalité Partitionnement adapté du volume
Estimation de la taille des sous-volumes cubiques, ou partitionnement non cubique Couplage : ajout de nouvelles variables
Extraction du cerveau, segmentation des lignes de sillons, dépliage du cortex Extension aux données pathologiques
Problème de la représentation spatiale de la classe « lésion » Estimation du nombre de classes dans chaque sous-volume (critère BIC) Estimation couplées « tissus sains » et « lésion »Cadre rigoureux très ouvert pour de futurs travaux
/51
Merci de votre attention,
51B. Scherrer, 12/12/2008
/51
Conclusion Local combined tissue and structure segmentation via a fully bayesian joint model
Several levels of interactions1) Spatial dependencies between labels
robustness to noise
2) Spatial dependencies between local models robustness to nonuniformity without any bias field modeling
3) Relationships (cooperation) between tissues and structures labels A way to take into account nonuniformity due to tissue properties
Time efficientFuture work
Includes combined EM local affine atlas registration Adaptive partitioning of the volumeLocal approach for pathological MRI ?
1 – 2 – 3 – 4 – 5 – 6 – 7 – 8 – 9 – 10 – 1152B. Scherrer, 12/12/2008
/51
Demonstration 1
Bayes
Bayes
2-variables case:
This result can be extend to the n-variables case
53B. Scherrer, 12/12/2008
/51
BrainWeb Gold Standard
54B. Scherrer, 12/12/2008
/51
IBSR V1
55B. Scherrer, 12/12/2008
/51
IBSR V1
56B. Scherrer, 12/12/2008
/51
IBSR V2
57B. Scherrer, 12/12/2008
/51
IBSR V2
58B. Scherrer, 12/12/2008
/51
Recalage local affine
59B. Scherrer, 12/12/2008
(erreur manuscrit eq 5.22 p.86)
/51
BrainWeb Gold Standard
60B. Scherrer, 12/12/2008
/51
Spatial relations
61B. Scherrer, 12/12/2008
/51
Comportements intéressants
62B. Scherrer, 12/12/2008
S’adapte à la complexité locale de l’image
Nombre d’itérations
pour chaque agent
Comportement :
Agent 1 : Bonne représentation des classes n’a pas besoin de corriger son modèle Agent 2 : Peu de voxels une correction de modèle puis convergence rapideAgent 3 : modèle local et modèle moyen en compétition trouve un compromisAgent 4 : Convergence assez rapide mais prise en compte de la modification des voisins
/51
Modeling of structure intensity models & feedback
Modeling of tissue intensity models & feedback
Bayesian joint modeling
1 – 2 – 3 – 4 – 5 – 6 – 7 – 8 – 9 – 10 – 11 - 12
Introduction of a priori knowledge of a statistical atlas
Modeling of structure intensity
models
Relations between the 3 MRFs :
For a voxel of a structure l, favor the tissue composing l
t
sθ MRF on
local parameters
MRF on tissue labels
MRF on structures
labels
63B. Scherrer, 12/12/2008
/51
titre
64B. Scherrer, 12/12/2008
/51
Un maillon crucial dans de nombreuses chaînes d’interprétation
65B. Scherrer, 12/12/2008
La segmentation des IRM : applications Applications cliniques
Calcul du volume des structures suivi de l’évolution de maladie dégénératives (Parkinson, Alzeimer, Huntington, …)
Reconstruction 3D planification d’interventions neurochirurgicales, simulation, aide per-opératoire…
Différenciation des tissus insérer des connaissances spécifiques dans les modèles biomécaniques
Applications en neurosciences Comparaison des segmentations mise en évidence de
différences anatomiques (Voxel Based Morphometry) Reconstruction 3D du cortex support pour la
projection des activations de l’IRM fonctionnelle.
Doit être aussi robuste et fiable que possible
/51
Introduction : la segmentation des IRM
IRM Pondérée T1
Segmentation des tissusDescription de la matière contenue dans les voxels.
matière blanche (MB), matière grise (MG), liquide céphalo-rachidien (LCR)
Segmentation des structuresDescription selon des régions anatomiques connues.
Noyaux caudés, putamen, thalamus, hypocampe, amygdale, …
Segmentation de lésions Description des voxels appartenant à des lésions.
Sclérose en plaque, accident vasculaire cérébral, tumeur, …
La segmentation : différents buts
66B. Scherrer, 12/12/2008
IRM pathologiques :
/51
Segmentation coopérative des tissus et structures
B. Scherrer, 12/12/2008 67
Mécanismes de coopération Modèles d’intensités des structures fournis par les tissus Retour de la segmentation des structures sur les tissus
Segmentation des tissus et des structures sont couplées S’améliorent mutuellement
Mécanismes de coordination Initialisation : système ventriculaire segmentée avec morphologie
mathématiques Mise à jour de la segmentation d’une structure mise à jour des
agents de Convergence d’un agent structure Activation des agents de Convergence d’un agent tissu Activation des agents de
/51
Formulation des interactions
68B. Scherrer, 12/12/2008
Interactions entre étiquettes Terme classique d’interaction spatiale des champ de Markov
Interactions entre modèles d’intensités locaux Interaction markovienne spatiale entre les modèles
d’intensité locaux (seulement sur les moyennes)
Connaissance a priori sur le recalage Amplitudes et orientations «typiques» des déformations Travaux actuels : pas de base d’apprentissage
Interactions intra-champs
/51
Formulation des interactions
69B. Scherrer, 12/12/2008
Interactions tissus – structures
Favorise l’accord entre information tissu et structure
Interactions inter-champs
Interactions de t, s avec les paramètres de recalage Favorise la configuration ou une segmentation structure
est alignée sur son atlas
Autre terme :
/51
Formulation des interactions
70B. Scherrer, 12/12/2008
Interactions via le terme d’attache aux donnéesTraduit l’accord entre les informations tissus et structures Si alors pas d’information structure Si tissu et tissu de la structure en accord Sinon, si désaccord
Equivalent à :
/51
Estimation du modèle
71B. Scherrer, 12/12/2008
Estimation dans le cadre Variational EM
Fournit l’expression des mises à jour des paramètres des Gaussiennes
Fournit l’expression des mises à jour des paramètres de recalage
/51
Estimation du modèle
72B. Scherrer, 12/12/2008
/51B. Scherrer, 12/12/2008
Segmentation des tissus
73
Comportements d’un AML-T et mécanismes de coordinations
Calcul d’un premier modèle d’intensité local
Estimation coopérative des paramètres du
champ de Markov local
Mode sommeilConstruit une connaissance issue
des structures
/51B. Scherrer, 12/12/2008
Segmentation des tissus
74
Mécanismes de coordination au démarrage
Paradigme multi-agents Cadre adapté pour réaliser ces mécanismes de coordination
Ordonnancement non synchrone des agents
/51
Evaluation qualitative de LOCUSB
75B. Scherrer, 12/12/2008
Comparaison LOCUSB-T, LOCUSB-TS, LOCUSB-TSR Evolution de la segmentation des structures :
LOCUSB-TS LOCUSB-TSRLOCUSB-TSR
Segmentation finale de LOCUSB-TS vs LOCUSB-TSR
/51
Modélisation markovienne & décomposition
76B. Scherrer, 12/12/2008
A priori markovien sur les étiquettes tissus
Comment t est distribué selon s et θ
A priori markovien sur les étiquettes structures
Comment s est distribué selon t et θ
A priori markovien sur les paramètres locaux d’intensité
Assure la cohérence spatiale entre modèles voisins
Synthèse de la décomposition
/51
Estimation du modèle
77B. Scherrer, 12/12/2008
Modélisation du problème Fournit les expressions de , et
Estimation dans le cadre Variational EM Fournit l’expression des mises à jour à chaque étape :
Après calcul… décomposition standard d’un champ de Markov dépendant de l’itération précédente
(champ externe + correlation + attache aux données)
Fournit l’expression des mises à jour des paramètres des Gaussiennes
Fournit l’expression des mises à jour des paramètres de recalage