Le traitement d’images médicales
description
Transcript of Le traitement d’images médicales
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Le traitementLe traitementd’images médicalesd’images médicales
Caroline PetitjeanUniversité de Rouen [email protected]
Techniques biomédicales
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Prétraitement
Résultat : visualisation améliorée
Traitement
Résultat : mesure de la surface de la tumeur
Reconnaissance des formes
Résultat : identification des cellules malades et saines
saine
malade
Traitement d’imagesTraitement d’images
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Objectifs en TIMObjectifs en TIM Amélioration d’image
SegmentationSegmentation
Recalage & fusionRecalage & fusion
Extraction d’informationdans l’image
Comparer 2 images Reconstruction 3D
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
PlanPlan
Exemples d’applications
Spécificités des méthodes de TIM
Segmentation
Recalage et fusion d’images
En pratique
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Exemples Exemples
Amélioration du contraste de l’image
Imageacquise
Contrasteamélioré
Source : SynarcFond d’œil
Radio
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Exemples Exemples
Quantification de la densité capillaire
Segmentationde la surface
du réseau capillaire
Densité capillaire
Source : [1]
Techniques biomédicalesTechniques biomédicales Caroline PetitjeanCaroline Petitjean
ExemplesExemples
Source : Cours Devaux PCEM
Segmentation de tumeurs
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Exemples Exemples Estimation de la contractilité des ventricules
cardiaques en IRM
Estimation de mouvement
Quantification
radial
circulaire
Source : Thèse CP
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
• Utilisation de l’imagerie fonctionnelle TEP pour le contourage en radiothérapie
Meilleure
détection/discrimination des tissus tumoraux
Modification de la forme/volume du volume tumoral comparé aux images scanner seules.
Scanner seul
Scanner + TEP
ExemplesExemples
Source : S. Hapdey, CHB, Rouen
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
ExemplesExemples
Comparaison d’images avant/après
Source : Université Louis Pasteur, Strasbourg
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
ExemplesExemples
Comparaison d’images complémentaires
IRM Scanner Source : EPFL
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
ExemplesExemples
Comparaison d’images complémentaires
Scanner TEP Source : EPFL
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
ExemplesExemples
Atlas d’organes
Source : INRIA
http://www.imaios.com/fr/e-Anatomy/Genou-IRM
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Pourquoi faire un traitementPourquoi faire un traitementpar ordinateur ?par ordinateur ?
Les logiciels d’aide au diagnostic permettent de :
- diminuer la variabilité intra- et inter-expert
- réduire le temps passé à des tâches fastidieuses
- estimer de nouveaux paramètres
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
PlanPlan
Exemples d’applications
Spécificités des méthodes de TIM
Segmentation
Recalage et fusion d’images
En pratique
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Spécificités des méthodes de TIMSpécificités des méthodes de TIM
Prise en compte des caractéristiques des images médicales
Robuste
Rapide (pratique clinique)
(Semi-)Automatique
Validée
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Effet de volume partiel dans les modalités tomographiques
• Chaque coupe a une épaisseur non nulle
Source : [2]
Spécificités des méthodes de TIMSpécificités des méthodes de TIM
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Rappel : différents types de bruits en vision par ordinateur :
Spécificités des méthodes de TIMSpécificités des méthodes de TIM
Original Salt and pepper(noir et blanc,aléatoire)
Gaussien(additif)
Speckle(multiplicatif)
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Images échographiques (US) : bruit “speckle” (multiplicatif)
Spécificités des méthodes de TIMSpécificités des méthodes de TIM
Images IRM : bruit gaussien
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
En IRM : intensité non uniforme (INU)
Source : [2] B. Dawant and A. Zijdenbos. Chapter 2: Image Segmentation. Handbook of Medical Imaging. Volume 2: Medical Image Processing and Analysis, SPIE Press: p.71-127, 2000.
Spécificités des méthodes de TIMSpécificités des méthodes de TIM
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Correction de INU en IRMCorrection de INU en IRMS
ourc
e : [
2]
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Images scanner (CT) : unités Hounsfield
Spécificités des méthodes de TIMSpécificités des méthodes de TIM
http://ww
w.m
ed.univ-angers.fr/discipline/radiologie/PD
Fs/D
C1_IP
DM
/Dias_IP
DM
_TD
M.pdf
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
PlanPlan
Exemples d’applications
Spécificités des méthodes de TIM
Segmentation
Recalage et fusion d’images
En pratique
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Segmentation : objectifsSegmentation : objectifs
Extraction de points,lignes ou régions
Calcul de paramètresrégionaux (surfaces...)
Peut être effectuéeavant ou après recalage
Source : [1]
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
SegmentationSegmentationSegmentation
Recherche de régions(approches « régions »)
Recherche de frontières (approches « contours »)
Source : LIRMM
seuillage, region growing…filtrage linéaire, graph, contours actifs…
+ Segmentation par techniques de classification (clustering)
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Segmentation : approches régions
But : Segmenter l’image en se basant sur des propriétés intrinsèques des régions
• Seuillage• Croissance de régions
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
SeuillageSeuillage
Très simple au niveau algorithme très utilisé en routine clinique
Seuillage global
Histogramme Laplacien
SeuilléeOriginaleSource : [3] J. Rogowska. Overview and fundamentals of medical image segmentation. Handbook of medical imaging, Academic Press, p. 69 – 85, 2000.
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
SeuillageSeuillage
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Approches régionsApproches régions
Croissance de régions (Region growing) choix d'un germe propagation selon un certain critère
Accumulation des voisinsvérifiant la propriété
Source : LIRMM
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Approches régions : applicationApproches régions : application
Segmentation de la graisse sous-cutanée et viscérale sur des images scanner acquises chez des patients atteints du VIH
Source : [1]
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Approches régions : applicationApproches régions : application
Segmentation par croissance de région selon un critère de seuillage
Choix du seuil : Codage sur 12 bits 4096 valeurs Image CT en unités Hounsfield : [-1024 ; 3071]
• Air : -1024 HU• Eau : 0 HU• Graisse : -120 à –60 HU• Os : 1000 HU
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Approches régions : applicationApproches régions : application
Segmentation par croissance de région selon un critère de seuillage
A partir du germe :
pixel régionsi son intensité
[-120,-60]
Source : [1]
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Segmentation : approches Segmentation : approches ""contourscontours""
Approche par filtrage linéaireTechnique de graph searchingContours actifs & modèles déformables
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Approches contoursApproches contours
Utilisation du gradient de l’image
Exemple : angiographie
MasqueSobel 3x3
SeuillageSeuil haut
(1000)
SeuillageSeuil bas
(600)
Imageoriginale
Source : [3]
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Approches contoursApproches contours
Laplacien de l’image
Zerocrossings
Laplaciende l’image
Source : [3]
Nécessité de post-traitement très important !
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
• Le laplacien est sensible au bruit
Approches contoursApproches contours
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Approches contoursApproches contours
Laplacian of Gaussian (LoG)
Laplacien+gaussien
Zerocrossings
Laplaciende l’image
Zerocrossings
Source : [3]
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Approches contours
• Laplacien surtout utilisé pour rehausser les contours
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Approches contours
• Autre possibilité pour rehausser les contours
(a) Profil idéal(b) Profil observé (flou)(c) Filtré par une gaussienne (encore plus flou)(d) Mise en évidence des contours
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Approches contours
• Différences de gaussiennes (DoG)
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Approches contoursApproches contours
• Utilisation de masques gradient ou laplacien– Sensibles au bruit– Nécessité de post-traitement
+ Calcul rapide
Techniques biomédicalesTechniques biomédicales Caroline PetitjeanCaroline Petitjean
Approches contoursApproches contours
Technique de “Graph searching”
A utiliser lorsqu’on a de la connaissance a priori sur le contour.
Ex : Point de début, de fin, connusEx : Propriétés relatives à la forme du contours
Contour lisse(smooth)
Courbure faible
Courbure élevéeContour non lisse
Caroline Petitjean
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Approches contours Approches contours A partir de l’image, on fabrique une matrice de coût, pour passer d’un pixel à l’autre
Si zone uniforme : coût élevéSi zone de contour : coût faible
Le coût dépend du gradient de l’imageet de connaissance a priori sur le contour
Un graph : ensemble de pointsensemble de liens
Segmenter l’image consiste à trouver le chemin de coût minimal dans le graphe
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Approches contoursApproches contours
Exemple
Graph searching : Problème très généralSource : Gonzalez & Wood
NdG C(pq)=M-[I(p)-I(q)]
Techniques biomédicalesTechniques biomédicales Caroline PetitjeanCaroline Petitjean
Approches contoursApproches contours
Source : Lalande et al. 1999
IRM cardiaque Transformation en coordonnées polaires
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Approches contoursApproches contours
Source : Lalande et al. 1999
Image originale (coord.polaires) Matrice de coût Segmentation finale
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Approches contoursApproches contours
Source : Lalande et al. 1999
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
P1 P2
P3
P4
P5
P6
P7
P8P9
P10
P11
externeinternesnake EEE
• Propriétés intrinsèques• Longueur, courbure…
• Propriétés locales de l’image autour du snake
Contours actifsDéfinition d’un snake
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Exemple IRM cardiaque
Source : A. Yezzi, Georgia Tech Univ.
• Initialisation :• courbe assez proche du
contour extraire
Optimisation itérative : déformations du contour actif de
façon ce qu’il atteigne une position d’énergie minimum.
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Exemple snake 3D
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Energie d’un snake
• Formulation paramétrique du contour
Energie totale(C) = Eint(C) +Eext(C)
• Energie interne : mesure la régularité de la courbe
1
0
22
int ))('')('( dssvsvE
1,0)),(),(()( ssysxsvC
Elasticité Rigidité
n
iiielastic PPE
1
2
1
1
1
2
11 2n
iiiirigidité PPPE
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Energie interne d’un snake
Energie élastique
Energie de courbure
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Energie externe d’un snake
• Energie externe : reliée au contenu de l’image
• Si contour : gradient élevé g ≈ 0• Si zone homogène : gradient faible g élevé
1
0
2 )))((( dssvIgEext Avec g fonction généralement décroissante de gradient de l’image
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Energie externe d’un snake
2
ext IE Contours en tant que maxima de la norme du gradient:
Zones brillantes ou sombres:
2ext
1)(
xxE
Répulsion d’une zone:
IE ext
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Résolution
• Comment trouver C qui minimise E = Eint + Eext ?
• Par l’équation d’Euler Lagrange
0)))((()()('' 2)4( svIgsvsv
dssvsvsfE ))('),(,(
Pour que E atteigne un extremum, il faut que v(s) vérifie
0)'
(
v
f
ds
d
v
f
Soit E la fonctionnelle d’énergie
EextE
dssvIgdssvsvE 1
0
2
int
1
0
22)))((())('')('(
t
tsvsvIgsvsv
),(
)))((()()('' 2)4(
Dans notre cas :
Equation d’évolution du snakeEquation d’évolution du snake
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Conclusions sur les snakes
• Avantage : calculs numériques rapides
• Inconvénients – Segmentation multi-objets impossible– Phase d’initialisation sensible– Approche non intrinsèque
Contours actifs géodésiques
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Résultats de CAG
• Source : Yezzi et al
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Segmentationavec a priori de forme
Quand la forme de l’objet à segmenter est connue et ne varie pas (trop)
ASM
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
ASM appliqué en échocardioContours de 96 points tracés manuellement sur 66 images par des cardiologues
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
ASM appliqué en échocardio
• Variation sur les premiers vecteurs propres
Variation de la largeur Variation du septum
Variation du VG Variation de l’oreillette
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
ASM appliqué en échocardio
• Utilisation à des fins de segmentation
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
ASM appliqué en échocardio
• Utilisation à des fins de segmentation
Initialisation du modèle
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
ASM appliqué en échocardio
• Utilisation à des fins de segmentation
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
ASM appliqué en échocardio
• Utilisation à des fins de segmentation
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
ASM : segmentation IRM
114 points, 8 images
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Active Appearance Model
personalpages.manchester.ac.uk/staff/timothy.f.cootes/
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Segmentation par classificationSegmentation par classification
La segmentation peut être vue comme un problème de classification :
Les régions sont étiquettéesComment trouver l’étiquette d’un pixel ?
Différentes techniques :Sans apprentissage : k-meansAvec apprentissage : kppv, réseau de neurones…
Application : segmentation multimodale
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Clustering (k-moyennes)
• K = nombre de régions (cluster) à trouver– Ici K = 2 (Fond + chromosomes)
1) On clique dans l’image pour avoir un représentant de chaque région (=centre de cluster = CC)
2) Pour chaque pixel de l’image,calcul de sa distance à chaque CC : |NdG - Pi|on lui attribue la région de distance minimum
Pf = 32, Pc = 217
3) Pour chaque cluster, on calcule le NdG moyen = nouveaux CC. Sont-ils différents des anciens CC ?
Si oui, retour à 2)Si non, stop
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
• Exemple :
segmentation de la tumeur
IRM cérébrale à 2 instants différents
(recalage préalable supposé)
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Clustering• Segmentation en 3 classes
• Résultat après convergence
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Segmentation multimodaleSegmentation multimodale
Principe : utilisation de plusieurs images de la même scène physique pour la segmentation
Hypothèse de recalage préalable
Spatiale (classification) : utilisation d’images de différentes modalités à même instant
Temporelle : utilisation d’images de la même modalité à des instants différents
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Segmentation multimodaleSegmentation multimodale
T1
T2
PD
Axial Sagittal CoronalTechniques de
classification
Chaque pixelpossède 3 valeurs
(T1, T2, PD)
Source : [2]
IRM cérébrale
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Segmentation multimodaleSegmentation multimodale
Distribution des pixels en T1 et T2
Source : [2]
Techniques biomédicalesTechniques biomédicales Caroline Petitjean
Segmentation multimodaleSegmentation multimodale
Classification en 4 classes • fond (noir),• matière blanche (blanc),• matière grise (gris clair),• liquide céphalo-rachidien (gris foncé) Source : [2]