06 Segmentation

35
 Traitements d'images et  Vision par ordinateur Segmentation  Alain Boucher - IFI [email protected]

Transcript of 06 Segmentation

Page 1: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 1/35

 

Traitements d'images et Vision par ordinateur

Segmentation

 Alain Boucher - IFI

[email protected]

Page 2: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 2/35

 

Segmentation

Page 3: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 3/35

 

 Vision par ordinateur - Alain Boucher 3

Qu'est-ce que la segmentation ?

La segmentation vise à sous-diviser l’image enconstituants distincts – objets

La segmentation est liée à la reconnaissance.

Page 4: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 4/35

 

 Vision par ordinateur - Alain Boucher 4

Qu'est-ce que la segmentation ?

La segmentation est normalement basée sur: les discontinuités

les arrêtes, les changements abruptes, … 

les similitudes (zones homogènes) couleurs, textures, intensités, … 

La segmentation est le découpage d'une image endifférentes régions et/ou contours.

Page 5: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 5/35

 

 Vision par ordinateur - Alain Boucher 5

Segmentation régions/contours

 Approches régions Rechercher les zones dans l’image sur un critère d’homogénéité 

 Approches contours Rechercher les discontinuités entre régions

 Approches duales (régions et contours) seulement dansquelques rares cas

Il existe une dualité entre régions et contours Une région est délimitée par un contour

Un contour sépare deux régions

Page 6: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 6/35

 

 Vision par ordinateur - Alain Boucher 6

Segmentation contours

La segmentation en contours d'une image se faitprincipalement en utilisant les détecteurs parconvolution déjà vus.

Cependant, ces détecteurs ne donne pas des contoursfermés et sont sensibles aux bruits. Une étape de seuillage du gradient, du Laplacien ou autre est

nécessaire.

Ensuite, il faut fermer les contours et conserver les contourssignificatifs.

Page 7: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 7/35 Vision par ordinateur - Alain Boucher 7

Segmentation par seuillage

Le seuillage est une méthode simple et très populairepour la segmentation d'objets dans les imagesnumériques.

Le seuillage peut être de nature Globale : un seuil pour toute l'image

Locale : un seuil pour une portion de l'image

 Adaptative : un seuil qui s'ajuste selon les images/parties del'image.

 

Page 8: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 8/35 Vision par ordinateur - Alain Boucher 8

Segmentation par seuillage

Seuillage de base (2 classes) – principe : Si valeur(pixel) >= seuil alors valeur(pixel) = 1 

Si valeur(pixel) < seuil  alors valeur(pixel) = 0 

Le résultat du seuillage est une image binaire.

Il est aussi possible d'avoir n seuils pour séparer l'image

en n-1 classes.

Problème : choix du seuil !!!

 

Page 9: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 9/35 Vision par ordinateur - Alain Boucher 9

Seuillage d'histogramme

 Avantages Universel, temps réel, simplicité

Fonctionne bien sur des

histogrammes multi-modaux Inconvénients

Connaître le nombre de classes

 Apparition de faux éléments(aucune prise en compte de la

composante spatiale)

Nombre de modes souvent nombrede classes attendu

2 modes pour 3 classes 

 

Page 10: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 10/35 Vision par ordinateur - Alain Boucher 10

Seuillage d'histogramme simple

Seuillage simple

g x ysi f x y T  

si f x y T  ( , )

( , )

( , )

1

0

Source : http://www.gpa.etsmtl.ca/cours/gpa669/ 

 

Page 11: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 11/35 Vision par ordinateur - Alain Boucher 11

Seuillage d'histogramme multiple

Seuillage multiple

g x y

si f x y T  

si T f x y T  

si f x y T  

( , )

( , )

( , )

( , )

2

1

0

2

2 1

 

Page 12: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 12/35 Vision par ordinateur - Alain Boucher 12

Seuillage

Seuillage global de base Comment trouver le seuilT  ?

Une valeur obtenue par tests

La valeur moyenne des tons de gris La valeur médiane entre le ton maximum et le ton minimum

Une valeur qui balance les deux sections de l'histogramme

- seuillage automatique

 

Page 13: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 13/35 Vision par ordinateur - Alain Boucher 13

Exemple de seuillage

Seuillage global de base  Valeur médiane

Environnement contrôlé

 Applications industrielles

 

Page 14: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 14/35 Vision par ordinateur - Alain Boucher 14

Seuillage global automatique

Exemple d'algorithme : Choisir un T  initial (moyenne, médiane …) 

On obtient 2 groupes de pixels

G1 si f(x,y) > T et G2 si f(x,y)   T 

Calculer les moyennes de tons de grispour G1 et G2 -> μ 1 et μ 2 

Calculer une nouvelle valeur de T 

T = 1/2 (μ 1  + μ 2  )   Répéter jusqu'à ce que T soit ~ constant

Il existe plusieurs autres méthodes globales automatiques Otsu, Kittler, K-moyennes, … 

Il faut les tester pour chaque nouvelle application

 

Page 15: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 15/35 Vision par ordinateur - Alain Boucher 15

Seuillage global automatique

Seuil trouvé par l'algorithme T = 125

 

Page 16: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 16/35 Vision par ordinateur - Alain Boucher 16

Seuillage global - problème

Problème d'éclairage ?

 

Page 17: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 17/35 Vision par ordinateur - Alain Boucher 17

Seuillage global - problème

Problème : Le seuillage global ne peut traiter ce cas

Solution : seuillage local adaptatif 

 

Page 18: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 18/35 Vision par ordinateur - Alain Boucher 18

Exemple de seuillage adaptatif 

Nous avons besoin de séparer l'image en sous images,et de traiter chacune avec son propre seuil

Le choix de la dimension des sous-images est critique

 Avant de traiter chaque sous-image, nous vérifions lavariance des tons de gris pour décider s'il existe un

besoin de segmentation Exemple : pas besoin si variance<100

 

Page 19: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 19/35

 Vision par ordinateur - Alain Boucher 19

Exemple de seuillage adaptatif 

Les 4 sous images de coins ne sont pas traitées car variance<100 

 

Page 20: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 20/35

 Vision par ordinateur - Alain Boucher 20

Exemple de seuillage adaptatif Bimodal 

Bimodal ?? 

 

Page 21: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 21/35

 Vision par ordinateur - Alain Boucher 21

Division-Fusion de régions

Initialisation  l'image initiale entière forme un bloc

Etape de division  Diviser récursivement tout bloc non-homogène

selon un prédicat défini (variance, max-min, …) 

La division d'un bloc donne 4 sous-blocs

Les attributs de chaque sous-bloc sont recalculés

Etape de fusion 

Regrouper les blocs adjacents représentant desrégions homogènes selon un prédicat défini

Post-traitement  Lissage pour éliminer la forme carré des régions

 

Page 22: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 22/35

 Vision par ordinateur - Alain Boucher 22

Croissance de régions

L'algorithme débute avec un pixel, et "collectionne" lespixels voisins qui répondent à un critère d'appartenance :  Variance faible

Niveau de gris répondant un un seuil … 

Le(s) pixel(s) initials (ou initiaux) sont appelés "germes"ou "semences".

La région "grandit" à partir de son germe. Une connaissance a priori est utile pour sélectionner les

germes.

 

Page 23: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 23/35

 Vision par ordinateur - Alain Boucher 23

Croissance de régions

 

Page 24: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 24/35

 Vision par ordinateur - Alain Boucher 24

Segmentation par partage des eaux

On considère la visualisation de l'image en 3D, enutilisant le ton de gris comme troisième dimension

Image 2D Visualisation en 3D

Source : http://www.gpa.etsmtl.ca/cours/gpa669/ 

 

Page 25: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 25/35

 Vision par ordinateur - Alain Boucher 25

Segmentation par partage des eaux

Ensuite on "complémente" les valeurs pour créer deszones inondables.

 

Page 26: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 26/35

 Vision par ordinateur - Alain Boucher 26

Segmentation par partage des eaux

Enfin, on "infiltre" les cavités des zones inondables

 

Page 27: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 27/35

 Vision par ordinateur - Alain Boucher 27

Segmentation par partage des eaux

 

Page 28: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 28/35

 Vision par ordinateur - Alain Boucher 28

Segmentation par partage des eaux

 

Page 29: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 29/35

 Vision par ordinateur - Alain Boucher 29

Segmentation – conseils

La segmentation d'une image cause encore aujourd'huibeaucoup de problèmes.  Aucune méthode ne fonctionne pour toutes les images.

Pas de garantie, pas de recette miracle!

Pour certaines applications, on réalise qu'on peut éviter lasegmentation complète de l'image. C'est souvent mieux.

Le pré-traitement des images, la sélection de capteurs etsources d’énergie appropriées, et la prise contrôlée desimages rendent cette étape plus facile et plus efficace.

 

Page 30: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 30/35

 Vision par ordinateur - Alain Boucher 30

Segmentation – conseils

Le problème d'évaluer le résultat d'une segmentationn'est pas évident. Bien souvent, il est subjectif et varied'une personne à l'autre.

Un des principaux problème est de définir le but de lasegmentation : Qu'est-ce qu'on recherche exactement dans l'image ?  Eléments globaux de l'image ou détails fin de la composition ?

Présence d'un humain ou détails du visage ?

Il est bon de se poser aussi la question de ce que l'onveut faire ensuite avec la segmentation. Cela permet dedéfinir le degré de précision nécessaire.

 

Page 31: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 31/35

 Vision par ordinateur - Alain Boucher 31

Segmentation vs groupement

 Aujourd'hui, on délaisse deplus en plus le terme desegmentation , qui sous-

entend une séparation plusexacte de l'image, pour celuide groupement de pixels (grouping) , qui ne fait appelqu'à une notion de similaritéde pixels sans aucunerelation de contenu.

 Extrait de [Malik 2001].

 

Page 32: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 32/35

 Vision par ordinateur - Alain Boucher 32

 Approche Gestalt

Une autre approche de la segmentation/groupements’inspire de la psychologie et de l’observation del'humain et de son environnement

Cette approche est basée sur les travaux de Gestalt surla vision humaine

Importance du contexte dans cette approche.

 

Page 33: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 33/35

 Vision par ordinateur - Alain Boucher 33

 Approche Gestalt

Proximité : objets proches sont regroupés

Similarité : objets semblables sont regroupés

Tendance commune : objets avec un mouvement cohérentsemblable sont regroupés

Région commune : objets à l’intérieur d’une même région sontregroupés

Parallélisme : courbes ou objets parallèles sont regroupés

Fermeture : courbes ou objets qui peuvent former des objets ferméssont regroupés

Symétrie : courbes ou objets qui peuvent former des objetssymétriques sont regroupés

Continuité : courbes ou objets formant une continuité (au sensesthétique) sont regroupés

Configuration familière : courbes ou objets formant des objetsconnus sont regroupés.

 

Page 34: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 34/35

 Vision par ordinateur - Alain Boucher 34

 Approche Gestalt

 

Page 35: 06 Segmentation

5/17/2018 06 Segmentation - slidepdf.com

http://slidepdf.com/reader/full/06-segmentation 35/35

 Approche Gestalt

Questions sur l’approche Gestalt :  Comment intégrer des règles de regroupement dans un

algorithme?

Comment générer des hypothèses?

Malgré quelques essais, cette approche reste surtoutthéorique.