Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet...
-
Upload
amaury-bertrand -
Category
Documents
-
view
109 -
download
0
Transcript of Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet...
![Page 1: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/1.jpg)
Thèse de doctoratPrésentée par Nathalie Girard
5/07/2013 Sous la supervision de :
Karell Bertet Muriel Visani
![Page 2: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/2.jpg)
ContexteLa recherche d’images :
Procédé populaire : Google, Flickr, …Recherche par mots clés, par similarités
La classification d’images :Classement d’images dans des groupes d’images
similaires
2
![Page 3: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/3.jpg)
ContexteComment définir les groupes ?
Par apprentissage d’exemples : Sans classe prédéfinie classification non supervisée Avec classes prédéfinies classification
supervisée
3
Ours
Paysage
La Rochelle
![Page 4: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/4.jpg)
La classification supervisée d’images
4
Image requêteImages
étiquetées
Classe pour l’image requête
Modèle de classificati
on
vR1 … vRz … vRZ ?Extraction de signatures Construction
vR1 … vRz … vRZ k
![Page 5: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/5.jpg)
Notre objectif principal
5
Construire un modèle de classification hybrideentre arbre de classification et treillis de Galois
Arbre de classification Treillis de Galois
Avantages
• Faible espace mémoire• Construction rapide• Traitement de tous types
d’attributs
• Robustesse aux données bruitées Multiplicité des chemins
vers un même concept terminal
Lisibilité (modèles symboliques)
Inconvénients
• Faible robustesse aux données bruitées Unicité du chemin vers une
même feuilles
• Complexité pouvant être exponentielle
• Traitement des attributs quantitatifs
![Page 6: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/6.jpg)
Pour cela …
6
1. Etude des modèles1. L’arbre de classification2. Le treillis de Galois
2. Liens entre ces modèles1. Lien en classification2. Lien d’inclusion3. Treillis dichotomiques & lien de fusion
3. De leurs différences vers le modèle hybride1. Une discrétisation locale pour les treillis de
Galois2. Une simplification structurelle
4. Conclusions et Perspectives
![Page 7: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/7.jpg)
Les arbres de classification - DéfinitionDéfinis à partir d’un ensemble de données :
Pouvant contenir tous types de descripteurs
Construction potentiellement en deux étapes [Kass80] [Breiman84]
[Qinlan93] :1.La division :
De la racine (contenant l’ensemble des objets) jusqu’aux feuilles Requiert deux critères :
Critère de division (supervisé ou non) : choix de l’attribut le plus discriminant
Critère d’arrêt (supervisé ou non) : arrêt de la division pré-élagage
Eventuellement, le post-élagage :1. Suppression de nœuds ou de branches2. Sélection du meilleur sous-arbre
7
![Page 8: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/8.jpg)
Post-élagage
Les arbres de classification - Exemple
8
Division
![Page 9: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/9.jpg)
Les arbres de classification - UtilisationUtilisation en classification supervisée :
Extraction d’un système de règles [Quinlan90] Parcours de la structure [Breiman84][Quinlan93]
9
oR = (C,B,A)Classe
= ?Classe =
k4
![Page 10: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/10.jpg)
Les arbres de classificationChAID [Kass80] CART [Breiman84] C4.5 [Quinlan93]
Division ² Indice de Gini Gain ratio
Arité M-aires Binaire M-aires
ArrêtAbs division pertinente
• #objets/nœud• Abs division
pertinente#objets/nœud
Post-élagage
Pas de post-élagage
Mesure coût-complexitéBase de validation (MCC)
Mesure d’erreur par resubstitution (EBP)
AvantagesGestion de grande BD
Inconvénients
• Arbre profond• Nécessite une base
de validationArbre large
10
![Page 11: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/11.jpg)
Pour cela …
11
1. Etude des modèles1. L’arbre de classification2. Le treillis de Galois
2. Liens entre ces modèles1. Lien en classification2. Lien d’inclusion3. Treillis dichotomiques & lien de fusion
3. De leurs différences vers le modèle hybride1. Une discrétisation locale pour les treillis de
Galois2. Une simplification structurelle
4. Conclusions et Perspectives
![Page 12: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/12.jpg)
Les treillis de Galois - Définition
[Barbut70] [Ganter99] 12
O I1 I2 I3 K
o1 S H Ek1
o2 S H E
o3 S B Pk2
o4 S B P
o5 C B Pk3
o6 C B P
o7 C B Ak4
o8 C H A
![Page 13: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/13.jpg)
Les treillis de Galois - Définition
[Barbut70] [Ganter99] 13
![Page 14: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/14.jpg)
Les treillis de Galois - éléments remarquables
14
T = Top = Max
= Bot = Min
Ensemble des majorants
Ensemble des minorants
Co-atomes = éléments couvrant le top
![Page 15: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/15.jpg)
[Birkhoff67] 15
Irréductible = élément qui est ni borne inférieure ni borne supérieure
Les treillis de Galois - éléments remarquables
![Page 16: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/16.jpg)
Les treillis de Galois - UtilisationSélection de concepts :
GRAND, RULEARNER, … [Oosthuizen88], [Sahami95], [Mephu-Nguifo05],…
Parcours de la structure :NAVIGALA : NAVIgation into GAlois LAttice [Guillas07]
Reconnaissance de symboles Apprentissage :
Extraction de signatures Transformation des attributs quantitatifs : discrétisation
globale Table de données binaires
Classification : Navigation dans le diagramme de Hasse Etiquetage des concepts terminaux Génération à la demande
16
![Page 17: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/17.jpg)
Classe pour l’image requête
0,5
1 15k1
0,5
115 ?
Extraction de signatures Construction
du treillis
Les treillis de Galois - Utilisation
17[Guillas07]
OV.
1
V.
2
V.
3
K
o1 1 415 k
1o2 0 0
18
o3 112
16 k
2o4 3
16
17
o515
16
15 k
3o6 6
20
17
O I.1 I.2 I.3 K
o1[0-4,5]
[0,8][15-18] k
1o2
[0-4,5]
[0,8][15-18]
o3[0-4,5]
]8-20]
[15-18] k
2o4
[0-4,5]
]8-20]
[15-18]
o5]4,5-15]
]8-20]
[15-18] k
3o6
]4,5-15]
]8-20]
[15-18]
Discrétisation
![Page 18: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/18.jpg)
Pour cela …
18
1. Etude des modèles1. L’arbre de classification2. Le treillis de Galois
2. Liens entre ces modèles1. Lien en classification2. Lien d’inclusion3. Treillis dichotomique & lien de fusion
3. De leurs différences vers le modèle hybride1. Une discrétisation locale pour les treillis de
Galois2. Une simplification structurelle
4. Conclusions et Perspectives
![Page 19: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/19.jpg)
Liens en classification
Classification par navigation dans les structures
19
Modèles Parcours Arc = test Classement
Arbre de classification
Racine
feuilleun attribut Classe de la feuille
Treillis de Galois
Min
concept terminal
un ou plusieurs attributs
Classe du concept terminal
![Page 20: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/20.jpg)
Liens en classification
20
La navigation dans le treillis généralise la navigation dans les arbres
![Page 21: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/21.jpg)
Pour cela …
21
1. Etude des modèles1. L’arbre de classification2. Le treillis de Galois
2. Liens entre ces modèles1. Lien en classification2. Lien d’inclusion3. Treillis dichotomiques & lien de fusion
3. De leurs différences vers le modèle hybride1. Une discrétisation locale pour les treillis de
Galois2. Une simplification structurelle
4. Conclusions et Perspectives
![Page 22: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/22.jpg)
Liens structurels
Deux liens structurels forts :
1.Lien d’inclusion => cas général
2.Lien de fusion => cas des treillis dichotomiques
[Guillas08a] [Guillas08b] 22
![Page 23: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/23.jpg)
Lien d’inclusionTout arbre de classification est inclus dans le
treillis de Galois, lorsque ces structures sont construites à partir des mêmes attributs qualitatifs.
23[Guillas08a] [Guillas08b]
![Page 24: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/24.jpg)
Pour cela …
24
1. Etude des modèles1. L’arbre de classification2. Le treillis de Galois
2. Liens entre ces modèles1. Lien en classification2. Lien d’inclusion3. Treillis dichotomiques & lien de fusion
3. De leurs différences vers le modèle hybride1. Une discrétisation locale pour les treillis de
Galois2. Une simplification structurelle
4. Conclusions et Perspectives
![Page 25: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/25.jpg)
Les treillis dichotomiques – Contribution
Lien de fusion => cas des treillis dichotomiques :
Un treillis est dichotomique lorsqu’il est défini pour un contexte où pour tout attribut, il existe un ou des attributs complémentaires pour l’ensemble des objets.
[Bertet09], [Girard11a], [Girard11b], [Girard13] 25
![Page 26: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/26.jpg)
Attribut S C B H E P A
Complémentaire
{C} {S} {H} {B}{P},{A}
{S,H},{A}
{S,H},{P}
[Bertet09], [Girard11a], [Girard11b], [Girard13] 26
Les treillis dichotomiques – Contribution
![Page 27: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/27.jpg)
Les treillis dichotomiques - Contribution
[Bertet09], [Girard11a], [Girard11b], [Girard13] 27
![Page 28: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/28.jpg)
Lien de fusion
[Guillas08a] [Guillas08b] 28
![Page 29: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/29.jpg)
Conclusions liensDeux méthodes de classification proches
En fonctionnement (par navigation)En structure (fusion/inclusion)
29
Description des images => signatures quantitatives
Comment les traiter au mieux ?
Arbre de classification Treillis de Galois
Avantages
• Faible espace mémoire• Construction rapide• Traitement de tous types
d’attributs
• Robustesse aux données bruitées Multiplicité des chemins
vers un même concept terminal
Lisibilité (modèles symboliques)
Inconvénients
• Faible robustesse aux données bruitées Unicité du chemin vers une
même feuilles
• Complexité pouvant être exponentielle
• Traitement des attributs quantitatifs
![Page 30: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/30.jpg)
Pour cela …
30
1. Etude des modèles1. L’arbre de classification2. Le treillis de Galois
2. Liens et différences entre ces modèles1. Lien en classification2. Lien d’inclusion3. Treillis dichotomique & lien de fusion
3. De leurs différences vers le modèle hybride1. Une discrétisation locale pour les treillis de
Galois2. Une simplification structurelle
4. Conclusions et Perspectives
![Page 31: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/31.jpg)
DifférencesLe traitement des données quantitatives :
Cadre supervisé : Transformation la plus efficace : la discrétisation
supervisée Arbre de classification : tous types d’attributs
Discrétisation locale/globale Treillis de Galois : une table binaire
Discrétisation globale des données quantitatives
[Dougherty95], [Quinlan96] 31
O V.1 V.2 V.3 K
o1 1 4 15k1
o2 0 0 18
o3 1 12 16k2
o4 3 16 17
o5 15 16 15k3
o6 6 20 17
o7 18 4 17k4
o8 20 12 18
O I.1 I.2 I.3 K
o1 [0-4,5] [0,8][15-18]
k1
o2 [0-4,5] [0,8][15-18]
o3 [0-4,5]]8-20]
[15-18]
k2
o4 [0-4,5]]8-20]
[15-18]
o5]4,5-16,5]
]8-20]
[15-18]
k3
o6]4,5-16,5]
]8-20]
[15-18]
o7]16,5-
20][0,8]
[15-18]
k4
o8]16,5-
20]]8-20]
[15-18]
![Page 32: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/32.jpg)
Différences Discrétisation globale : en prétraitement
suppression des attributs non discrétisés prise en compte de tous les objets à chaque étape
Discrétisation locale : en cours de construction meilleure prise en compte des interactions entre attributs, meilleure précision du modèle, prise en compte de sous-ensembles d’objets à chaque étape :
Arbres de classification => discrétisation par nœud, indépendante d’une branche à l’autre
32
0
2
4
6
8
10
12
14
16
18
20
0 5 10 15 20
V2
V1
0
2
4
6
8
10
12
14
16
18
20
0 5 10 15 20
V2
V1
[Dougherty95], [Quinlan96]
![Page 33: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/33.jpg)
Discrétisation locale pour les TG - Contribution
[Guillas08b], [Girard13] 33
Peut-on définir une discrétisation locale pour les treillis ?
En identifiant les concepts terminaux :
Propriété 3 :Tout treillis de Galois défini à partir d’une table de données discrétisées, est un treillis
dichotomique.
Utilisation des propriétés des treillis dichotomiquesCo-atomes = concepts terminaux (feuilles)Co-atomes calculables sans générer le TG entier
![Page 34: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/34.jpg)
34
Sélection de I1, discrétisation au
point de coupe 4,5 :I11 = [0-4,5]
I12 = ]4,5-20]
Calcul des co-atomes
Sélection attribut discriminant et point de coupe
Binarisation
Mise à jour
de la table
o1 o2 o3 o4
I11 I2 I3o5 o6 o7
o8
I12 I2 I3
Sélection de I2, discrétisation au point de coupe
8 :I21 = [0-8]
I22 = ]8-20]
Choix parmi 2
o1 o2 I11 I21
I3o5 o6
o8
I12 I22 I3
o3 o4 I11 I22
I3
o7
I12 I21 I3
Sélection de I12, discrétisation au point de coupe
16,5I12 =]4,5-16,5]
I13 = ]16,5-20]
Tous les co-atomes sont purs
Fin de la discrétisation
o5 o6
I12 I22 I3 o8
I13 I22 I3
o7
I13 I21 I3
Discrétisation locale pour les TG - Contribution
[Girard09], [Girard11a], [Girard11b], [Girard13]
![Page 35: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/35.jpg)
Comment choisir le meilleur attribut à chaque étape ?
Adaptation du calcul du meilleur attribut à la structure du TG1.Calcul du meilleur attribut pour chaque co-atome
Ensemble de meilleurs attributs
2.Sélection d’un des meilleurs dans cet ensemble :Calcul local :
Comparaison des gains par co-atomeCalcul linéaire local :
Comparaison selon un gain linéaire
[Girard11a], [Girard11b], [Girard13] 35
Discrétisation locale pour les TG - Contribution
![Page 36: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/36.jpg)
36
Exemple : il faut séparer o1 de o2 et o3 de o4,o5 :
o3 o4o5
I11 I22 I3
o1 o2
I11 I21 I3
Concept 1 Concept 2
[Girard11a], [Girard11b], [Girard13]
Discrétisation locale pour les TG - Contribution
Calcul local : max des gains I21 est choisi pour séparer o1 de o2
=> il faut refaire une étape de discrétisation pour séparer o3 de o4,o5
Calcul linéaire local : somme pondérée des gains maximauxI11 est choisi, o1 est séparé de o2 et o3 est séparé o4,o5 => une unique étape est nécessaire
![Page 37: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/37.jpg)
Discrétisation locale pour les TG - Validation
Validation de l’approche
Expérimentations• Les bases• Le meilleur critère de division• La complexité structurelle• La complexité algorithmique• Les performances en classification
[Girard11a], [Girard11b], [Girard13] 37
![Page 38: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/38.jpg)
38
Expérimentations•Différentes bases de données quantitatives :
• Images : GREC struc., GREC Radon, Image 1• Bases usuelles en classification : Glass, Iris,
Breast Cancer#Objet
s#Attribu
ts#Class
es% BA
%BT
VC
Image 1 2310 19 7 10% 90%
GLASS 214 9 6 90% 10% 10
IRIS 150 4 3 90% 10% 10
Breast Cancer
699 10 2 90% 10% 10
GREC struc.
1900 15 19 10% 90%
GREC Radon
910 50 10 10% 90% 10[Girard11a], [Girard11b], [Girard13]
Discrétisation locale pour les TG - Validation
![Page 39: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/39.jpg)
39
Choix du meilleur critère de division
[Girard11a], [Girard11b], [Girard13]
Discrétisation locale pour les TG - Validation
![Page 40: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/40.jpg)
40
Complexité structurelle
[Girard11a], [Girard11b], [Girard13]
Discrétisation locale pour les TG - Validation
![Page 41: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/41.jpg)
41
Complexité algorithmique
Discrétisation locale pour les TG - Validation
[Girard11a], [Girard11b], [Girard13]
![Page 42: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/42.jpg)
42
Performances en classification
Discrétisation locale pour les TG - Validation
[Girard11a], [Girard11b], [Girard13]
![Page 43: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/43.jpg)
Discrétisation locale pour les TG - Conclusions
Comme pour les arbres de classificationDiscrétisation locale => souvent meilleures
performances en classificationDe plus :
Discrétisation locale => Diminution de la complexité structurelle
Possibilité de génération à la demande du treillis
La structure est toujours plus complexe que l’arbre
43[Girard11a], [Girard11b], [Girard13]
![Page 44: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/44.jpg)
Pour cela …
44
1. Etude des modèles1. L’arbre de classification2. Le treillis de Galois
2. Liens et différences entre ces modèles1. Lien en classification2. Lien d’inclusion3. Treillis dichotomique & lien de fusion
3. De leurs différences vers le modèle hybride1. Une discrétisation locale pour les treillis de
Galois2. Une simplification structurelle
4. Conclusions et Perspectives
![Page 45: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/45.jpg)
Simplification de la structure - ContributionSimplifications existantes – comparatifs
45
Arbre de classification Treillis de Galois
Objectif
1. Le sur-apprentissage2. La complexité structurelle
(exponentielle pires cas)
Mise en œuvre
• Parcours des nœuds/branches
• Evaluation contribution en classification
• Sélection du meilleur sous-arbre
• Calcul d’indices par concepts• Suppression de concepts selon
un seuil
Proposition
Guider le choix d’un seuil optimal pour :1. Améliorer/conserver les performances en classification2. Diminuer la complexité structurelle
![Page 46: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/46.jpg)
Simplification de la structure
46
![Page 47: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/47.jpg)
Simplification de la structureExemple
Calcul à partir du diagramme de HasseEx : Simplification pour un seuil de 0,36 => structure hybride
[Roth06], [Kuznetsov07b], [Roth08] 47
Performances dépendantes du seuil choisi
![Page 48: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/48.jpg)
PropositionComment choisir le seuil ?
Inspiration de l’élagage des arbresGuider le choix du seuil par les performances en
classification
Définition d’un seuil optimal :Parcours des seuils existants
Simplification incrémentaleTest de performance
Taux de reconnaissance en resubstitutionChoix de la structure offrant les meilleurs résultats
Meilleur taux de reconnaissance … Et taille de structure la plus petite
[Roth06], [Kuznetsov07b], [Roth08] 48
Simplification de la structure - Contribution
![Page 49: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/49.jpg)
Simplification de la structure
Nombre de conceptsTaux de
reconnaissance BT (%)
Treillis non
simplifié
Modèle hybride
Différence
Treillis non
simplifié
Modèle hybride
Image 1 649 363 -44% 91,71 90,95Glass 2267 1127 -50% 71,09 71,83IRIS 41 36 -12% 95,33 95,33
Breast Cancer
2961 1939 -35% 94,43 95,01
GREC struc.
3851 1748 -55% 73,68 72,96
GREC Radon
90 68 -25% 90,69 90,7349
Expérimentations
![Page 50: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/50.jpg)
Pour cela …
50
1. Etude des modèles1. L’arbre de classification2. Le treillis de Galois
2. Liens entre ces modèles1. Lien en classification2. Lien d’inclusion3. Treillis dichotomique & lien de fusion
3. De leurs différences vers le modèle hybride1. Une discrétisation locale pour les treillis de
Galois2. Une simplification structurelle
4. Conclusions et Perspectives
![Page 51: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/51.jpg)
Conclusions
51
modèle hybride
![Page 52: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/52.jpg)
Perspectives
52
![Page 53: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/53.jpg)
Développement LogicielUn logiciel disponibleRegroupant
La discrétisation (#critères) Globale Locale Locale linéaire
La simplification Indice de stabilité
La classification Par navigation
53
![Page 54: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/54.jpg)
Bibliographie
54
Arbres de classification
[Kass80], [Breiman84], [Quinlan90], [Quinlan93], [Dougherty95],
[Quinlan96], …
Treillis de Galois
[Birkhoff67], [Barbut70], [Oosthuizen88], [Kuznetsv90],
[Sahami95], [Brin97], [Ganter99], [Kuznetsv03], [Mephu-Nguifo05],
[Kuznetsv07a], [Kuznetsv07b], [Roth06], [Roth08], …
Notre modèle
[Guillas07], [Guillas08a], [Visani11], CLA 2008 : [Guillas08b], SFC09: [Girard09], CLA 2011 : [Girard11a],
ICTAI 2011 : [Girard11b], TS : [Bertet09], IJCSAI : [Girard13]
![Page 55: Thèse de doctorat Présentée par Nathalie Girard 5/07/2013 Sous la supervision de : Karell Bertet Muriel Visani.](https://reader036.fdocument.pub/reader036/viewer/2022062312/551d9d7f497959293b8b7390/html5/thumbnails/55.jpg)
55