Localisation des métadonnées
État d’avancement de la première année
Contributions LIP6-INT
Plan
• Choix architecturaux– Le Peer-to-Peer et «LeSelect»– Proposition
• Optimisation du processus de localisation– Connaissance réseau
• Système VENISE
– Connaissance Communautaire• Liens intercommunautaires
Gestion des requêtes
P2P(propagation)
LeSelect (interrogation précise)
N1 N2 N3
N4 N5 N6 N7
N8 N9 N10
N11 N12 N13 N14
N0
N1 N2 N3
N4 N5 N6 N7
N8 N9 N10
N11 N12 N13 N14
N0
médiateur
Communication synchrone
Connaissance de tous les nœuds
Centralisation de l’interrogation
Connaissance des nœuds voisins
Décentralisation de l’interrogation
Communication asynchrone
Propagation requête
Réponse
Les vues de LeSelect
• Objectif:– Ramener le problème de
localisation de MD, à un problème de localisation de vues.
• Problèmes– Administration:
qui va créer les vues ?– Robustesse:
que se passe-t-il en cas de retrait ou de panne d’un nœud ?
N1 N2 N3
N4 N5 N6 N7
N8 N9 N10
N11 N12 N13 N14
N0
médiateur
avec vue
Communication synchrone
Utilisation du médiateur
Locale( accès aux métadonnées)
LeSelect
Sys-Loc
LeSelect
Sys-Loc
LeSelect
Sys-Loc
Q
Q
Q
Q
MD
Classique( accès aux ressources )
LeSelect
LeSelect
Ni
Nk
Résultats de la localisation des MDs
IP de Nk
IP de Nl
Les différents modules• Communication
– Échange de messages XML (Message d’Interrogation (MI) & Message de Résultat (MR))
• Traitement– Interrogation du médiateur (Écriture de requête de médiation)
• Diffusion– Gestion des rebonds (Propagation aux voisins)
• Visualisation– Affichage des MDs récupérées (pour collecte du feedback de l’utilisateur)
Proposition d’architecture
MR : (ID, {MD1, MD2, … })
MR : (ID, {MD1, MD2, … })
MI : ( IPinitial , ID, MD-requête ) envoyé à chaque voisin
Récepteur de messages d’Interrogation
Module de diffusion des requêtes Module de traitement des requêtes
Générateur de requête de médiation
MEDIATEUR
Métadonnées
Générateur de messages de résultats
Tra
nsm
ette
ur d
e m
essa
ges
résu
ltats
Diffuseur de messages d’interrogation
MI : ( IPinitial , ID, MD-requête )
Table de voisinage
IPvoisin_1 …IPvoisin_k
Transmetteur de messages d’Interrogation
Réc
epte
ur d
e m
essa
ges
résu
ltats
Visualiseur
COMMUNICATION
DIFFUSION
VISUALISATION
TRAITEMENT
Plan
• Choix architecturaux– Le Peer-to-Peer et «LeSelect»– Proposition
• Optimisation du processus de localisation– Connaissance réseau
• Système VENISE
– Connaissance Communautaire• Liens intercommunautaires
Optimisation du processus de propagation des requêtes
• Connaissance sur le contenu– Vecteur Thématique
• Connaissance sur les utilisateurs– Communauté
Thème “climatologie” “hydrologie” “océanologie” “océanographie” …
Proportion 0,35 0,25 0,40 0 …
Illustration : http://gaya.lip6.fr:8080/venise
Thème “climatologie” “hydrologie” “océanologie” “océanographie” …
Présence 1 0 1 0 …
Optimisation du processus de propagation des requêtes (2)
• Connaissance sur les requêtes– Catégories de requêtes
• Requête Générale (RG)– interrogation du noyau des MDs
• Requête Spécifique (RS)– interrogation du noyau + attributs métiers des MDs
Noyau Spécialisation métier
Titre Date Climat Unité …
Relevé Pluviométrique 2003 Océanique Cm …
MD
Bilan des connaissances
réseauMD-requête
CommunautéCatégorie
Vecteur Thématique
VENISE
• Organisation thématique du réseau :Influer sur le choix du nœud d’entrée dans le réseau selon le contenu thématique du nouveau nœud
• Entrée Thématique Virtuelle (ETV)Interface avec le réseau pour palier à l’absence de connaissance globale sur le réseau
serVice de sElection d’une eNtrée vIrtuelle pour l’inSertion dans le rEseau
http://gaya.lip6.fr:8080/venise
COMMENT CHOISIR LA MEILLEURE ENTREE VIRTUELLE ?
Réseau
ETV1
ETV2
ETV3
Nœud à insérer
?
Intérêt des Entrées Virtuelles Thématiques
• Objectif :Faire passer par la même Entrée Thématique Virtuelle, tous les nœuds au contenu thématique proche.
Hydrologie, Océanologie
Nœud à insérer
Météorologie
ETV1
ETV2
ETV3
Écologie
Réseau
Gestion des Entrées Thématiques Virtuelles
• Contrainte:– Avoir un vecteur qui agrège l’ensemble des vecteurs
thématiques des nœuds ayant été insérés par l’Entrée Thématique Virtuelle considérée
– Avoir une notion de voisinage, selon des critères sémantiques
• Représentation– A chaque ETV, nous associons un neurone– L ’ensemble des Entrées Thématiques Virtuelles est
donc assimilable à un réseau de neurones
CARTES AUTO-ORGANISATRICES de KOHONEN
Cartes auto-organisatrices de Kohonen
Nœud à insérer
40 20 30 10 0 …
Neurone
Vecteur de référence
Vecteur Thématique
• Objectif :– Trouver le neurone dont le vecteur de référence est le plus proche (au
sens des moindres carrés) du vecteur thématiques du nœud à insérer.
• Principe:– Comparer Vecteur Thématique du nœud à insérer et du Vecteur
de référence de chaque neurone associé à chaque Entrée Thématique Virtuelle
Réseau de neurones
Σ = 100
Cartes auto-organisatrices: Principe
Réseau de neurones
Nœud à insérer
40 20 30 10 0 …
Sélection et Apprentissage
Étape 1 : Sélection
Calcul du neurone qui minimise la valeur des « moindres carrés » entre le vecteur thématique et les vecteurs de référence des neurones
Étape 2 : Mise à jour
Modification du vecteur de référence du neurone gagnant et de son voisinage selon la formule :
Avec :
))()().(()()1( twtxttwtw iiii
)(t))()(( twtx ii
Coefficient d’apprentissage
Distance euclidienne entre le vecteur thématique (x) et les vecteur de références (w)
2 Démos
• Visualisation du réseau de neurones, avec phase d’apprentissage et sélection de l’Entrée Thématique Virtuelle selon le nœud courant.
• Simulation de l’insertion de nœuds, avec sélection de l’entrée thématique virtuelle selon le contenu thématique des noeuds:
http://gaya.lip6.fr:8080/venise
Connaissance communautaire
• A flexible definition of community• Link model to filter neighbors where the
query should be executed (relevant nodes known by the community)
• Link model to filter neighbors having at least a similar community able to collaborate (to recommend relevant nodes)
• A metric to compare communities defined on different nodes
Community
• Definition: local for each node
• Attribution:
oceanography oceanology hydrogeologymeteorologyhydrology
oceanographers
climatologists
paleoclimatologists
Themes known by all the nodes
U
oceanographers
climatologists
hydrologists
paleoclimatologists
Choosing
a community of interest
Communities defined on Nj
oceanographers={oceanography, oceanology, hydrology}
Relevance-based links• Interest:
linking nodes containing relevant resources for a community
• Representation :( IP of relevant node , Community name, aggregated feedback )
Climatologists
HydrologistsPotential relevant
resources for “climatologists” of the node Ni…
(132.227.205.161, “Climatologists” , 0.75 )
…
Nj Nq
Inter-community links
• Interest:linking nodes containing a community with similar fields of interest
• Representation :( Local community name, IP of distant node , Distant community name, freshness of the link )
Climatologists
Hydrologists
…
(“Climatologists” , 132.227.205.249, “Climatology team” , 5 )
…
Nj Nk
Climatology team
Hydrology Team
Inter-community link handling
How to handle the mapping between communities ?
• Metric of comparison– Def-similarity (creation)
• Based on static definition of communities
– Exp-similar (evolution)• Based on dynamic experiences of members
belonging to the same community
Def-similarity: Creating inter-community links
oceanography oceanology hydrogeologymeteorologyhydrology
oceanographers
Climatology TeamOceanology Team
Themes
(global resource shared by all)
“Oceanographers” is def-similar to “Oceanology Team”
Communities
on node Nj
Communities
on node Nk
Exp-similarity : Updating inter-community links
N1 0,95
N2 0,92
N3 0,89
N4 0,75
N5 0,60
N6 0,25
… …
oceanographers
On node Nj On node Nk
Correlation of Pearson : ωOceanology Team
N1 N3 N4 N7 …
0,90 0,92 0,25 0,80 …
N1 N2 N3 N6 …
0,94 0,96 0,85 0,20 …
N3 N5 N6 N9 …
0,15 0,92 0,95 0,80 …
Climatology Team
Paleoclimatology Team
“Oceanographers” is exp-similar to “Climatology Team”
0,75
ω(“Oceanographers”, “Oceanology Team” )
0,90
ω(“Oceanographers”, “climatology Team” )
0,30
ω(“Oceanographers”, “Paleoclimatology Team” )
Query propagation
Relevance-based link
Inter-community link
Node
N1
Ni
1st Step
N2 N3 N4 N5 N6
2nd Step
N7 N8 N9 N10
3rd Step
… … … …
Query Q
N11
Q Q
Q Q Q
UClimatologists
Vers une architecture adaptative…
• Objectif:Exploiter la structure des MDs et la catégorie des requêtes
• Principe:Un nœud peut déléguer le traitement de ses Requêtes Générales à un Super-Peer hybride qui contient la projection sur le noyau des métadonnées.
Optimisation de la répartition de charge
Délégation du traitement des requêtes générales
D
F
H
G
E
Super-Peer
Peer
C
A
B
Nœuds ayant D comme voisinNœuds voisin de D
Propagation des RG
Propagation des RS
Noyau DMD
Bilan et perspectives• Bilan
– Architecture adaptée à la propagation de requête propre aux architectures Peer-to-Peer
– Intégration du médiateur dans cette architecture– Exploitation de la connaissance réseau, par rapprochement logique des nœuds
thématiquement proches– Exploitation de la connaissance communautaire, par le partage de l’expérience
des communautés distantes
• Perspectives– Décentralisation du processus de sélection des Entrées Thématiques Virtuelles– Deuxième catégorie de critère de sélection des voisins (d’ordre géographique)– Cache personnalisé de requête– Répartition de charge: architecture dynamique basée sur des Super-Peers
hybrides
Top Related