B. Del-FabbroCFSE05LIFC p.1 Data Tree Manager : Un service de gestion des données persistantes pour...
-
Upload
emilie-nicolas -
Category
Documents
-
view
103 -
download
0
Transcript of B. Del-FabbroCFSE05LIFC p.1 Data Tree Manager : Un service de gestion des données persistantes pour...
B. Del-Fabbro CFSE’05 LIFC p.1
Data Tree Manager : Un service de gestion des données persistantes pour le calcul ASP sur la grille
Bruno DEL-FABBRO
LIFC
Besançon, [email protected]
B. Del-Fabbro CFSE’05 LIFC p.2
Plan
● Introduction: Le modèle GridRPC● Motivation de la gestion des données● Le modèle GridRPC et la gestion des données● L’approche DIET de gestion des données ● Expériences● Conclusion
B. Del-Fabbro CFSE’05 LIFC p.3
Introduction
● Calcul sur la grille = aggrégation de ressources hétérogènes Très grand potentiel Difficile pour les non spécialistes Pas ou peu de standards
● GridRPC: standard pour l’approche de calcul client-serveur (Global Grid Forum)– API basée sur le modèle RPC– Quelques Environnements ASP ; NetSolve, Ninf,
DIET…
B. Del-Fabbro CFSE’05 LIFC p.4
Modèle GridRPC
AGENT(s)
S1 S2
S3 S4
Client
A, B, C
Réponse (C)
S2 !
Requête
Op(C, A, B)
B. Del-Fabbro CFSE’05 LIFC p.5
Gestion des données
Pas de gestion des données dans le modèle GridRPC:
● Un serveur de calcul ne peut pas conserver des données localement et les réutiliser pour d’autres calculs (persistance).
● Un serveur ne peut pas émettre une donnée vers un autre serveur (redistribution).
B. Del-Fabbro CFSE’05 LIFC p.6
Limitation du modèle actuel
AGENT(s)
S1 S2
S3 S4
Client
A, BC
S2 !
C=A*B
C=A*B
S1 !
D=C-1
C
C ???D=C-1
D
B. Del-Fabbro CFSE’05 LIFC p.7
Données dans le GridRPC
Pourquoi:● Grandes à très grandes taille des
données● Eviter les transferts de données
inutiles● Localiser les données
● Mais...pas toujours utile
Client Serveur
Stockage de données
B. Del-Fabbro CFSE’05 LIFC p.8
Extension du modèle GridRPC à la gestion des données
● Accès aux données● Localisation des
données:– Données Externes – Données Internes
● !! Ne pas modifier l’API standard
Client Service
Registre
handleenregistrement
résultats
call
lookup
Stockage des données
API de gestion des données
B. Del-Fabbro CFSE’05 LIFC p.9
Gestion des données dans les plateformes GridRPC (existant)
Client ServeurClient Serveur
call
API GridRPC standard Données externes
Client Serveurresultats
call
Résultats intermédiaires
call
B=F(A)C=G(B)
A B
Client Serveur
Données externes résultats
call
B. Del-Fabbro CFSE’05 LIFC p.10
Extension à la gestion des données
Client ServeurClient Serveur
call
API GridRPC standard Utilisation de données externes
Client Serveurretour
call
persistance des données
call
B=F(A)C=G(B)
A B
Client Serveur
Transfert vers des serveurs externes
call
B. Del-Fabbro CFSE’05 LIFC p.11
Distributed Interactive Engineering Toolbox● Structure hiérarchique facilitant la mise à l’échelle● Informations distribuées le long des la hiérachie d’agents● Courtage / Ordonnancement● Persistance des données / Redistribution
MAMA
MAMA
MA
LA
LALA
LA
Direct connection
Computational server (SeD)Master Agent
Local Agent
C, Fortran, Java
B. Del-Fabbro CFSE’05 LIFC p.12
DIET Data Tree Manager
DTM
DIET
Agent
SeDDataMover
DataManager
LocManager
Motivations générales :Persistance et redistribution des donnéesAPI client simple : pas de modification de l’API standardDonnées accessibles dans d’autres sessions par d’autres clients Transparence d’accès aux données (identification)
FAST :PerformanceForecasting tool
B. Del-Fabbro CFSE’05 LIFC p.13
Avantages
API simple à utiliser
Placement et mouvement des données transparents au client.
Données proches des serveurs de calcul
Inconvénients actuels
Pas de réelle politique de stockage
DIET Data Tree Manager
B. Del-Fabbro CFSE’05 LIFC p.14
Platforme de tests
•Machines Linux 0.8 up to 1.5 Ghz
•LAN : 100 Mbytes
•WAN : 16 Mbytes
•Tests réalisés en conditions réelles
•Séquence d’appel : opérations sur des matricesC = A*BD = C+EA = tA
B. Del-Fabbro CFSE’05 LIFC p.15
Résultats Experimentaux
DIET tests
0
200
400
600
800
1000
1200
1400
1600
1800
0.8 1.6 4 6 8 16 24 32 64 128Matrix size (Mbytes)
Co
mp
uta
tio
n t
ime
without persistence
with DTM : local data
with DTM : remote Data
B. Del-Fabbro CFSE’05 LIFC p.16
Quelques exemples d’applications cibles● Modélisation Numérique de Terrain:
– Calcul du modèle numérique de terrain– + rendu 3D ou + positionnement d’antennes
● Simulation de physique moléculaire:– Simulation Monte Carlo de la cinétique de déposition
d’atomes sur substrat– Visualisation Povray
● Dividing cube:– Extraction d’ISO surfaces– Reconstruction d’images– Visualisation
B. Del-Fabbro CFSE’05 LIFC p.17
Client
Div Cube ?
MA
LA
SeD1 DM1
LM1
LM0
ID1, file, /../../file1.vox, …, ..
SeD1!
Ajout fichier vox
id1,
jpeg
_file Id1, DM1
Id1, LM1
Exemple d’utilisation : Dividing Cube
Algorithme d’extraction d’iso surfaces
Vox_file
Calcul
B. Del-Fabbro CFSE’05 LIFC p.18
Use Case : Dividing Cube
Client
Div Cube ?
MA
LA
SeD1 DM1
LM1
LM0
ID1, file, /../../file1.vox, …, ..
Id1, DM1
Id1, LM1SeD1!
Solve(id1,..)
getData(id1)
Calcul
Jpeg file
Donnée déjà présente
B. Del-Fabbro CFSE’05 LIFC p.19
Exemple d’utilisation : Dividing Cube
Temps d'exécution avec ou sans DTM
0
200
400
600
800
1000
1200
1400
1600
0,031 0,25 1 2 4 16 32 64 128 256 512File size (MBytes)
com
puta
tiona
l tim
e
without DTM
with DTM
server time 52%
B. Del-Fabbro CFSE’05 LIFC p.20
Conclusion et Perspectives
Conclusion Intérêt de l’approche : gain en temps de calcul total, transparence
Proposition de normalisation en cours de discussion dans la cadre du GridRPC Working Group au GGF pour la gestion des données.
Perspectives
Politique de conservation de la donnée :Combien de temps ? Valeur de TTL, algorithme type LRU
Hétérogénéité : récupérer ou fournir des données externes à la plateforme.
Service de Réplication : API pour la réplication : fournie à l’ordonnanceur Evaluation de performances = FAST (meilleurs candidats pour les transferts) Cohérence des données ? Intérêt ?
B. Del-Fabbro CFSE’05 LIFC p.21
Bruno DEL-FABBRO
LIFC
Besançon, [email protected]
Data Tree Manager : Un service de gestion des données persistantes pour le calcul ASP sur la grille