Projet TAGProjet TAG
Géophysique – IPGS (UMR 7516)
Calcul numérique -IRMA (UMR 7501)
Chimie théorique - LCQMM (UMR 7551)
Informatique - LSIIT/ICPS (UMR 7005)
1
IntroductionIntroduction
Objectif : montrer que la transformation de code peut apporter une amélioration des performances sur la grille
Moyens : tester notre théorie sur des applications réelles et sur une grille réelle
Résultats : un outil de transformations et d'exécution
1
Le cadre de l'étudeLe cadre de l'étude
Programmes parallèles MPI
Une grille réelle
Trois applications scientifiques :
Physique des plasmas
Géophysique
Chimie théorique
1
Les effectifsLes effectifs
Ingénieurs (2)
Doctorants (2), stagiaire DEA (1)
ATER (1)
Maîtres de Conférences (3)
Directeur de recherches et professeurs (4)
13 personnes, dont 6 impliquées fortement
1
Organisation du groupeOrganisation du groupe
S.G.(MCF)
B.S. (Ing)
A.G. (Doct)
M.G. (Doct)M.G. (DR)
R.D. (Ing)
C.M. (Prof)
M.R. (DR)F.F. (ATER)
E.S. (Prof)
E.V. (MCF)
D.S. (DEA)
Géophysique
Chimie Physique
Informatique
P.D.(MCF)Réseau
1
Les tâches du projetLes tâches du projet
Équipe informatique
Installation de la grille test
Mesures de performances
Bibliographie
Algorithme d'ordonnancement
Transformation de programmes
Partenaires
Développement des codes scientifiques
Parallélisation
1
Une grille réelleUne grille réelle
Choix logiciel : GlobusANL, NSCA, NASA, Chigago U., HPCL, Illinois U.
Logiciel le plus répandu
Sources disponibles
Choix matériel : Grille test + DataGrid
Ressources de calcul hétérogènes
Liaisons réseaux hétérogènes
1
Notre grille testNotre grille test
Strasbourg-IllkirchPC 933 (1), PC 350 (1), PC 800 (2), PC 1800 (1)
SGI Origin 2k (52)
Strasbourg-EsplanadePC 1000 (2), PC 700 (1)
Sun-Ultra (4)
Montpellier-CINESSGI Origin 3200 (512)
1
Réseau OsirisRéseau Osiris
Réseau métropolitain couvrant la quasi-totalité de la communauté « enseignement-supérieur et recherche » strasbourgeoise15 établissementsEnviron 100 bâtiments, 15 000 machinesInfrastructure en fibre optique privativeExploitation : Centre Réseau Communication (CRC)
1
Infrastructureoptique
• 26 km defourreaux
• 622 Mb/sinter-campus
• 155 Mb/sinter-bâtiments
Projet Osiris 2Projet Osiris 2
● Passage aux très hauts débits– 10 Gb/s inter-campus
– 1 Gb/s inter-bâtiments
● Étape préparatoire : maquette– Objectif : préparer le cahier des charges
– Lien Gb/s entre ICPS et IRMA
1
Résultats attendusRésultats attendus
Quantifier l’effet des très hauts débits sur les performances de calcul
Définir les besoins spécifiques « grille »
Intégrer ces besoins spécifiques dans le cahier des charges Osiris 2
1
Physique des PlasmasPhysique des Plasmas
Modéliser la focalisation d'un faisceau de particules dans un tokamak
Simuler un plasma fusionnel
1
Physique des plasmasPhysique des plasmas
Le plasma ou faisceau représenté par une fonction de distribution f(t,x,v) (x et v en 3D)Utilisation d'une grille de l'espace des phases (6 dimensions) : 646 points de discrétisation
Étude dans le plan transverse 4D : utilise plus de 1284 points
Objectif : décrire avec précision l'évolution du plasma sur des temps longs (plusieurs milliers d'itérations)
Volumétrie :
644 points, 2D : 300 Mo de données, 1h/8 procs
646 points, 3D : 500 Go de données
1
GéophysiqueGéophysique
Modèle de Terre réaliste par tomographie sismique
tracé de 5 millions de rais sismiques dans un maillage de Terre de plusieurs millions de cellules
Les cellules portent plus ou moins d'information selon le nombre de rais les ayant traversées
1
GéophysiqueGéophysique
Les informations du maillage permettent de construire un système d'équations, pour la résolution d'un modèle de vitesse.
L'adaptation du maillage permet de diminuer le nombre d'inconnues du système.
1
Chimie QuantiqueChimie QuantiqueSimulation d'interactions moléculaires
Méthodes : Chimie QuantiqueMonte-CarloMéthodes spécifiques
Propriétés étudiées :Électriques (moments multipolaires, polarisabilité)Interactions intermoléculaires (énergie, surfaces..)
Types d'interactions :Effets de solvantAgrégats, molécules de van der Waals
1
Chimie QuantiqueChimie QuantiqueSimulation d'interactions moléculaires
Applications : AtmosphèreAstrophysiqueRéactivité organométallique
1
Objectifs du projetObjectifs du projet
Théorique Élaborer un modèle de performances adapté
Étudier les transformations des communications
Construire un système d'ordonnancement adapté
PratiqueParalléliser les applications scientifiques
Fournir un outil orienté utilisateur
Exécuter des simulations ambitieuses
1
Que veut l'utilisateur ?Que veut l'utilisateur ?
Pouvoir exécuter une application qu'il ne peut faire tourner sur une de ses machines (RAM, durée)
Ne pas chercher lui-même les ressources à utiliser
Spécifier ses contraintes simplement (ex : « Il me faut au moins 10 Go de RAM »)
Le temps d'exécution ne doit pas devenir « rédhibitoire »
1
Réponses aux besoinsRéponses aux besoins
Un outil de sélection des ressources : l'ordonnanceur
Un outil de transformation du code
utilise l'annuaire de la grille utilise les traces de l'application utilise un modèle de performance sélectionne un ensemble de ressources
adapte de la distribution des données (court terme) transforme les schémas de communications (long terme)
1
Mécanisme d'exécutionMécanisme d'exécutionP.c
MPI_Scatter(...)
P '.c
log_scatter(...)T2
analyse.log
mpirun -np param_size
P '
mpiccT1
P ''.c
MPI_ScatterV(...)
param_scatter
Ordonnanceur Grid_state
mpirun
P ''
mpicc
1
HypothèsesHypothèses
Les débits réseaux et charges CPU sont connus au début de l'exécution (annuaire Globus, NWS)
Les débits réseaux et charges CPU sont constants durant l'exécution (réaliste pour exécution courte, court terme)
L'intervalle de temps entre ordonnancement et exécution doit être réduit pour garder le bénéfice de la distribution.
1
Calendrier prévisionnelCalendrier prévisionnel2001 (Sept-Dec) : installation grille
2002 (Jan-Avr) : rapport
parallélisation/exécution des codes de physique et géophysique
tests d'équilibrage des communications
mesures de performances
2002 (Mai-Juillet) : rapport
intégration DataGrid
algorithme d'ordonnancement
2002 (Sept-Dec) : logiciel d'ordonnancement
2003 (Jan-Mars) : logiciel d'adaptation des communications
1
ConclusionsConclusions
Difficultés techniquesLiées à Globus
Liées à l'orientation utilisateur du projet
Importance du cadre de travailCollaboration avec utilisateurs
Travail sur une grille réelle
Originalité de l'approche transformation de code
Top Related