GRID-TLSE : un site d'expertise en algèbre linéaire creuse
Transcript of GRID-TLSE : un site d'expertise en algèbre linéaire creuse
![Page 1: GRID-TLSE : un site d'expertise en algèbre linéaire creuse](https://reader035.fdocument.pub/reader035/viewer/2022062600/586e077a1a28ab35738b5dae/html5/thumbnails/1.jpg)
0.5setgray0
0.5setgray1
GRID-TLSE : un site d’expertiseen algèbre linéaire creuse
Marc [email protected]
CERFACS, FERIA-IRIT, LaBRI, LIPProjet GRID-TLSE
ENSEEIHT2, rue Camichel,
31071 TOULOUSE CEDEX FRANCEhttp://www.enseeiht.fr/lima/tlse
GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 1/17
![Page 2: GRID-TLSE : un site d'expertise en algèbre linéaire creuse](https://reader035.fdocument.pub/reader035/viewer/2022062600/586e077a1a28ab35738b5dae/html5/thumbnails/2.jpg)
Plan
� Introduction
� Contenu du site
� Infrastructure pour le Grid Computing
� Points à explorer
� Conclusion
GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 2/17
![Page 3: GRID-TLSE : un site d'expertise en algèbre linéaire creuse](https://reader035.fdocument.pub/reader035/viewer/2022062600/586e077a1a28ab35738b5dae/html5/thumbnails/3.jpg)
Introduction
� Projet sur 3 ans subventionné par l’ACI GRID
� Laboratoires : CERFACS, IRIT, LaBRI,LIP-ENS
� Partenaires industriels : CNES, CEA, EADS,EDF, IFP
� Collaborations internationales : Berkeley, RAL,Parallab, Univ. Florida, Univ. Minneapolis, Univ.Minnesota, Univ. Tennessee, Univ. San Diego,Univ. Indiana, . . .
� Contacts avec des constructeurs : IBM, SGI,Fujitsu, . . .
GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 3/17
![Page 4: GRID-TLSE : un site d'expertise en algèbre linéaire creuse](https://reader035.fdocument.pub/reader035/viewer/2022062600/586e077a1a28ab35738b5dae/html5/thumbnails/4.jpg)
Matrice creuse ?Matrice initiale Matrice factorisée
0 100 200 300 400 500
0
100
200
300
400
500
nz = 51040 100 200 300 400 500
0
100
200
300
400
500
nz = 58202
Matrice dwt_592.rua (N=512, NZ=2007);Calcul de structure de sous-marin
GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 4/17
![Page 5: GRID-TLSE : un site d'expertise en algèbre linéaire creuse](https://reader035.fdocument.pub/reader035/viewer/2022062600/586e077a1a28ab35738b5dae/html5/thumbnails/5.jpg)
Quelques propriétés :
� Tailles moyennes : Matrice 100 MB;Facteurs = 2 GB; Flops = 10 Gflops ;
� Exploitation de la structure creuseRenumérotation Flops
Sans 1073 � �� �Avec 42 � �� �
� Contrôle de la précision numériqueSeuil de pivotage Erreur numérique
�� � �
4 � �� � �
�� � �1 � ��
�� � ��3 � � � �
GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 5/17
![Page 6: GRID-TLSE : un site d'expertise en algèbre linéaire creuse](https://reader035.fdocument.pub/reader035/viewer/2022062600/586e077a1a28ab35738b5dae/html5/thumbnails/6.jpg)
Objectifs du projet
� Conception d’un site d’expertise pour lesmatrices creuses
� Diffusion de notre expertise en algèbre linéairecreuse
� Donner accès aux outils et aux logiciels aussibien développés par nous que par le reste de la«communauté»
� Basé sur l’utilisation d’une grille de calcul
� Aide à la définition et au déploiement deprocédures d’expertises
GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 6/17
![Page 7: GRID-TLSE : un site d'expertise en algèbre linéaire creuse](https://reader035.fdocument.pub/reader035/viewer/2022062600/586e077a1a28ab35738b5dae/html5/thumbnails/7.jpg)
Pourquoi ?Chaque requête d’expertise peut induire un volumeimportant de calculsPar exemple :
� Autant d’exécutions d’un code creux que
� de solveurs différents
� d’instances des solveurs sur des architecturesdifférentes
� de valeurs possibles pour les paramètres decontrôle ...
� Plus généralement autant d’exécutions que devaleurs appropriées des paramètres d’entrée(logiciels, matériels et algorithmiques)
GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 7/17
![Page 8: GRID-TLSE : un site d'expertise en algèbre linéaire creuse](https://reader035.fdocument.pub/reader035/viewer/2022062600/586e077a1a28ab35738b5dae/html5/thumbnails/8.jpg)
Est-ce réaliste ?
Relative indépendance entre requêtes d’expertisesRésultat d’observation : donnée synthétiqueSpécification «naturelle» de la persistance desdonnées:
Au sein d’une requête d’expertiseEntre deux requêtes consécutives
Temps de réponse pas critique car expertiseMaîtrise du domaine algorithmique et logiciel(algèbre linéaire creuse)«Mise à disposition» de logiciels commerciaux
GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 8/17
![Page 9: GRID-TLSE : un site d'expertise en algèbre linéaire creuse](https://reader035.fdocument.pub/reader035/viewer/2022062600/586e077a1a28ab35738b5dae/html5/thumbnails/9.jpg)
Est-ce réaliste ?
� Relative indépendance entre requêtes d’expertises
� Résultat d’observation : donnée synthétique
� Spécification «naturelle» de la persistance desdonnées:
� Au sein d’une requête d’expertise
� Entre deux requêtes consécutives
� Temps de réponse pas critique car expertise
� Maîtrise du domaine algorithmique et logiciel(algèbre linéaire creuse)
� «Mise à disposition» de logiciels commerciaux
GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 8/17
![Page 10: GRID-TLSE : un site d'expertise en algèbre linéaire creuse](https://reader035.fdocument.pub/reader035/viewer/2022062600/586e077a1a28ab35738b5dae/html5/thumbnails/10.jpg)
Contenu du site d’expertise
� Logiciels matrices creuses : méthodes directes
� MUMPS (CERFACS, IRIT, LIP-ENS)
� PaStiX, SCOTCH (LaBRI)
� Librairie HSL (RAL) dont MA41, MA49, . . .
� SuperLU (Berkeley)
� Autres (commerciaux,? . . . )
� Base de données :bibliographiques, résultats d’expertise.
� Collections de matrices creuses (RAL-BOEING,PARASOL, en provenance des utilisateurs)
GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 9/17
![Page 11: GRID-TLSE : un site d'expertise en algèbre linéaire creuse](https://reader035.fdocument.pub/reader035/viewer/2022062600/586e077a1a28ab35738b5dae/html5/thumbnails/11.jpg)
Composants logiciels
Matlab / SciLAB
Weaver Collect.Matrices
( RAL−BOEING / Parasol )
Expert Site :Grid−TLSE
Database
Logfiles
Static Dynamic
Solvers
Bibliography
External User
Internal UserExpert
Grid
History
MIDDLEWARE :FAST + DIET
Stats
User−supplied matrices
WebSolve
/ ...
GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 10/17
![Page 12: GRID-TLSE : un site d'expertise en algèbre linéaire creuse](https://reader035.fdocument.pub/reader035/viewer/2022062600/586e077a1a28ab35738b5dae/html5/thumbnails/12.jpg)
Types d’utilisateurs
� Utilisateur expert (concepteur de logiciel etpartenaires du projet) :interagit avec Weaver et Websolve pour ajouter /modifier / tester des services sur la grille et écriredes procédures d’expertise.
� Utilisateur externe («client») :limité à émettre des requêtes d’expertise ou àconsulter la base de données à partir d’unnavigateur.
GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 11/17
![Page 13: GRID-TLSE : un site d'expertise en algèbre linéaire creuse](https://reader035.fdocument.pub/reader035/viewer/2022062600/586e077a1a28ab35738b5dae/html5/thumbnails/13.jpg)
Description des servicesEnrichir une description CCM (Corba ComponentModel) pour décrire :
� des propriétés numériques des données;
� des propriétés algorithmiques des logiciels;
� des propriétés informatiques : architecture,modèle de programmation, volume mémoire . . .
Mots-clés associés à des valeurs:
� obligatoires ou par défaut;
� définis par l’utilisateur;
� résultant du lancement d’un service.
GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 12/17
![Page 14: GRID-TLSE : un site d'expertise en algèbre linéaire creuse](https://reader035.fdocument.pub/reader035/viewer/2022062600/586e077a1a28ab35738b5dae/html5/thumbnails/14.jpg)
Mots-clés numériques
� Type de calcul : ordering, factorisation, solve, . . .
� Algorithme :
, ,
�
, . . .
� Type de matrice (obligatoire) : Real / Complex
� Symétrie (facultatif)
� Forme : carrée, rectangulaire, . . .
� Structure : pleine, % de densité, bande,triangulaire, . . .
� . . .
GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 13/17
![Page 15: GRID-TLSE : un site d'expertise en algèbre linéaire creuse](https://reader035.fdocument.pub/reader035/viewer/2022062600/586e077a1a28ab35738b5dae/html5/thumbnails/15.jpg)
Mots-clés informatiques
� Nom du solveur
� Séquentiel ou parallèle (distribué / partagé)
� Machines : (SUN, IBM SP, HP COMPAQ, SGIORIGIN, Grappes, PC)
� Taille mémoire / nombre de processeurs pourréaliser la requête( estimation ? ... )
� . . .
GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 14/17
![Page 16: GRID-TLSE : un site d'expertise en algèbre linéaire creuse](https://reader035.fdocument.pub/reader035/viewer/2022062600/586e077a1a28ab35738b5dae/html5/thumbnails/16.jpg)
Exemple de requête d’expertiseTemps minimal pour résoudre
��� � �
avec
�
non symétrique
Matlab / SciLAB
Weaver Collect.Matrices
( RAL−BOEING / Parasol )
Expert Site :Grid−TLSE
Database
Logfiles
Static Dynamic
Solvers
Bibliography
External User
Grid
History
MIDDLEWARE :FAST + DIET
Stats
User−supplied matrices
WebSolve
/ ...
Procédure d’expertise
Services disponiblesinterroge Weaver
retournés par Weaver
Générationd’un jeu de tests
Eventuellement itération avecutilisateur
GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 15/17
![Page 17: GRID-TLSE : un site d'expertise en algèbre linéaire creuse](https://reader035.fdocument.pub/reader035/viewer/2022062600/586e077a1a28ab35738b5dae/html5/thumbnails/17.jpg)
Infrastructure pour le Grid
� Utilisation des outils développés dans le cadre duprojet GRID-ASP : FAST, DIET
� Interface de haut niveau pour le déploiement etl’exploitation des services sur une grille : Weaver
� Interface Web pour lancer (interactivement) desrequêtes de calcul : WebSolve
� On ne renvoie aux utilisateurs externes que desstatistiques d’expertise.
GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 16/17
![Page 18: GRID-TLSE : un site d'expertise en algèbre linéaire creuse](https://reader035.fdocument.pub/reader035/viewer/2022062600/586e077a1a28ab35738b5dae/html5/thumbnails/18.jpg)
Principaux développements
� Ecriture des modules Weaver et Websolve
� Ecriture des procédures d’expertise
� Incorporation des logiciels d’algèbre linéairecreuse
� Construction de la base de donnéesbibliographiques et des collections de matricescreuses
� Gestion des données issues de l’expertise( L’exploitation de ces données est hors projet ).
GRID-TLSE : un site d’expertise en algèbre linéaire creuse – p. 17/17