03/12/2006 Othmane Bouhali EumedGrid Workshop Grille de calcul et coopération Nord-sud (exemple...
Transcript of 03/12/2006 Othmane Bouhali EumedGrid Workshop Grille de calcul et coopération Nord-sud (exemple...
03/12/2006Othmane Bouhali
EumedGrid Workshop
Grille de calcul et coopération Nord-sud(exemple Belgique-Maroc)
Othmane Bouhali
Université Libre de Bruxelles
03/12/2006Othmane Bouhali
EumedGrid Workshop
Programme
Motivations
Introduction à la grille de calcul
Grille de calcul au Maroc?
Collaboration UAE, ULB et CNRST
Résumé et perspectives
03/12/2006Othmane Bouhali
EumedGrid Workshop
Motivations
Grid computing sur le web
01020304050607080
juin-05 dec-05 dec-06
Date
Nob
re d
e si
tes(
en
mill
ions
)
03/12/2006Othmane Bouhali
EumedGrid Workshop
Motivations
besoins en puissance de calcul et capacité de stockage importants
systèmes de grande ampleur
géographiquement dispersés
utilisation des ressources informatiques:
quelques exemples:
• fournir un accès au maximum d’utilisateurs à ces ressources• exploitation optimale• rationalisation (demande de budgets)
03/12/2006Othmane Bouhali
EumedGrid Workshop
Computing Intensive Science
- Recherche sur les séquences de l’ADN
- Analyse génétique
- Processus souvent parallèles
- Nanotechnologie et sciences des matériaux
- Simulation à l’échelle moléculaire
- grande puissance de calcul
03/12/2006Othmane Bouhali
EumedGrid Workshop
• Transmission: >200 Mbps • Pbytes à sauvegarder/an • plusieurs projets d’études• Multi-Utilisateurs
• Transmission: >200 Mbps • Pbytes à sauvegarder/an • plusieurs projets d’études• Multi-Utilisateurs
Sciences de l’observation de la terre
03/12/2006Othmane Bouhali
EumedGrid Workshop
CERN: European Organisation for Nuclear Research
Where the web was born
• Tunnel d’accélération de 27km de circonférence
• Projet LHC
• 10 Petabytes de données/an
• 20 millions de CDs par an
Concorde(15 Km)
Balloon(30 Km)
CD stack with1 year LHC data!(~ 20 Km)
Mt. Blanc(4.8 Km)
03/12/2006Othmane Bouhali
EumedGrid Workshop
Aucun centre ne disposera de l’infrastructure pour autant de calcul
Nouveau concept de la collaboration
combiner les ressources de calcul et de stockage des centres scientifiques
Grille de calcul planétaire ou Grid computing
03/12/2006Othmane Bouhali
EumedGrid Workshop
Eléments d’une grille de calcul
ressources:
fermes de calcul (cluster) stockage réseaux LAN-WAN
services:
sécurité: authentification autorisation recherche de l’information gestion des jobs gestion de données: transfert, replication communication entre les processus (parallélisme)
Applications
Physique des hautes énergies BioInformatique Sciences de la terre …
Middleware:
GlobusEDGLCG
03/12/2006Othmane Bouhali
EumedGrid Workshop
Avantages de la grille de calcul
- Accès, selon des règles prédéfinies, aux ressources requises
- La faculté de résoudre des problèmes complexes
- Utilisation optimisée des ressources existantes
(exploitation des ressources non ou peu utilisées)
- Travail collaboratif (mise en réseau des ressources informatiques)
- Nouvelles perspectives pour la recherche scientifique
- Initiatives nationales partout
03/12/2006Othmane Bouhali
EumedGrid Workshop
Grille de calcul au Maroc?
Situation de la Recherche Scientifique et nécessité d’une infrastructure de calcul mieux adaptée
Exemple de « petit » pays ayant déjà opté pour la grille
Existence d’un noyau de la diaspora marocaine (projet fincome et transfert de technologie)
03/12/2006Othmane Bouhali
EumedGrid Workshop
Recherche scientifique au Maroc Etablissements
• 15 Universités • plusieurs établissements publics: CNRST, INH, CNESTEN,..
• Secteur privé: REMINEX, ST, Matra,..
03/12/2006Othmane Bouhali
EumedGrid Workshop
Recherche scientifique au Maroc Groupes de recherche
Unités de Formation par la Recherche:
Assurer la formation par la recherche
804 UFRUFR par domaine/an
050
100150200250300350400450500
ST
SHS
03/12/2006Othmane Bouhali
EumedGrid Workshop
Recherche scientifique au Maroc Groupes de recherche
Pôles de compétences:
Réseaux thématiques de recherche
orienter la RS vers des thèmes ayant un impact sur le développement du pays
optimiser les moyens mis à la disposition de la RS
créer une synergie entre les chercheurs au niveau national
• PC Microbiologie du Sol et Biotechnologie de Plantes• PC Pharmaco chimie • PC des Sciences et Technologies de l’Information • Réseau National de Physique Théorique • PC Matière Condensée • PC Electrochimie, Corrosion et Chimie Analaytique • Réseau National des Sciences et techniques de l’Espace • Réseau National d’Etude sur le Local et le Régional• Réseau Marocain des Plantes Aromatiques et Médicinales • PC Neurogénétique• Réseau Universitaire de la Physique des hautes Energies• Réseau National de Physico-Chimie • Réseau National de Mécanique • PC Qualité • Réseau National des Sciences et Techniques de la Mer • PC Eau & Environnement • PC Patrimoine Culturel
03/12/2006Othmane Bouhali
EumedGrid Workshop
Recherche scientifique au Maroc Budget et production
Budget alloué à la RS:
% du PIB par année
00,10,20,30,4
0,50,60,70,80,9
1998 2002 2003 2005
Production Scientifique
Publication par année
0
200
400
600
800
1000
1200
1990 1996 1997 1998 1999 2000 2001
Pascal
SCI
03/12/2006Othmane Bouhali
EumedGrid Workshop
Recherche scientifique au Maroc Groupes de recherche
Programmes visant à consolider la R (CNRST)
Réseau MARWAN (Morocco Wide-Area Network)
Unités d’Appui Technique à la RS (UATRS)
Institut National de l’Information Scientifique et Technologique (IMIST)
Froum International des COmpétences Marocaines à l’Etranger (FINCOME)
Plateforme Nationale de Grille de calcul (MaGrid)
03/12/2006Othmane Bouhali
EumedGrid Workshop
Collaboration UAE(Maroc)-ULB(Belgique)Motivations et plan d’action
acquérir et maîtriser les notions de bases inhérentes aux grilles de calcul ainsi que les outils nécessaires à leur déploiement
campagne de sensibilisation auprès des chercheurs
synergie entre partenaires (nationaux et autres) intéressés
création d’un noyau national « grid computing »:
- développement et maintien des compétences techniques - recherche liée au: grid, calcul distribué, services web,..
2003: brainstorming sur la grille (O. Bouhali-ULB et C. El Amrani-UAE)
03/12/2006Othmane Bouhali
EumedGrid Workshop
Collaboration UAE(Maroc)-ULB(Belgique)Motivations et plan d’action
identifier les applications et utilsateurs: (en commençant par les disciplines susceptibles de s’impliquer rapidement)
plateforme de grille nationale
implication dans les projets internationaux liés au grid.
03/12/2006Othmane Bouhali
EumedGrid Workshop
Collaboration UAE(Maroc)-ULB(Belgique)
activités de l’ULB (notamment de l’IIHE)
UAE
Collaboration UAE-ULB (et CNRST): histoire, résultats et futurs
03/12/2006Othmane Bouhali
EumedGrid Workshop
Collaboration UAE(Maroc)-ULB(Belgique)ULB-IIHE (activités)
• participation aux expériences de physique des hautes énergies:
(AMANDA/ICE3, CHORUS, CMS, H1, OPERA)
• PET (Tomographie à émission de poitrons)
• Computing:
- CMS Tier2 centre (800 CPU et 200 TB )
- EGEE-II: NA2 (promotion de la grille) et SA3 (Test et certification de gLite)
- Grille nationale belge de calcul: BEgrid
03/12/2006Othmane Bouhali
EumedGrid Workshop
Collaboration UAE(Maroc)-ULB(Belgique)ULB-IIHE (activités)
ULB
VUB
UCL
CETIC
FPMS
VLIZ
UGentUA
BELNET
ULG
FUNDP
03/12/2006Othmane Bouhali
EumedGrid Workshop
Collaboration UAE(Maroc)-ULB(Belgique)UAE
TangerTanger
MartilMartil
ChaouenChaouen
OuezzaneOuezzane
LaracheLarache
Ksar El KebirKsar El Kebir
AsilaAsila TétouanTétouan
• 22000 étudiants• 11 établissements (8 facultés)• 2 sites (Tanget-Tétouan)
~50km
• 58 UFR• 48 labratoires• sites connectés via un réseau sans fil
03/12/2006Othmane Bouhali
EumedGrid Workshop
Collaboration UAE-ULB
Installation et administration d’un cluster 2003/2004
techniques liées aux clusters
- bachsystem, ordonnancement - parallélisme (MPI)
- networking
(Projet de fin d’études)
03/12/2006Othmane Bouhali
EumedGrid Workshop
Installation et administration d’un cluster 2003/2004
OS: Scientific Linux 3.0
gestionnaire de taches: Condor (environnement HPC)
Interface graphique: soummission de jobs, gestion du cluster,..
Collaboration UAE-ULB
03/12/2006Othmane Bouhali
EumedGrid Workshop
Autorité de certification(DESA)
acquisition des notions de base liées à la sécurité:
• cryptographie, déchiffrement,..• fonctions de hachage (MD5, SHA)• principe des signatures numériques• protocole en relation (SSL,..)
installer un prototype d’autorité de certifications
générer des certificats (machines et utilisateurs)
Collaboration UAE-ULB
03/12/2006Othmane Bouhali
EumedGrid Workshop
Autorité de certification
installer un prototype d’autorité de certifications
générer des certificats (machines et utilisateurs)
administration du CA
Collaboration UAE-ULB
03/12/2006Othmane Bouhali
EumedGrid Workshop
Prototype d’une grille de clacul de base
expérience acquise sur les clusters
expériences acquise sur les certificats
Installation d’un intergiciel (middeleware) de base
certificats machines et ustilsateurs
exécution des jobs de test
Collaboration UAE-ULB
(DESA)
03/12/2006Othmane Bouhali
EumedGrid Workshop
- Contact avec le CNRST (groupe réseau MARWAN)
- lettre d’intention pour la création d’une plateforme grid
- mailing list: [email protected] (discussion des sujets liés au grid)
- commission nationale: vision stratégique pour la grille nationale: MaGrid
- commencement du projet Eumedgrid: une chance historique
- plateforme CNRST et plateforme UAE déjà en place
Collaboration CNRST-UAE-ULB
03/12/2006Othmane Bouhali
EumedGrid Workshop
• CNRST (Rabat): R. Merrouch, N. Talhaoui,
• UAE (Tanger/Tétouan): C. EL Amrani, A. Bendahmane et A. Younès
• ULB (Bruxelles): O. Bouhali
• plusieurs partenaires nationaux (utilisateurs potentiels) et internationaux
Collaboration CNRST-UAE-ULB
03/12/2006Othmane Bouhali
EumedGrid Workshop
Résumé et perspectives
Collaboration réussie entre CNRST, UAE et ULB
renforcée par la participation au projet EumedGrid
travaux présentés/publiés dans plusieurs manifestations nationales et internationales
1 PFE, 2 DESA + 2 thèses de doctorat en cours
bonne expérience acquise: clustering, grid et CA
noyau national grid computing
03/12/2006Othmane Bouhali
EumedGrid Workshop
Résumé et perspectives
application à tourner sur la grille
physique nucléaire
GEANT4 (applications médicales)
groupe HEP marocain
élargissement vers d’autres universités et centre nationaux
quelques projets déjà soumis avec des partenaires internationaux
s’impliquer d’avantage dans EumedGrid
03/12/2006Othmane Bouhali
EumedGrid Workshop
03/12/2006Othmane Bouhali
EumedGrid Workshop
03/12/2006Othmane Bouhali
EumedGrid Workshop
03/12/2006Othmane Bouhali
EumedGrid Workshop
Tier2 Centre ~200kSI2k
Event Builder
Event Filter~7.5MSI2k
T0 ~5MSI2k
T1 T1 T1T1
Workstations
10 GB/sec
•Some data for calibration and monitoring to institutes
•Calibrations flow back
Each Tier 2 has ~20 physicists working on one or more channels
Each Tier 2 should have the full AOD, TAG & relevant Physics Group summary data
Tier 2 do bulk of simulation
Physics data cache
~Pb/sec
Tier2 Centre ~200kSI2k
~800kSI2k
Tier 0Tier 0
Tier 1Tier 1
PC (2004) = ~1 kSpecInt2k
~800kSI2kTier 2Tier 2 ~200 Tb/year/T2
~2MSI2k/T1 ~2 Pb/year/T1
~5 Pb/year No simulation
Tier-1s reprocess
house simulation
Group Analysis
Physique des hautes énergies