Novi HPC resurs - superračunalo Bura · Novi HPC resurs - superračunalo Bura 1. 2 Opća...
Transcript of Novi HPC resurs - superračunalo Bura · Novi HPC resurs - superračunalo Bura 1. 2 Opća...
dr. sc. Draško Tomić
Novi HPC resurs - superračunalo Bura
1
2
Opća arhitektura
3
SMP1: 16x CPU (16c 2.5GHz) , 6 TB RAM,8x 600GB SAS HDD ,120 x 2TB SAS 7.200rpm, vatrozid, 28-portni mrežnipreklopnik za spajanje sustava u DCmrežu
SMP2: 16x CPU (16c 2.5GHz),6 TB RAM ,8x 600GB SAS HDD ,120 x 2TB SAS 7.200rpm
HPC1 = HPC3: 4 blade kućišta, 36bladeposlužitelja, 72 čvora, svaki sa 2 CPU (12c2.6GHz), 64GB RAM ,320GB HDD, IB FDR
HPC2: 4 blade kućišta , 36 bladeposlužitelja, 72 čvora, svaki sa 2 procesora (12c 2.6GHz ), 64GB memorije, 320GB
HDD, IB FDR, radna stanica za potrebe
sigurnog udaljenog nadzora DC
HPC4: 4 blade kućišta , 36 bladeposlužitelja,, 72 čvora, svaki sa 2 procesora (12c 2.6GHz), 64GB memorije,
320GB HDD, IB FDR 1 x bladekućište , 4 blade poslužitelja , svaki sa 2 x nVidia K40, 2 procesora (8c
2.6Ghz), 64GB memorije, 320GB HDD
4
SERVICE 1: 9 x 36p unmanaged IB + 2 x
36p managed IB preklopnika
1 x 1U KVM konzola
2 poslužitelja za HSM čvor
•Diskovni sustav za HSM cache sa 40 x
NL_SAS 2TB HDD
SERVICE 2: 2 x 48p
Gigabit Ethernet
preklopnik za servisnu
mrežu sa 2 login noda,
2 noda za metadata
podatke sa 39x 900GB
SAS 10K HDD, 2 servera
za centralni datotečni
sustav (LUSTRE)
SERVICE 3: 4servera za
centralni atotečni
sustav(LUSTRE), a za
centralni diskovni
sustav (Lustre), ukupno
200 x 2TB SAS 7,2krpm
HDDs
TRAČNA
KNJIŽNICA ZA
HSM, 400 utora,
14 drajvova
5
Infiniband mreža
324 porta na top preklopnicima (2 x SX6036 + 7 x SX6025), od kojih se 288 koristi za HPC računalne čvorove, 9 za GPU ubrzivače a
27 ih je spojeno na low preklopnike ( 2 x SX6025), za povezivanje ostalih komponenti sustava. Mreža je Fat Tree non-blocking
topologije.
6
Upravljačka mreža
Za upravljanje i nadzor HPC sustava koriste se dva preklopnika CISCO 3750X. Prateća oprema u Data centru ( UPS, IPCC, hlađenje, ...) spojena je na treći CISCO
SG300-28 preklopnik. To je napravljeno zbog sigurnosti i veće raspoloživosti sustava.
7
Shematski prikaz sustava
8
Arhitektura HSM rješenja
GRAUDATA XTREEMESTORE – HSM PROGRAMSKA OPREMA:
•'ArchiveManager' (GAM) sa ugrađenim paralelnim paralelnim
•HSM datotečnim sustavom
•Programska oprema za upravljanjem diskovnog sustava
•(HSM; Archive; Backup) za napredne aplikacije (Lustre - BeeGFS i ostale)
• Paralelni dostup preko Meta datotečnog sustava sa 'POSIX' sučeljem
do neograničene veličine diskovnog sustava
•'Grid struktura' za standardnu PC opremu
9
Programska podrška
Softver Opensource / commercial
Supercomputer Suite Extended version Commercial
OS RedHat Compute Node (16S) Commercial
OS RedHat Compute Node (2S) Commercial
OS RedHat Head Node (2S) Commercial
bullx PFS - 1 OSS Commercial
Intel Parallel Studio XE Cluster Edition for Linux (Academic) Commercial
PBSPro (16S) Commercial
PBSPro (2S) Commercial
FlexSim GP Enterprise with Optquest Commercial
Gromacs Opensource
NAMD Opensource
BLAST+ Opensource
Bowtie 2 Opensource
GAMESS Opensource
Burrows-Wheeler Aligner Opensource
CP2K Opensource
Openfoam Opensource
Blender Opensource
10
Performanse sustava
Benchmark Test
High-Performance Linpack za cjelokupni postav 232,47TFlops
Potrošnja sustava kod Rmax 108,5kW
Performansa SMP datotečnog čvora Write: 13,2GB/sRead: 15,9GB/s
SPEC mpi 2007 za grozd računala 92,4
SPEC omp 2012 za SMP debeli čvor 48,1
Performansa centralnog diskovnog sustava (r/w) Write: 31,35 GB/SRead: 37,90 GB/s
Performansa HSM sustava Write: 2,04GB/sRead: 2,20 GB/s
Performanse aplikacija – Gaussian09 5,17h(18.420sec)
Performanse aplikacija – Abaqus 0,94 h(3411 sec)
Performanse aplikacija – OpenFOAM 3,61 min(217s)
Performanse aplikacija – LS-DYNA 23,16 min (1390sec)
Unutarnja propusnost InfiniBand mreže 6.43 GB/s
Učinkovitost računalnog sustava - HP Linpack učinkovitost 80,82%
Učinkovitost računalnog sustava - omjer TF/kW 2.14TF/kW
Količina topline preuzeta s toplom (rashladnom) vodom 98,97%
GAŠENJE I ZAUSTAVLJANJE BURA SUSTAVA
•Zaustavljanje svih servisa na svim serverima ( jobs ) - 20 min
•Gašenje svih tankih čvorova ( compute and login nodes ) - 20 min
•Gašenje SMP debelih čvorova ( SMP nodes ) - 20 min
•Gašenje HSM i Robinhood server – 10 min
•Zaustavljanje Lustre servera – 10 min
•Gašenje upravljačkih servera ( management node ) - 10 min
•Gašenje diskovnih sustava - 5 min
•Gašenje mrežnih LAN i SAN preklopnika - 5 min
•Spuštanje svih osigurača ormara za A i B granu napajanja – 5 min
•Gašenje sustava hlađenja – 5 min
•Gašenje sustava napajanja UPS – 5 min
11
Ukupno procijenjeno vrijeme za spuštanje/podizanje sustava = 80/120 min.
12
13
Područje primjene – performance share top 500
0
1
2
3
4
5
6
7
8
9
24 48 96 192 384 768 1536
stmv
apoa1
NAMD mjerenja na Buri
14
SKALIRANJE
stmv (virus) NAMD benchmark: 10^6 atoma 233 TFLOP superračunalo,
Sveučilište u Rijeci skaliranje do nekoliko tisuća jezgri.
Ovojnica HIV virusa: 5 x 10^7 atoma 1 PFLOP superračunalo, University of
Illinois skaliranje do 500.000 jezgri.
Biofilm: 10^14 atoma ZFLOP superračunalo skaliranje do mnogo miliona
jezgri
15
Docker
Openstack
SLEM
Magični kvadrati
. . . . .
PROJEKTI (SKALIRANJE)
Hvala na pažnji!
17