Sigma2 Tromsø og Trondheim - Uninett...Gleder meg til å teste med 100G mellom Trondheim og Tromsø...
Transcript of Sigma2 Tromsø og Trondheim - Uninett...Gleder meg til å teste med 100G mellom Trondheim og Tromsø...
FRAM og NIRD
FRAM er navnet på det nye HPC-anlegget for sektoren.
NIRD er navnet på lagringsinfrastrukturen som består av to lagringsklynger. NIRDtos og NIRDtrd. Hver av dem består av ca 6.2PB lagring.
FRAM skal overta for dagens anlegg
Fram består av 1006 beregningsnoder med tilsammen 32576 kjerner. Totalt 79.7TB minne. Hver node har 100Gbit/s infiniband tilkobling tildelt lagring.
Både minne og CPUer er vannkjølt og overskuddsvarmen er med på åvarme opp bygningsmassen til UiB
19. desember 2013 2
Erfaringer og utfordringer
Ansvarsområde og grensesnittet er delt mellom UNINETT og leverandørene. Kan være problematisk.
Følge grundig med på detaljene i leveransen. Selv om man har spesifisert LR optikk så er det jo billigere å levere SR.
Startet tidlig i planleggingsfasen med å prøve å få oversikt over behov.
• Antall forskjellige nett.
• Størrelsen på nett
• Hvilke nett som skulle snakke med hvilke andre.
• Hvem som hadde behov for å være tilgjengelig på internett
Lærer raskt at veien blir til mens man går. Ingen har den fulle oversikt over hvordan de tenker at ting skal fungere. Viktig å stille spørsmål for å få igang tankeprossen.
Mye utstyr skulle ikke være tilgjengelig fra Internett. Det ble etterhvert behov for nåbarhet utenfra for flere nett. IPv6 ble da løsningen.
19. desember 2013 7
Erfaringer og utfordringer
Vi har hatt flere utfordringer og problemstillinger å jobbe med i dette prosjektet
Feilsøking av leverandøren sitt nettutstyr. MLAG var ikke noe de hadde satt opp for mange ganger før.
Grave seg inn i detaljer på hvordan melanox IB til ethernet bridger fungerer og hvilken ytelse ASICene faktisk har. Møte med leverandør og produsent for å få de rette svar og hvordan de skulle settes opp.
LACP og hashing algoritmer på servere. Brukt mye tid på å få dem til å forstå hvordan det faktisk fungerer. For å få opp ytelsen må man ta ibruk alle 4x10G fra hver server.
Tuning av TCP-buffer på GPFS og NFS for å få opp ytelsen mellom Tromsø og Trondheim.
Iperf3 ytelsesmålinger mellom NIRDtrd og NIRDtos. Gleder meg til å teste med 100G mellom Trondheim og Tromsø
19. desember 2013 8
Teknologi oppsummering
Interface i rutere har laveste hastighet på 10G noe som var en utfordring
for å kunne levere nett til management og Helge sine sensorer.
Rutere og svitsjer har multirate interface som støtter 10G/40G/100G
Benytter mye forskjellig optikkmoduler
• 10G LR
• 40G LR
• 40G SR4 til 10G SR
• 40G LR4 til 10G LR
• 100G LR4
• 40G DAC-kablel
19. desember 2013 9