Post on 20-Feb-2020
Einweihung des High Performance Einweihung des High Performance Computing Clustersystems
Prof Joachim SzodruchProf. Joachim SzodruchDLR-Vorstand für Luftfahrt und Energie
Walter HircheWalter HircheNiedersächsischer Minister für Wirtschaft,
Arbeit und Verkehr
Dr Johannes StuhlbergerDr. Johannes StuhlbergerEADS, Vice President
Global Innovation Network
Kl B kKlaus BeckerAerodynamic Strategiesy g
Hochleistungsrechnen für AirbusEin Weg zu besseren Flugzeugen
13 M i 200813-Mai-2008
Herausforderungen des zukünftigen Lufttransports
W h d A f d d L ftt t
U lt f d
Wachsende Anforderungen des LufttransportsDrastisch steigende Passagierzahlen
UmweltanforderungenVerpflichtung zu ökologischer Effizienz
Globale WettbewerbsfähigkeitVerbesserte Produktleistungen
European Aeronautics Vision 202050% weniger CO2-Emissionen,
Verbesserte Business Performance80% weniger NOx
50% weniger Lärmbeeinträchtigung 50% kürzere Produktentwicklungszeit
Führende Technologien am FlugzeugMultidisziplinäre ProduktoptimierungMultidisziplinäre Produktoptimierung
Bahnbrechende Numerische SimulationBahnbrechende Numerische Simulation
Mehr Simulation – Weniger physikalische Tests
Benötigte BenötigteBenötigteHPC-Kapazität
-15%
-36%
?
-15%
-36%
?
BenötigteW/T Test-Tage
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21Y f 2004
2000 2003 2006 2009
Aircraft in development in year
2000 2003 2006 2009
Aircraft in development in year
Arbeits-aufwand Simulations- Integrierte
Year from 2004p yp y
aufwand Simulationsbasiert simulations-
basierte Entwicklung spart Monate
TestTest--basiertbasiert
spart Monate und Jahre
Gesamt-Definition ProduktionDetail-Definition
Nutzung von CFD für die Airbus-Entwicklung
K biAufhängungskorrekturen Leistungs-• Durchgehende Nutzung
FlügeldesignReiseflug
Rumpf-design
Flatter-Vorhersage
Vereisungs-vorhersage
Kabinen-belüftung
CockpitBelüftung
Kabinen-
Flow ControlDevices(VG/Strakes)
vorhersage• Häufige Nutzung• Zunehmende Nutzung
FlügeldesignHochauftrieb
Reiseflug vorhersage
Steuer-flächen
Kabinenlärm
Triebwerks-integration
Gondel-design
Leitwerks-design
design
Belly FairingD i
KlimaanlageEin-/Auslass-
Einlauf-designTanksystem-
designDesign
APU Ein-/Auslass-design
Ein /Auslassdesign
Wing TipDesign
Boden-effekt
Thermal-Analyse für
Triebwerks-belüftungExterne
Düsen-design
StatischeDeformation
AerodynamischeFlugeigenschaften Aerodynamische
Lastdaten
DesignSystemegExterne
Lärm-quellen
Schub-umkehrerDesign
Notwendige Methodik: Multi-Disziplinärer Entwurf
Struktur
Aerodynamik
MassenStruktur
Lasten
FlugleistungenAeroelastik
Flugdynamik SystemeAero Daten
Aerothermik AkustikTriebwerk
Flugdynamik Systeme
Methodik eines integrierten DesignsNichtlinearitäten und starke Interaktionen zwischen den Disziplinen werden berücksichtigtEntwurf der Komponenten wird direkt getrieben durch den Gesamteffekt
Verbessertes Produktverstehen durchMultidisziplinäre Numerische SimulationNeue Methodiken des physikalischen Testens
Erwartungen an die Numerische Simulation
Verfügbare Hardware-Verfügbare Hardware-LESKapazität: Anzahl der Kapazität: Anzahl der Kapazität [Flop/s]Kapazität [Flop/s]
1 Exa (1018)102Unsteady
RANS
Rechenfälle pro NachtRechenfälle pro Nacht
1 Peta (1015)103
104
RANS Low Speed
1 Tera (1012)
104
105
RANS High Speed
“Geschickte” Nutzung von HPCAlgorithmen
1980 1990 2000 2010 2020 2030
1 Giga (109)106
• Algorithmen• Data mining• Wissen
1980 1990 2000 2010 2020 2030
CFD-basierteLasten und
CFD-basierteLasten und
Aero Optimierung& CFD CSM
Aero Optimierung& CFD CSM
Multidiszipl.OptimierungMultidiszipl.Optimierung
CFD-Echtzeit-simulation
CFD-Echtzeit-simulation
CFD-basierteLärm-
CFD-basierteLärm-Reiseflug
DesignAero
Daten HQ-DatenHQ-Daten & CFD-CSM& CFD-CSM OptimierungOptimierung des Flugsdes FlugssimulationsimulationDesign Daten
Welche Ergebnisse erhält man in einer Nacht (8 Stunden)?Welche Ergebnisse erhält man in einer Nacht (8 Stunden)?
Schlagkräftige Forschung und Entwicklung
- Filton/Bristol C2A2S2E - Braunschweig/Bremen
- Umfassende Lösungen für zentrale Anwendungen der Flugzeugentwicklung
- Technologieintegration bis
- Innovatives Gesamtsystem für ProduktdesignNeue simulationsbasierte g g
zur Nutzungsreife- Konzentration weltweiter
Expertise- Hochleistungsrechner
- Neue simulationsbasierte Arbeitsweisen von Ingenieuren
- Anpassung der IT-A hit kt
VereinigtesKönigreich
Deutschland
HochleistungsrechnerArchitektur- Hochleistungsrechner
- Multidisziplinäre Integration- FlowSimulator Software
Integration
Mosart - Toulouse/Paris
- Innovative Architektur fürSpanien
Frankreich
- Design mit Virtual Reality- Field Programmable
P
DOVRES - Getafe/Madrid
- Innovative Architektur für parallele Simulations-anwendungen
- Verbesserung von CFD-Komponenten
Processors- CFD-angepasste
Hardware
p- Breitbandanbindung an
externe Hochleistungsrechner
CAS Ziel: Vollständige Simulation des Fluges
Echtzeitsimulation von Flugmanövern kompletter Flugzeuge Aerodynamik: Instationäre Navier-Stokes-Simulation der StrömungStruktur: Vollständiges Finite-Element-Modell des FlugzeugsFlugsteuerung: Vollständige Simulation des FlugmanöversIntegration: Vollständige Interaktion aller Disziplinen
Mögliche Belastungen des FlugzeugsMögliche Belastungen des FlugzeugsVollständige Analyse des gesamten FlugbereichsBereitstellung aller aerodynamischen Daten für das Gesamtflugzeug und alle KomponentenVorhersage von Sensitivitäten – Gestaltung des Optimumso e sage o Se s t täte Gesta tu g des Opt u s
Vorhersage von Flugleistungen und Flugeigenschaften vor dem ErstflugUntersuchung von Flugmanövern und -szenarienVollständige Kenntnis über das Verhalten des Flugzeugs im Flug
Zertifizierung des Virtuellen Produkts vor ProduktionsbeginnVollständige Kenntnis der gesamten ProdukteigenschaftenGarantie der Vorhersagegenauigkeit
Future Simulation Concept
SSA common idea
providing a new capability to Airbus
New SpeedNew SpeedNew ToolsNew ToolsN W f W kiN W f W kiAirbus
with new quality of toolstowards virtual design and analysis
New Way of WorkingNew Way of Working
analysisup to virtual certification
bbybuilding a network ofexpert centerswith major partners involved thatperform targeted researchserving Airbus needs
Simulation Simulation Capability Capability
Increase by 10Increase by 1066Increase by 10Increase by 1066
© AIRBUS DEUTSCHLAND GMBH. All rights reserved.Confidential and proprietary document.
This document and all information contained herein is the soleproperty of AIRBUS DEUTSCHLAND GMBH. No intellectual
t i ht t d b th d li f thi d tproperty rights are granted by the delivery of this document orthe disclosure of its content. This document shall not bereproduced or disclosed to a third party without the expresswritten consent of AIRBUS DEUTSCHLAND GMBH. Thisdocument and its content shall not be used for any purposeother than that for which it is supplied.
The statements made herein do not constitute an offer. Theyare based on the mentioned assumptions and are expressedin good faith. Where the supporting grounds for thesestatements are not shown, AIRBUS DEUTSCHLAND GMBHwill be pleased to explain the basis thereof.
AIRBUS, its logo, A300, A310, A318, A319, A320, A321,AIRBUS, its logo, A300, A310, A318, A319, A320, A321,A330, A340, A350, A380, A400M are registered trademarks.
Compute-Power für C²A²S²E. Herausforderungen und Lösung
Alfred Geiger Rolf Page Christian SchweitzerAlfred Geiger, Rolf Page, Christian SchweitzerT-Systems Solutions for Research GmbH
16.05.2008 1
Ein HPC-Konzept für C²A²S²E.fDie besonderen Herausforderungen
Höchste Rechenleistung bei optimaler EnergieeffizienzHöchste Rechenleistung bei optimaler Energieeffizienz
Hochleistung und Durchsatz auf demselben Rechnersystem
Anwendungs- und Softwarelifecycle vs. Hardwarelifecycleg y y
Organisatorische Rahmenbedingungen
16.05.2008 2
Herausforderung 1: R h l i t St KliRechenleistung - Strom - Klima
A f d d A d D T CFD C dAnforderungen der Anwendung: Der Tau CFD CodeSkalierbare SpeicherbandbreiteGeringe SpeicherlatenzzeitenGeringe Latenzzeiten der InterprozesskommunikationViele kleine Nachrichten
Anforderungen der RZ-InfrastrukturAnschlussleistungKühlleistungFlächenbelastung
Ergebnis: Design Entscheidung für Prozessortechnologie und Knotenanschluss
16.05.2008 3
Herausforderung 1: Rechenleistung - Strom - KlimaL i t A d d P hit ktLeistung: Anwendung und Prozessorarchitektur
Single Processor Performance Tau 30 Steps F6
12820,5114000,00
7299 278000 00
10000,00
12000,00
4424,78 4273,50
7299,27
5208,33
4000,00
6000,00
8000,00
552,79
0,00
2000,00
IBM Power 6 IBM Blue Gene/L intel Itanium II intel Harpertown AMD Barcelona AMD Opteron (4,7 Ghz) (1,3Ghz) (2,33GHz) (1,9 GHz) (3.0Ghz)
16.05.2008 4
Herausforderung 1: Rechenleistung - Strom - Klima Effi i A d d P hit ktEffizienz: Anwendung und Prozessorarchitektur
Tau Performance/Watt 30 Steps F6
29,7930,00
35,00
20,4717 9620,00
25,00
13,5012,29
15,26
17,96
10 00
15,00
0,00
5,00
10,00
0,00 IBM Power 6
(4,7 Ghz)IBM Blue Gene/L intel Itanium II
(1,3Ghz)intel Harpertown
(2,33 GHz) AMD Barcelona
(1,9 GHz)AMD Opteron
(3.0Ghz)
16.05.2008 5
Herausforderung 2: H hl i t (HPC) d D h t (HTC)Hochleistung (HPC) und Durchsatz (HTC)
Bei Capability-Computing (HPC) sollen alle Resourcen des Systems an eine Applikation gebracht werden. Das Verhalten dieser Applikation (Compute, Communication) ist in der Regel weitgehend bekannt.
Lösung: Verteilte (und damit inhärent hochskalierbare) Kommunikationsinfrastruktur.
Bei Capacity-Computing (HTC) werden zu Design und Optimierungszwecken viele gleichartige Jobs mit unterschiedlichen Eingabedaten gerechnet Die Charakteristika diesergleichartige Jobs mit unterschiedlichen Eingabedaten gerechnet. Die Charakteristika dieser Jobs sind weitgehend bekannt.
Lösung: Cluster basierend auf Standard IB-Switches mit bis zu 288 Ports von Voltaire oder Cisco.
C²A²S²E: Mischung verschiedener Applikationen sowie von Capability und CapacityC²A²S²E: Mischung verschiedener Applikationen sowie von Capability und Capacity Computing. Die Gesamtlast auf den Systemen ist unbekannt und unvorhersehbar.
Lösung: Zentraler, nichtblockierender und hochskalierbarer Mehrstufenswitch.
Ergebnis: Design Entscheidung für Verbindungsnetzwerk und System
16.05.2008 6
HPC-Power für C²A²S²E.H d K fi tiHardware-Konfiguration
GPFS Storage
16.05.2008 7
Aufbau der C2A2S2E HPC-Infrastruktur
768 Knoten2 x AMD Opteron Quad Core Prozessor 1.9 GHz (Barcelona)758 Knoten mit 16 GB Hauptspeicher10 Knoten mit 32 GB Hauptspeicher 16 Racks à 48 Blades
System6144 Rechenkerne 46.6 Tflop/s (Peak)12.3 TB HauptspeicherParalleles Filesystem GPFS mit 500TB
KommunikationsnetzwerkInfiniband 4X DDR, Connect X1 8 GB/s (uni) pro Knoten 2 4 µs Latenzzeit1.8 GB/s (uni) pro Knoten, 2.4 µs LatenzzeitSun Magnum Switch mit 864 Ports (ausbaubar bis 3456 Ports)
16.05.2008 8
Herausforderung 3:A d d S ft lif l H d lif lAnwendungs- und Softwarelifecycle vs. Hardwarelifecycle
FaktenHardware Lifecycle: 2-4 JahreSystem-Software Lifecycle: 5-10 JahreData-Management Lifecycle: 10+ JahreApplication-Software Lifecycle: 10+ Jahre
Konsequenzen Hardware muss an Software angepasst werden und nicht umgekehrt!Integration von Produkten unterschiedlicher Hersteller durch Service-Provider
Ergebnis: Design Entscheidung für den System-Software Stack
16.05.2008 9
HPC-Power für C²A²S²E.S ft K fi tiSoftware-Konfiguration
Operating SystemOperating SystemNovell SLES 10
CompilersIntel
MPI-LibrarySCALISCALI
PerformanceFault-Tolerance (Failover)
ToolsAlliAllinea
Cluster File SystemGPFS
Grid-MiddlewareUNICORESynfiniway
16.05.2008 10
Herausforderung 4:O i t i h R h b diOrganisatorische Rahmenbedingungen
Einbettung in industrielle und öffentliche ForschungsumgebungenUnterschiedliche SicherheitskonzepteUnterschiedliche Grid-Middleware
Synfiniway bei AirbusSynfiniway bei AirbusUNICORE in öffentlichen Grossforschungseinrichtungen und Unis
C²A²S²E als Private-Public Partnership von Airbus, DLR und Land NiedersachsenT-Systems als Service-Partner kann auf 10 Jahren Erfahrungen mit den beiden erfolgreichsten IT-PPPs imT Systems als Service Partner kann auf 10 Jahren Erfahrungen mit den beiden erfolgreichsten IT PPPs im wissenschaftlichen Sektor in Deutschland aufbauen:
T-Systems SfR ist selbst ein PPP von T-Systems und DLRDie hww (Höchstleistungsrechner für Wissenschaft und Wirtschaft GmbH) als spezialisiertesPPP für HPC mit den operativen Partnern T-Systems, Porsche, KIT und HLRS hww
Einbettung als spezialisiertes Topical Center in ein umfassendes Versorgungskonzept für die LuftfahrtNutzung nationaler und europäischer Resourcen für das absolute Top-End
Enger Zeitrahmen und Neueste TechnologieWeniger als 9 Monate von der Projektidee bis zur Realisierung des HPC-Service.Frühestmöglicher Einsatz von SUN Magnum, Mellanox Connect X und AMD Barcelona
16.05.2008 11
HPC-Services für C²A²S²E: .Integriertes Konzept: Expertise in Systemen and AnwendungenIntegriertes Konzept: Expertise in Systemen and Anwendungen
19601960
2015
16.05.2008 12
Thank YouContact: Alfred Geiger, Rolf Page, Christian Schweitzer
T-Systems Solutions for Research GmbHalfred.geiger@t-systems.comg g y
16.05.2008 13
C2A2S2E – Aufbau und erste Ergebnisse
N. Kroll
C2A2S2E Cluster-Einweihung, 13. Mai 2008
C2A2S2E
Zielsetzungen
Innovationspartnerschaft: DLR, Airbus, Land Niedersachsen
g
Aufbau eines multidisziplinären Kompetenzzentrumsfür numerische flugphysikalische Simulationen
Zielgerichtete Entwicklung von Prozessen & Methodenfür hochgenaue Simulationen des fliegenden Flugzeugs unter Berücksichtigung aller Kerndisziplinen
Fly theunter Berücksichtigung aller Kerndisziplinen
Manöversimulation
Ermittelung aerodynamischer
Virtual Aircraft
Ermittelung aerodynamischer Lasten des Flugzeugs im gesamtenFlugbereich
Multidisziplinäre Optimierung Virtual AircraftMultidisziplinäre Optimierung
Numerische Vorhersage der Flugleistungenund Flugeigenschaften vor Erstflug
Aufbau C2A2S2E
RealisierungLangfristiges Vorhaben
Erste Fünf-Jahres Phase- Laufzeit: 15.6.2007 bis 30.6.2012 - Gesamtvolumen: 30 Millionen Euro 10 Millionen Euro pro Partner- Gesamtvolumen: 30 Millionen Euro, 10 Millionen Euro pro Partner
C2A2S2E ist Abteilung des DLR Instituts für Aerodynamik und Strömungstechnik am Forschungsflughafen Braunschweig
3 Säulen- Simulationszentrum- Experten-Campus- Hochleistungsrechner
DLR ZentrumForschungsflughafen Braunschweig
Simulationszentrum
Seit Projektstart 15 neue wissenschaftliche MitarbeiterInnen eingestellt
Abteilung C2A2S2E insgesamt mehr als 45 MitarbeiterInnen g g
Neue Qualität in der DLR/Airbus – Kooperation auf dem Gebiet der Numerischen Simulation, Bildung von „Joint Teams“
Aufstockung des DLR Gebäudes 130
Übergangslösung Containerdorf:Aufstockung 3 Etage Institut AS Übergangslösung Containerdorf:8 Container, 16 Arbeitsplätze
Aufstockung, 3. Etage Institut AS18-20 neue Arbeitsplätze
Simulationszentrum
Aktuelle ArbeitenEntwicklung von Verfahren zur Vorhersage stationärer aeroelastischer Effekte bei komplexen Flugzeugkonfigurationen p g g gKopplung von Strömung und Struktur auf Basis höherwertiger Verfahren
Analyse des Hochauftriebsverhaltensf S / f
Entwurf von Flügelspitzenfür Start/Lande-Konfigurationen
g p
Experten - Campus
MaßnahmenForum für international renommierte GastwissenschaftlerPostdoc-StellenPostdoc Stellen Workshops / Konferenzen / Schulungen
Aktivitäten 2007 / 2008Aktivitäten 2007 / 2008Gastwissenschaftler
- Dr. C. Swanson, NASA-Langley, USA- Dr T Barth NASA-Ames USADr. T. Barth, NASA-Ames, USA- Prof. K. Visser, Clarkson University, USA- Prof. N. Sandham, University of Southampton, UK- Prof. R. Cummings, US Air Force, Academy - A. Baeza, IMDEA, Spanien- E. Andres, INTA, Spanien
Schulungen- Mehrtägiger Kurs “Innovative Lösungsalgorithmen”- Anwenderschulung für DLR CFD-Software TAU
Workshops p- Physikalische Modellierung im Grenzbereich der Flugenveloppe
(gemeinsam mit TU-BS, DFG-Forschergruppe)
High Performance Computing
HPC ClusterSUN Cluster mit 768 Rechenknoten
- 3072 Rechenkerne seit März 08- 6144 Rechenkerne ab Juli 2008
Teilnutzung seit Januar 2008 gDerzeit ca. 50 Nutzer, Auslastung bei 75% Verbindung zu Airbus – Bremen beauftragt
Virtual RealityVi li i d A l k lVisualisierung und Analyse komplexerStrömungsphänomene Verfügbar seit Frühjahr 2007 Intensivierung der Nutzung und Einbettung in Prozessketten
High Performance Computing
Vorhersage der Hochauftriebsleistung T tflvon TransportflugzeugenSensitivitätsanalyse bezüglichStrömungsparameterKonfigurationsstudien
Nutzung des C2A2S2E HPC ClustersNutzung des C2A2S2E HPC-ClustersDLR Strömungslöser TAU Insgesamt ca. 60 SimulationsfällePro Simulation- Lösung eines Gleichungssystemsmit 300 Millionen Freiheitsgradenmit 300 Millionen Freiheitsgraden
- 70 Stunden Rechenzeit
Weitere Partner / Kooperationen
Weitere PartnerEADS Eurocopter Deutschland (Patenschaftstelle im DLR eingerichtet)p ( g )
EADS Astrium (Beteiligung bei C2A2S2E ab Mitte 2008, derzeit inhaltliche Abstimmung)
KooperationenKooperationenForschungsprojekte der EU
Hochschulen im Rahmen von grundlagenorientierten DFG-Vorhabeng g- Simulation des Überziehens von Tragflügeln und Triebwerksgondeln (PAK 136)
Forschungsnetzwerk aus Luftfahrtindustrie, DLR und Hochschulen im Rahmen des Luftfahrtforschungsprogramms der Bundesregierung (LUFO IV)Rahmen des Luftfahrtforschungsprogramms der Bundesregierung (LUFO IV)
- Projekt MUNA: Management von Unsicherheiten in der Numerischen Aerodynamik (1. Call)
- Projekt ComFliTe: Computational Testing (beantragt 2 Call)- Projekt ComFliTe: Computational Testing (beantragt, 2. Call)
Technologieträger im HPC-Umfeld - T-Systems SfR- Beteiligung an BMBF-Ausschreibung „HPC Software für skalierbare Hardware“