Michael Lautenschlager (DKRZ) WissGrid AP3 Review, Potsdam 28.01.10 1.
M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 1 HLRE ( 1 ) und Langzeitdatenarchivierung Michael...
-
Upload
manfred-kerber -
Category
Documents
-
view
102 -
download
0
Transcript of M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 1 HLRE ( 1 ) und Langzeitdatenarchivierung Michael...
![Page 1: M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 1 HLRE ( 1 ) und Langzeitdatenarchivierung Michael Lautenschlager World Data Center for Climate (M&D/MPIMET,](https://reader036.fdocument.pub/reader036/viewer/2022081602/55204d8049795902118d2647/html5/thumbnails/1.jpg)
M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 1
HLRE (1) und
Langzeitdatenarchivierung
Michael Lautenschlager
World Data Center for Climate(M&D/MPIMET, Hamburg)
DFG-RundgesprächFrauenchiemsee, 06+07.11.2003
(1) Höchstleistungsrechenzentrum für die Klima- und Erdsystemforschung
Beiträge von DKRZ, WDC MARE, WDC RSAT
![Page 2: M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 1 HLRE ( 1 ) und Langzeitdatenarchivierung Michael Lautenschlager World Data Center for Climate (M&D/MPIMET,](https://reader036.fdocument.pub/reader036/viewer/2022081602/55204d8049795902118d2647/html5/thumbnails/2.jpg)
M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 2
HLRE• Infrastruktur• Externer Zugang
Langzeitdatenarchivierung• WDC-Verbund Erdsystemforschung• ICSU-WDC's: WDC-MARE, WDC-RSAT, WDC-CLIMATE• Datenpublikation• Service der Datenzentren• Kosten
Nicht: Infrastruktur für Anwendung von GCM's internationale Kooperationen (EU Projekte) Aufbau und Zugang zu WDC's
![Page 3: M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 1 HLRE ( 1 ) und Langzeitdatenarchivierung Michael Lautenschlager World Data Center for Climate (M&D/MPIMET,](https://reader036.fdocument.pub/reader036/viewer/2022081602/55204d8049795902118d2647/html5/thumbnails/3.jpg)
M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 3
HLRE Hardware
![Page 4: M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 1 HLRE ( 1 ) und Langzeitdatenarchivierung Michael Lautenschlager World Data Center for Climate (M&D/MPIMET,](https://reader036.fdocument.pub/reader036/viewer/2022081602/55204d8049795902118d2647/html5/thumbnails/4.jpg)
M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 4
24 NEC SX-6 Nodes, 1.5 TeraFlops Peak(1 Node: 8 Vector CPUs, je 8 Gflops peak , 64 Gbyte Mem. )
IXS Crossbar switch(Bandbreite 8 Gbyte/s pro Node)
Platz 33 der Top 500 (7/2003)
6 NEC AzusA (je 16 IA-2; 1000 Mhz; Linux)
4 STK Silos (ca. 1.5 PetaByte)
HLRE Hardware
![Page 5: M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 1 HLRE ( 1 ) und Langzeitdatenarchivierung Michael Lautenschlager World Data Center for Climate (M&D/MPIMET,](https://reader036.fdocument.pub/reader036/viewer/2022081602/55204d8049795902118d2647/html5/thumbnails/5.jpg)
M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 5
Application: FLAME (MOM2 ocean model)Purpose: Investigation of Deep Water Formation and TransportGrid Points: up to 1021 x 1406 x 45 Main Memory: up to 25 GBParallel.: MPISust. Perf: 45 GF on 2 nodes Efficiency: 35 %Sust. Perf: 72 GF on 4 nodes Efficiency: 28 %
HLRE Applikation
![Page 6: M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 1 HLRE ( 1 ) und Langzeitdatenarchivierung Michael Lautenschlager World Data Center for Climate (M&D/MPIMET,](https://reader036.fdocument.pub/reader036/viewer/2022081602/55204d8049795902118d2647/html5/thumbnails/6.jpg)
M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 6
DKRZ's Archive Increase (Estim. 09.03)
6001200
1920
2640
3360
4080
12 40 184424 664 904
2002 2003 2004 2005 2006 2007
Years
Dat
a A
mo
un
t [T
B]
Unix-File Archive
CERA DB
DKRZ: "Konservative Abschätzung"
![Page 7: M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 1 HLRE ( 1 ) und Langzeitdatenarchivierung Michael Lautenschlager World Data Center for Climate (M&D/MPIMET,](https://reader036.fdocument.pub/reader036/viewer/2022081602/55204d8049795902118d2647/html5/thumbnails/7.jpg)
M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 7
MPI-M
M&D
Shareholder
DKRZ
WLA
German Scientific Community
Cooperation
Advise
Service Service
Requirements
Externer Zugang
50% der
Ressourcen
am DKRZ
für Projekte
(BMBF, DFG,EU)
Unterstützung bei
Anwendung und
Implementierung
von numerischen
Modellen
Wissenschaftliches
Datenmanagement:
WDC for Climate
IPCC DDC
![Page 8: M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 1 HLRE ( 1 ) und Langzeitdatenarchivierung Michael Lautenschlager World Data Center for Climate (M&D/MPIMET,](https://reader036.fdocument.pub/reader036/viewer/2022081602/55204d8049795902118d2647/html5/thumbnails/8.jpg)
M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 8
WDC Verbund Erdsystemforschung
Wurde am 25.04.03 von den 3 deutschen ICSU WDC's in Oberpfaffenhofen gegründet.
• WDC for Climate: M&D / DKRZ, Hamburghttp://www.mad.zmaw.de/wdcc/ • WDC MARE (Marine Environmental Sciences): Marum, Bremen und Bremerhavenhttp://www.wdc-mare.org/ • WDC RSAT (Remote Sensing for the Atmosphere): DFD/DLR, Oberpfaffenhofenhttp://wdc.dlr.de/
Verpflichtung: Langzeit-Datenarchivierung und freier, unbeschränkter Datenzugang für alle Wissenschaftler (ICSU Rules for WDC's und Regeln zur guten wissenschaftlichen Praxis)
![Page 9: M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 1 HLRE ( 1 ) und Langzeitdatenarchivierung Michael Lautenschlager World Data Center for Climate (M&D/MPIMET,](https://reader036.fdocument.pub/reader036/viewer/2022081602/55204d8049795902118d2647/html5/thumbnails/9.jpg)
M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 9
WDC-CLIMATEData Content
Climate Model Data (Continuous stream of new data) IPCC DDC (Data Distribution Centre)
Will be continued for the Fourth Assessment Report
CEOP (Coordinated Enhanced Observing Period) Model output retention and handling Centre
Part of WCRP that was motivated by GEWEX with focus on water and energy cycles within the climate system (01.10.2002 – 31.12.2004)
Observational DataModel related observations: ERA15/40 (ECMWF), NCEP 40 Y. Reanal.
Instrumental data: WOCE (World Ocean Circulation Experiment)
Earth observations: Access to SST's from NOAA AVHRR in cooperation with WDC RSAT (distributed archive)
Project Support (encourage Good Scientific Practice)HOAPS (Hamburg Ocean Atmosphere Parameters and Fluxes from Satellite Data)
CARIBIC (Civil Aircraft for Regular Investigation of the Atmosphere Based on an Instrumentation Container), MPI Mainz
Different model applications
![Page 10: M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 1 HLRE ( 1 ) und Langzeitdatenarchivierung Michael Lautenschlager World Data Center for Climate (M&D/MPIMET,](https://reader036.fdocument.pub/reader036/viewer/2022081602/55204d8049795902118d2647/html5/thumbnails/10.jpg)
M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 10
CERA Database: 7.1 TB (12.2001)* Data Catalogue* Processed Climate Data * Pointer to Raw Data files
Mass Storage Archive:210 TB neglecting Security Copies (12.2001)
CE
RA
Dat
abas
eS
yste
m
Web-Based User InterfaceCatalogue Inspection
Climate Data Retrieval
DK
RZ
Mas
s S
tora
ge A
rch
ive
In
tern
etA
cces
s
Current database size is 23.251 Terabyte Number of experiments: 304 Number of datasets: 30201 Number of blob within CERA at 29-OCT-03: 1403519699
Typical BLOB sizes: 17 kB and 100 kB
Number of data retrievals:
1500 – 8000 / month
WDC-CLIMATE
More than 23 TBclimate (model) dataweb accessible!
![Page 11: M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 1 HLRE ( 1 ) und Langzeitdatenarchivierung Michael Lautenschlager World Data Center for Climate (M&D/MPIMET,](https://reader036.fdocument.pub/reader036/viewer/2022081602/55204d8049795902118d2647/html5/thumbnails/11.jpg)
M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 11
WDC-MARE
![Page 12: M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 1 HLRE ( 1 ) und Langzeitdatenarchivierung Michael Lautenschlager World Data Center for Climate (M&D/MPIMET,](https://reader036.fdocument.pub/reader036/viewer/2022081602/55204d8049795902118d2647/html5/thumbnails/12.jpg)
M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 12
WDC-MARE
![Page 13: M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 1 HLRE ( 1 ) und Langzeitdatenarchivierung Michael Lautenschlager World Data Center for Climate (M&D/MPIMET,](https://reader036.fdocument.pub/reader036/viewer/2022081602/55204d8049795902118d2647/html5/thumbnails/13.jpg)
M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 13
WDC-RSAT Leitbild
Forschung, Entwicklung, und Dienstleistungen um die Fernerkundung der Atmosphäre zu fördern
- als ein unentbehrliches Instrument um umweltorientierte Geoinformation abzuleiten
- für alle mögliche wissenschaftliche, wirtschaftliche, soziale, und politische Zwecke
- als ein Hauptbeitrag um Raumtechniken als ein Schlüssel für ein besseres Verständnis der Erde zu etablieren
![Page 14: M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 1 HLRE ( 1 ) und Langzeitdatenarchivierung Michael Lautenschlager World Data Center for Climate (M&D/MPIMET,](https://reader036.fdocument.pub/reader036/viewer/2022081602/55204d8049795902118d2647/html5/thumbnails/14.jpg)
M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 14
Datenarchiv - Besonderheiten
- Spektroskopische und klimatologische Datenbanken- Atmosphärische Spurengasverteilungen - Meterologische und physikalische Wolkenparameter- Boden- und Ozeanflächenparameter (LST, SST, NDVI)
- Operationelle Satellitensensoren: ATOVS, AVHRR, GOME, GOMOS, HALOE, MERIS, MIPAS, MODIS, SAGE II, SCIAMACHY, TOMS
- Space Shuttle Missionen: ATMOS, CRISTA, MAS, SSBUV
- Sammlung, Archivierung, und Verteilung der atmosphärischen Daten
- Entwicklung der „value-added“ Daten und Produkte durch Modellierung und Datenassimilation
WDC-RSAT
Benutzte Sensoren - Besonderheiten
Dienstleistungsoptionen - Besonderheiten
![Page 15: M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 1 HLRE ( 1 ) und Langzeitdatenarchivierung Michael Lautenschlager World Data Center for Climate (M&D/MPIMET,](https://reader036.fdocument.pub/reader036/viewer/2022081602/55204d8049795902118d2647/html5/thumbnails/15.jpg)
M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 15
WDC Verbund Erdsystemforschung
Grundsatzerklärung• Datenpublikation- Die Daten selbst sollen unabhängig vom archivierenden System eindeutig identifizierbar, referenzierbar und universell zugreifbar sein (z.B. Vergabe von DOI's oder URN's ).
- DFG Projekt "Publikation und Zitierfähigkeit wissenschaftlicher Primärdaten" (12 Monate, Beginn 01.10.03)
• Service der Datenzentren- Qualifizierte thematische Datenzentren übernehmen die Rolle für die Archivierung und Publikation von wissenschaftlichen Daten.
- Die Zentren garantieren eine langfristige und freie Verfügbarkeit archivierter Daten im Rahmen der Richtlinien der ISCU Weltdatenzentren.
- Datenzentren stehen mit ihrer Expertise den Fördereinrichtungen, den Gutachtern und der Wissenschaft beratend zur Verfügung.
![Page 16: M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 1 HLRE ( 1 ) und Langzeitdatenarchivierung Michael Lautenschlager World Data Center for Climate (M&D/MPIMET,](https://reader036.fdocument.pub/reader036/viewer/2022081602/55204d8049795902118d2647/html5/thumbnails/16.jpg)
M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 16
WDC Verbund Erdsystemforschung
Grundsatzerklärung
• Aufwand bezogene Finanzierung
- Die Grundfinanzierung der Datenzentren sollte aus den Haushalten der tragenden Forschungseinrichtungen bestritten werden. Diese übernehmen damit die Verantwortung für einen langfristigen Betrieb.
- Drittmittelanträge sollten ein Datenmanagementkonzept beinhalten, das definiert, welche neuen Daten erhoben bzw. existierenden Daten erfasst werden sollen.
- Für diese projektrelevanten Datenmanagementaufgaben sind anteilige Mittel vorzusehen.
- Ein ausgewiesenes Kostenmodell der Langfristdatenzentren soll diesen Aufwand kalkulierbar machen.
![Page 17: M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 1 HLRE ( 1 ) und Langzeitdatenarchivierung Michael Lautenschlager World Data Center for Climate (M&D/MPIMET,](https://reader036.fdocument.pub/reader036/viewer/2022081602/55204d8049795902118d2647/html5/thumbnails/17.jpg)
M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 17
Beispiel für Zugriff aufWDC Verbund Erdsystemforschung