Bilan et prospective CEREA, IPSL, LATMOS, LISA, LMD, LOA, LSCE, MF/CNRM-DSO
Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation –...
-
Upload
agrippine-villard -
Category
Documents
-
view
116 -
download
8
Transcript of Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation –...
![Page 1: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/1.jpg)
Juin 2010Groupe de travail Plate-forme
![Page 2: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/2.jpg)
Le modèle couplé de l’IPSL
• Contexte – Présentation– IPSL – Pôle de modélisation du climat et CMIP5– Historique du modèle système Terre IPSL– Le modèle IPSLCM5A– Les machines utilisées– Les autres configurations– Les outils– La documentation– A venir…
• Mode d’emploi– Les différentes étapes– Les simulations réalisées– Les autres outils utiles : monitoring, atlas, nco, cdo,…
![Page 3: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/3.jpg)
Les laboratoires et les tutelles
![Page 4: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/4.jpg)
IPSL : Institut PS Laplace
• Fédération de 6 laboratoires, liée à 3 Observatoires des sciences de l’Univers :– Laboratoire Atmosphères, Milieux, Observations Spatiales (LATMOS) ,
– Laboratoire Interuniversitaire des Systèmes Atmosphériques (LISA) ,
– Laboratoire de Météorologie Dynamique (LMD) ,
– Laboratoire d’Océanographie et du Climat : Expérimentation et Approches Numériques (LOCEAN),
– Laboratoire de Physique Moléculaire pour l'Atmosphère et l'Astrophysique (LPMAA),
– Laboratoire des Sciences du Climat et de l’Environnement (LSCE)
• 10 tutelles– Centre National de la Recherche Scientifique (CNRS : INSU et INEE),
– Université Pierre et Marie Curie - Paris 6
– Université Versailles Saint-Quentin en Yvelines
– Commissariat à l’Energie Atomique (CEA)
– Institut de Recherche et Développement (IRD)
– Ecole Normale Supérieure
– Ecole Polytechnique
– Centre National d’Etudes Spatiales (CNES).
– Université Denis Diderot – Paris 7
– Université Paris 12 Val de Marne
• Directeur : Hervé Le Treut
• 1000 personnes
• Structures fédératives/Pôles scientifiques
• Pôle de modélisation du climat - 80 personnes – Jean-Louis Dufresne
![Page 5: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/5.jpg)
Le pôle de modélisation
• Missions :– Fédérer les études multidisciplinaires (scientifiques ou techniques) faisant
intervenir les composantes du modèle de l'IPSL
– Identifier et coordonner les simulations de référence
– Fédérer et rationaliser les moyens, les développements techniques
– Animation scientifique
• Modèle climat :– Atmosphère
– Océan et glace de mer
– Surfaces continentales
– Cycle du carbone
– Chimie
• IPSLCM5A
• Earth System Model
Le modèle climat IPSL
![Page 6: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/6.jpg)
Pôle de modélisation du climat de l'IPSL : Groupes de travail
Plate-forme de modélisation (IPSL-ESM)
Distribution des données
Physique et dynamique de l'atmosphère et de la surface
(LMDZ, ORCHIDEE_hydro)
Physique et dynamique de l'océan et de la glace de mer(NEMO, LIM)
Interactions atmosphère-océan(IPSL-CM, différentes résolutions)
Cycles biogéochimiques(PISCES, ORCHIDEE_veget)
Simulations centennales (20-21e siècle)
Simulations paléo, dernier millénaire
Simulations saisonnières à décennales
Evaluation des modèlesAnalyse du climat présent et des
changements climatiques
Simulations régionales
Chimie atmosphérique et aérosols(INCA, INCA_aer, Reprobus)
![Page 7: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/7.jpg)
Groupe de travail Plate-forme
• Ex ESCI : Equipe Système Climat IPSL – 20 personnes
• Missions : – Organiser les développements techniques en accord avec
les activités scientifiques du pôle– Assurer le lien et la cohérence des développements entre
les différentes composantes et le modèle couplé– Support aux utilisateurs des modèles– Documentation– Animation technique, formation– Veille technologique
![Page 8: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/8.jpg)
Simulations centennales proposées par CMIP-5 pour la préparation du 5e rapport du GIEC
Climats du passé
Sensibilité climatique et
rétroactions des nuages
Couplage climat-carbone
Chimie et aérosols
Estimation des forçages radiatifs
Évolution du climat au 20e
siècleÉvolution du climat au 21e
siècle
![Page 9: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/9.jpg)
La configuration ORCHIDEE AR5
![Page 10: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/10.jpg)
La configuration ORCHIDEE AR5
Les différents scripts d'ORCHIDEE :
OOL_SEC_STOOOL_SEC FORCESOIL TESTSTOMATE
{
SPINUP
FLUXNET, ( … ?? )
(SECHIBA) (SECHIBA + STOMATE) (SOILCARBONE) (STOMATE)
Jobs de base= ne pas utiliser=> recopier
Validations
![Page 11: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/11.jpg)
Le modèle climat IPSL
Définition : plateforme qui permet, sur les centres de calcul usuels :
• de récupérer des configurations de référence• de compiler :
– les sources des différentes composantes
– les interfaces de couplage (océan-atmosphère) et le coupleur • de réaliser une expérience type fournie (y compris fichiers
entrée), • de suivre son exécution, • de produire et stocker des résultats bruts, • de produire, stocker et rendre accessible des ATLAS et
analyses systématiques
![Page 12: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/12.jpg)
Deux centres de calcul privilégiés
IDRIS/CNRS CCRT/CEA
Calculateurs • brodie.idris.frNEC SX-8, été 200610 noeuds80 processeurs• vargas.idris.frIBM Power 6, 3584 cœurs
• mercure.ccc.cea.frNEC SX-8R, nov 20068 nœuds, 64 procsNEC SX-9, avril 2009, 3 nœuds, 48 procs, dédié GIEC64 processeurs• titane.ccc.cea.frBull, 8544 coeurs
Connexion brodie/vargas/ulam.idris.fr(filtrage par adresse)
mercure/titane/cesium.ccc.cea.fr(filtrage par adresse + port 22)
Sources (conseil) $WORKDIR $WORKDIR/$SCRATCHDIR
Fichiers gaya $DMFDIR
Post-traitement ulam mercure (tx7), titane, cesium
Serveur DODS dods.idris.fr dods.extra.cea.fr/data/
Assistance-Support [email protected] [email protected]
01 69 35 85 55 01 69 26 66 66
www.idris.fr www-ccrt.cea.fr + Intranet (firefox sur titane)
![Page 13: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/13.jpg)
A savoir sur brodie et IDRIS : http://forge.ipsl.jussieu.fr/igcmg/wiki/ModipslBeginner
PATH=/Txlocal/pub/svn/svn-1.3.1/bin:/home/rech/psl/rpsl035/fcm/bin:$PATHpour accéder à svn et à fcm. Vérifier par which svn et which fcm
$WORKDIR sur brodie peut être étendu largement (50 Go pour le groupe par exemple). Le demander à l'assistance. Pour vérifier l'occupation et la taille : quota_u -w
sur brodie, remplir le fichier .rhosts avec ulam Faire marcher les transferts brodie --> gaya par mfget/mfput. Ftuas sur ulam pour faire connaître le mot de passe gaya à brodie et à toutes les machines. Pour les accès dods, il faut lancer une commande mfdods sur gaya. Cela crée le répertoire, 24h après au plus tard. Accès web : http://dods.idris.fr/login
Pour les accès dods, sur ulam la commande rsh gaya pwd doit marcher Pour donner les accès à tous (755 ou drwxr-xr-x) au WORKDIR de brodie, il faut demander à l'assistance IDRIS pour le niveau /u/rech/grp. Idem pour /home_b/rech/grp sur rhodes. Sur ulam il faut explicitement charger les outils graphiques :
module load netcdfmodule load cdo
![Page 14: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/14.jpg)
A savoir sur mercure et CCRT : http://forge.ipsl.jussieu.fr/igcmg/wiki/ModipslBeginner
PATH=$PATH:/home/cont003/p86ipsl/fcm/bin # MERCURE only pour accéder à fcm. Vérifier par which svn et which fcm
Remplir le fichier ~/.forward avec son adresse mail pour recevoir les messages de fin de simulation.
SX8 et SX9 sont 2 machines différentes :SX9 : module load SX9 ; module load netcdf_sx9 ; SX8 : module load SX8 ; module load netcdf_sx8 ;(module unload …)
Pour avoir accès aux différents outils, passer par les modules. Exemple:module load netcdfmodule load ferretmodule load cdo
![Page 15: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/15.jpg)
Environnement
Récupération de la configuration
Compilation
Soumission/Exécution
Visualisation/comparaison des résultats
Description d’une expérience
Assemblage du modèle
Modipsl
Machines
LibIGCM
IOserver
Documentation
Support
Formation
Accés aux résultats
Serveurs CVS/SVN
![Page 16: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/16.jpg)
Les outils : MODIPSL, IOIPSL, Rebuild et IOserver
• Modipsl : outil d’extraction, de préparation en fonction de la machine, de compilation des modèles pour créer les exécutables.
Introduction – FAQ : http://forge.ipsl.jussieu.fr/igcmg/wiki/ModipslBeginner
• IOIPSL : librairie commune qui gère les Entrées-Sorties (fichiers de sorties, restarts) au format NetCDF dans les modèles de l’IPSL.
• Rebuild : outil pour recombiner les fichiers créés par sous-domaine, tourne maintenant sur les frontales, en asynchrone
• IOserver : outil gérant les Entrées/Sorties, piloté par fichier xml, capable de tourner en mode asynchrone sur 1 ou plusieurs procs.
![Page 17: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/17.jpg)
Les outils : les scripts libIGCM
• libIGCM : ensemble de scripts de lancement de simulation et de post-traitement modulaires et portables
• Inclut le job maitre et de nombreux jobs auxiliaires de post-traitements
• Documentation : http://forge.ipsl.jussieu.fr/libigcm
![Page 18: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/18.jpg)
Parallélisme
• Utilisation de plusieurs processeurs pour réduire le temps d’exécution
• Parallélisation MPI pour LMDZ/Orchidee
• Parallélisation MPI possiblepour NEMO
• Machines cibles :– Vectoriel et parallélisme modéré o(10), MPI : Mercure (NEC SX-8R et SX-
9), Brodie (NEC SX-8)
– Scalaire SMP parallélisme massif o(100) : Platine/Titane (BULL), vargas (IBM), performances améliorées mixte MPI/OpenMP
PROCESS 0
PROCESS 1
PROCESS 3
PROCESS 2
pôle nord
pôle sud
latitu
de
longitudes
![Page 19: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/19.jpg)
Documentation générale
Wiki Pôle : http://forge.ipsl.jussieu.fr/igcmg– Introduction générale IGCMG, accessible à tous– Accès outils multiples
• Accès sources SVN
• Accès aux tickets d’incident
• Accès aux pages wiki
– Contrainte : être inscrit dans le projet (demande aux administrateurs) pour pouvoir modifier wiki, tickets et sources.
Machine commune de gestion des projets - Olivier Thauvin (LATMOS)
Wiki Orchidee : http://forge.ipsl.jussieu.fr/orchidee
![Page 20: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/20.jpg)
Documentation forge.ipsl.jussieu.fr/igcmg
Sources SVN
Tickets
WIKI
![Page 21: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/21.jpg)
2ème partie
Utilisation et démonstration
![Page 22: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/22.jpg)
Connexion
Frontale
![Page 23: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/23.jpg)
Récupération de la configuration
Compilation
Connexion
Frontale
Gestion des sources des composantes
IPSL Serveur cvs/svn
Modipsl
Ensemble de scripts qui va permettre de faire ces étapes sur un ensemble de machines.
![Page 24: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/24.jpg)
Gestion des sources des composantes
IPSL Serveur cvs/svn
Récupération de la configuration
Compilation
Exécution/ lancement du run
Connexion
Frontale
Description de la simulation
Modipsl
LibIGCM
…
ensemble de scripts de lancement de simulation et de post-traitement modulaires et portables
Choix des réglages physiques
![Page 25: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/25.jpg)
Calcul
Gestion des sources des composantes
IPSL Serveur cvs/svn
LibIGCM
Récupération de la configuration
Compilation
Exécution/ lancement du run
Connexion
Frontale
Description de la simulation
Modipsl
LibIGCM Choix des réglages physiques
![Page 26: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/26.jpg)
Accès au modèle ORCHIDEE_AR5 (1/9)
1. Accès à modipsl (SVN)brodie ou mercure : mkdir MY_EXPERIENCE
brodie ou mercure : cd MY_EXPERIENCE
brodie ou mercure :
svn co http://forge.ipsl.jussieu.fr/igcmg/svn/modipsl/trunk modipsl
alias (svn_ano)
MY_EXPERIENCE
modipsl
modeleslibdoc.svn bin tmp utilconfig
![Page 27: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/27.jpg)
modipsl
MY_EXPERIENCE
modelesconfigdoc.svn bin tmp util
Installation et configuration des Makefiles
Installation et configuration des scripts de lancement
Définition pour chaque configuration de leurs composantes et de leurs tags associés
Extraction des modèles validés disponibles
• mod.def
Accès au modèle ORCHIDEE_AR5 (2/9)
1. Accès à modipslbrodie ou mercure : cd modipsl/util
lib
• model
• ins_make
• ins_job
![Page 28: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/28.jpg)
1 #- $Id$2 #---------------------------------------------------------------------3 #-This file is the definition file of the script "model".4 #---------------------------------------------------------------------5 #- Each model is defined by6 #- (prefix #-H-) model informations,7 #- (prefix #-M-) the email address of the model manager,8 #- (prefix #-C-) elements to extract for the model, in the order :9 #- name of the component in the repository10 #- tag/revision of the component11 #- index of the repository in the server table12 #- installation path in the local working directory13 #- local working directory in modipsl14 #- (prefix #-S-) containing the control system and server address.15 #-16 #- The tag "?" correspond to the default model version.17 #- Invoking "model" with -H overrides any tag with "?".18 #---------------------------------------------------------------------19 #- Repository informations20 #-21 #-S- 1 cvs [email protected]:/home/ioipsl/CVSROOT22 #-S- 2 cvs [email protected]:/home/ssipsl/CVSREP23 #-S- 3 cvs [email protected]:/home/cvsroot24 #-S- 4 cvs [email protected]:/home/opalod/CVSROOT25 #-S- 5 cvs [email protected]:/home/opalod/NEMOCVSROOT26 #-S- 6 cvs [email protected]:/home/incaipsl/CVSROOT27 #-S- 7 svn http://forge.ipsl.jussieu.fr/nemo/svn28 #-S- 8 svn http://forge.ipsl.jussieu.fr/igcmg/svn29 #-S- 9 svn --username inca http://forge.ipsl.jussieu.fr/inca/svn30 #-S- 10 svn http://forge.ipsl.jussieu.fr/libigcm/svn31 #-S- 11 svn http://svn.lmd.jussieu.fr/LMDZ32 #-S- 12 svn http://forge.ipsl.jussieu.fr/ioserver/svn33 #-S- 13 svn http://forge.ipsl.jussieu.fr/fcm/svn
Accès au modèle ORCHIDEE_AR5 (3/9) - fichier mod.def -
![Page 29: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/29.jpg)
Accès au modèle ORCHIDEE_AR5 (3/9 - suite) - fichier mod.def -
278:#-H- ORCHIDEE_AR5 Modele ORCHIDEE AR5 pour utilisation OFFLINE279:#-H- ORCHIDEE_AR5 ORCHIDEE with tag orchidee_1_9_5280:#-H- ORCHIDEE_AR5 ORCHIDEE_OL with tag OOL_1_9_5281:#-H- ORCHIDEE_AR5 IOIPSL with tag 2.2.1282:#-H- ORCHIDEE_AR5 libIGCM tag libIGCM_v1_8283:#-H- ORCHIDEE_AR5 FCM svn version PATCHED/FCM_V1.2284:#-M- ORCHIDEE_AR5 [email protected]:#-C- ORCHIDEE_AR5 IOIPSL/tags/v2_2_1/src HEAD 8 IOIPSL/src modeles286:#-C- ORCHIDEE_AR5 tags/libIGCM_v1_8 HEAD 10 libIGCM .287:#-C- ORCHIDEE_AR5 PATCHED/FCM_V1.2 HEAD 13 tools/FCM/V1.2 .288:#-C- ORCHIDEE_AR5 ORCHIDEE orchidee_1_9_5 2 .289:#-C- ORCHIDEE_AR5 ORCHIDEE_OL OOL_1_9_5 2 .290:#-C- ORCHIDEE_AR5 ORCHIDEE_OL/OOL_SEC_STO OOL_1_9_5 2 . config291:#-C- ORCHIDEE_AR5 ORCHIDEE_OL/OOL_SEC OOL_1_9_5 2 . config292:#-C- ORCHIDEE_AR5 ORCHIDEE_OL/FORCESOIL OOL_1_9_5 2 . config293:#-C- ORCHIDEE_AR5 ORCHIDEE_OL/TESTSTOMATE OOL_1_9_5 2 . config294:#-C- ORCHIDEE_AR5 ORCHIDEE_OL/SPINUP OOL_1_9_5 2 . config295:#-C- ORCHIDEE_AR5 ORCHIDEE_OL/FLUXNET OOL_1_9_5 2 . config
![Page 30: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/30.jpg)
1. Accès à MODIPSLsvn_ano ; cd modipsl/util
2. Accès à ORCHIDEE_AR5
brodie ou mercure : ./model ORCHIDEE_AR5 (mot de passe : celui d’ORCHIDEE )
.svn
Accès au modèle ORCHIDEE_AR5 (4/9)
util
modipsl
MY_EXPERIENCE
modeleslibIGCMdocbin tmp
ORCHIDEEORCHIDEE_OLIOIPSL
config
ORCHIDEE_OL
lib
![Page 31: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/31.jpg)
1. Accès à MODIPSLsvn_ano ; cd modipsl/util
2. Accès à ORCHIDEE_AR5./model ORCHIDEE_AR5
3. Installation des Makefiles
brodie ou mercure : ./ins_make
Accès au modèle ORCHIDEE_AR5 (5/9)
util
modipsl
MY_EXPERIENCE
libdocbin tmp.svn• AA_make.gdef
Makefile• AA_make.ldef
• AA_make
libIGCM
ORCHIDEE_OL
config
ORCHIDEE_OL
Modeles
ORCHIDEE
![Page 32: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/32.jpg)
1. Accès à MODIPSL (SVN)
svn_ano ; cd modipsl/util
1. Accès à ORCHIDE_AR5./model ORCHIDEE_AR5
2. Installation des Makefiles./ins_make
3. Installation de l’expérience typebrodie ou mercure : # cd ../config/ORCHIDEE_OL# cp -rp OOL_SEC_STO MONTEST# Editer ../config/ORCHIDEE_OL/MONTEST/config.card
# Modifier JobName(EXP00), JobNumProcTot(4)
./ins_job
util
modipsl
MY_EXPERIENCE
modeleslibdocbin tmp.svn
ORCHIDEE_OL
Accès au modèle ORCHIDEE_AR5 (6/9)
MONTEST
Job_JobName
configlibIGCM
AA_job
config.card
![Page 33: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/33.jpg)
libIGCM
modipsl
MY_EXPERIENCE
modeles
Accès au modèle ORCHIDEE_AR5 (7/9)
AA_atlas_LMDZAA_atlas_ORCHIDEEAA_atlas_ORCA_LIMAA_create_tsAA_create_seAA_monitoring
atlas_LMDZ.jobatlas_ORCHIDEE.jobatlas_ORCA_LIM.jobcreate_ts.jobcreate_se.jobmonitoring.job
1. Accès à MODIPSL
svn_ano ; cd modipsl/util
1. Accès à ORCHIDEE_AR5./model ORCHIDEE_AR5
2. Installation des Makefiles./ins_makeemacs ../config/ORCHIDEE_AR5/MONTEST/config.card
3. Installation de l’expérience type (partie post-traitement) brodie ou mercure : ./ins_job
config
![Page 34: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/34.jpg)
1. Accès à MODIPSL svn_ano ; cd modipsl/util
2. Acces à ORCHIDEE_AR5./model ORCHIDEE_AR5
3. Installation des Makefiles./ins_make
4. Installation de l’expérience typeemacs ../config/ORCHIDEE_AR5/MONTEST/config.card
./ins_job1. Compilation
brodie ou mercure : cd ../modeles/ORCHIDEE_OLbrodie ou mercure : gmake; gmake forcesoil; gmake teststomate
util
modipsl
MY_EXPERIENCE
modeleslibdocbin tmp.svn
ORCHIDEE_OL
Accès au modèle ORCHIDEE_AR5 (8/9)
• orchidee_ol• forcesoil• teststomate
Makefile
![Page 35: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/35.jpg)
1. Accès à MODIPSL svn_ano ; cd modipsl/util
2. Acces à ORCHIDEE_AR5./model ORCHIDEE_AR5
3. Installation des Makefiles./ins_make
4. Installation de l’expérience type emacs ../config/ORCHIDEE_AR5/MONTEST/config.card
./ins_job1. Compilation
cd ../modeles/ORCHIDEE_OL gmake
2. Soumission du Job de lancement
brodie ou mercure : cd ../../config/ORCHIDEE_OL/MONTESTbrodie ou mercure : qsub Job_SECHSTOM
Accès au modèle ORCHIDEE_AR5 (9/9)
ORCHIDEE_OL
orchidee.def
PARAM
orchidee.cardorchidee.driverstomate.cardstomate.driverorchidee_ol.cardorchidee_ol.driver
modipsl
MY_EXPERIENCE
config
MONTEST
Job_JobName COMP POST
monitoring01_orchidee.cfgmonitoring01_stomate.cfg
![Page 36: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/36.jpg)
Récupérer, compiler et lancer le modèle ORCHIDEE_AR5
1. Accès à MODIPSL svn co http://forge.ipsl.jussieu.fr/igcmg/svn/modipsl/trunk
modipsl2. Accès à ORCHIDEE_AR5
cd modipsl/util ; ./model ORCHIDEE_AR53. Installation des Makefiles
./ins_make4. Installation de l’expérience type (et post-traitements)
Copier ../config/ORCHIDEE_OL/OOL_SEC_STO MONTEST Modifier «JobName» dans MONTEST/config.card
./ins_job1. Compilation
cd ../modeles/ORCHIDEE_OL ; gmake 2. Soumission du Job de lancement
cd ../../config/ORCHIDEE_OL/MONTESTqsub Job_JobName
![Page 37: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/37.jpg)
Calcul
Gestion des sources des composantes
IPSL Serveur cvs/svn
LibIGCM
Récupération de la configuration
Compilation
Exécution/ lancement du run
Connexion
Frontale
Description de la simulation
Modipsl
LibIGCM Choix des réglages physiques
![Page 38: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/38.jpg)
scripts : libIGCM• Infrastructure commune cohérente de script :
– Job_Jobname• Un job de soumission de la simulation
– config.card : • une fiche descriptive d’une configuration pour une simulation donnée
– COMP :• Des couples de fichiers card et driver décrivent les fichiers et programment le
fonctionnement de chaque composante d’une configuration
– PARAM :• Des fichiers de paramètres des différentes composantes
– run.card (run.card.init):• Une fiche d’information sur la simulation en cours d’exécution
– libIGCM :• libIGCM/libIGCM_card, liBIGCM_comp, libIGCM_config, libIGCM_date,
libIGCM_debug, libIGCM_post, libIGCM_sys.ksh : des bibliothèques de fonctions en ksh utilisées par les jobs
• libIGCM/libIGCM_sys/libIGCM_sys_brodie.ksh, libIGCM_sys_mercure.ksh, … : des fonctions système spécifique à chaque machine
![Page 39: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/39.jpg)
Script de référence : AA_Job
PeriodLength
![Page 40: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/40.jpg)
Schéma de la librairie de scripts libIGCMEXP00 EXP00/COMP
![Page 41: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/41.jpg)
Un peu plus en détail…
• Répertoire MONTEST prêt :
– COMP/* : information sur les composantes
– config.card : fichier de configuration de la simulation
– Job_SECHSTOM : Job à soumettre
– PARAM/* : fichiers de configuration des modèles
– run.card.init : fichier de suivi original
modipsl
MY_EXPERIENCE
config
MONTEST
ORCHIDEE_OL
Job_SECHSTOM COMP PARAMconfig.cardrun.card.init
orchidee.deforchidee.cardorchidee.driverstomate.cardstomate.driverorchidee_ol.cardorchidee_ol.driver
![Page 42: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/42.jpg)
config.card : UserChoices## This is config.card file for restart with an NEW libIGCM simulation tree.#=========================================================================#D-- Compatibility -[Compatibility]libIGCM=1.0#========================================================================#D-- UserChoices -[UserChoices]#============================#-- (<8 chars MAX for JobName)JobName=SECHSTOMLongName= « simulation pour faire ça »TagName=OL2#============================#-- leap, noleap, 360dCalendarType=gregorian#-- Start and End of Job#-- "YYYY-MM-DD"DateBegin=1980-01-01DateEnd=1989-12-31#============================#-- 1Y, 1M, 5D, 1DPeriodLength=1M#============================#-- Total Number of Processors (minimum is 2 for a coupled configuration)JobNumProcTot=4#============================
Informations sur la simulation
![Page 43: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/43.jpg)
config.card : Composantes
42 #========================================================================43 #D-- ListOfComponents -44 [ListOfComponents]45 #D- For each component, Name of component, Tag of component46 SRF= (orchidee, orchidee_1_9_5)47 SBG= (stomate, orchidee_1_9_5)48 OOL= (orchidee_ol, OOL_1_9_5)4950 #========================================================================51 #D-- Executable -52 [Executable]53 Name=orchidee_ol54 #D- For each component, Real name of executable, Name of executable for oasis55 SRF= ("", "")56 SBG= ("", "")57 OOL= (orchidee_ol, orchidee_ol)
![Page 44: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/44.jpg)
67 #========================================================================68 #D-- Restarts -69 [Restarts]70 #D- If you want a GENERAL RULE FOR ALL COMPONENTS RESTARTS, put this flag to 'y'71 OverRule=n72 #D- Last day of the experience used as restart73 RestartDate=1981-12-3174 #D- Define restart simulation name75 RestartJobName=CD176 #D- Path Server Group Login77 RestartPath=${ARCHIVE}/IGCM_OUT/OL2
config.card : Restarts
y pour un redémarrage depuis une autre simulation
Donner la date, le nom de la simulation et le chemin d’accès aux fichiers
![Page 45: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/45.jpg)
79 #========================================================================80 #D-- Post -81 [Post]82 #D- Do we rebuild parallel output, this flag determines83 #D- frequency of rebuild submission (use NONE for DRYRUN=3)84 RebuildFrequency=5Y85 #D- Do we rebuild parallel output from archive86 RebuildFromArchive=NONE87 #D- If you want to produce time series, this flag determines88 #D- frequency of post-processing submission89 TimeSeriesFrequency=10Y90 #D- If you want to produce seasonal average, this flag determines91 #D- the period of this average92 SeasonalFrequency=10Y93 « « « #D- Offset for seasonal average first start dates ; same unit as SeasonalFrequency94 #D- Usefull if you do not want to consider the first X simulation's years95 SeasonalFrequencyOffset=0 » » »
config.card : Post
![Page 46: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/46.jpg)
#========================================================================#D-- SRF - SECHIBA[SRF]WriteFrequency="1M HF"Restart=n#-- Last day of the experience used as restartRestartDate=1982-01-01# Define restart simulation nameRestartJobName=HISTO2_RestartPath=${ARCHIVE}/IGCM_OUT/OL2#-- Old component name for restart (if empty, use new name)OldName=#========================================================================#D-- SRF - STOMATE[SBG]WriteFrequency="1M"Restart=n#-- Last day of the experience used as restartRestartDate=1982-01-01# Define restart simulation nameRestartJobName=HISTO2_RestartPath=${ARCHIVE}/IGCM_OUT/OL2#-- Old component name for restart (if empty, use new name)OldName=#========================================================================#D-- OOL -[OOL]WriteFrequency="1M"Restart=n
config.card : une composante type SRF
y pour un redémarrage ATMdepuis une autre simulation
Donner la date, le nom de la simulation et le chemin d’accès aux fichiers
![Page 47: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/47.jpg)
Un peu plus en détail…
• Répertoire MONTEST prêt :
– COMP/* : information sur les composantes
– config.card : fichier de configuration de la simulation
– Job_SECHSTOM : Job à soumettre
– PARAM/* : fichiers de configuration des modèles
– run.card.init : fichier de suivi original
modipsl
MY_EXPERIENCE
config
MONTEST
ORCHIDEE_OL
Job_SECHSTOM COMP PARAMconfig.cardrun.card.init
orchidee.cardorchidee.driverstomate.cardstomate.driverorchidee_ol.cardorchidee_ol.driver
orchidee.def
![Page 48: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/48.jpg)
Un peu plus en détail…
• Répertoire MONTEST prêt :
– COMP/* : information sur les composantes
– config.card : fichier de configuration de la simulation
– Job_SECHSTOM : Job à soumettre
– PARAM/* : fichiers de configuration des modèles
– run.card.init : fichier de suivi original
modipsl
MY_EXPERIENCE
config
MONTEST
ORCHIDEE_OL
Job_SECHSTOM COMP PARAMconfig.cardrun.card.init
orchidee.cardorchidee.driverstomate.cardstomate.driverorchidee_ol.cardorchidee_ol.driver
orchidee.def
![Page 49: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/49.jpg)
Job_JobName
1. Définition de la mémoire limite#PBS -l memsz_job=15.0gb limite mémoire
2. Définition du nombre de processeurs #PBS -v PBS_NUM_PROC_TOT=::JobNumProcTot::
provient de config.card via ./ins_job
1. Définition des limites temps CPUSur Brodie :#PBS -l cputim_job=1:00:00 limite en temps CPU pour
l’ensemble du jobSur Mercure :#PBS -l elapstim_req=1:00:00 limite en temps réel ‘elapsed’
pour l’ensemble du job
Initialisation des paramètres de batch (exemple PBS)
![Page 50: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/50.jpg)
Job_JobName : PBStableau des classes* IDRIS
brodie : news class =======================================================================Classes multiprocesseurs (<=8) au sein d'un noeud (MPI ou OpenMP)========================================================================
Parametres NQSII a specifier : #PBS -q multi #PBS -l cpunum_job=<Nproc> # Nombre de processeurs (1 <= Nproc <= 8)
^ -l cputim_job (limite en temps CPU par job) | 12:00:00 +--------------------------+ (12H) | | | p2t2 | | | | 1 <= Nproc <= 2 | | TMPDIR <= 45Gb | 1:00:00 +---------------------------+ (1H) | | | p2t1 | | | | 1 <= Nproc <= 2 | | TMPDIR <= 45Gb | +----------------------------+--> -l memsz_job (limite memoire par job) 15Gb
* Susceptible de changement permanent
![Page 51: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/51.jpg)
Job_JobName : PBStableau des classes* IDRIS
brodie : news class (suite)
* Susceptible de changement permanent
^ -l cputim_job | 48:00:00 +----------------------------- (48H) | | p8t2 | | 7 <= Nproc <= 8 | TMPDIR <= 300Gb 2:00:00 +----------------------------- (2H) | | p8t1 | | 7 <= Nproc <= 8 | TMPDIR <= 100Gb +----------------------------> -l memsz_job 60Gb
![Page 52: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/52.jpg)
Job_JobName : PBStableau des classes* CCRT
* Susceptible de changement permanent
mercure : classClasse de soumission: Queue Act Ena Nod Cpu Mem Time Type RL URL UAL Hosts-------- --- --- --- --- ---- ---- ------- ----- ----- ----- -----scal-new ENA ACT 1 1 8G 24h - - - - mercure02,mercure03scalaire ENA ACT 1 1 8G 24h - - - - mercureadmin-sx ENA ACT 8 8 52G Inf - - - - mercure10,mercure11,… mercure17admin-sx ENA ACT 3 16 962G Inf - - - - mercure20,mercure21,mercure22para-sx9 ENA ACT 3 16 962G 24h Normal - - - mercure20,mercure21,mercure22prio-sx9 ENA ACT 3 16 962G 24h Special - - - mercure20,mercure21,mercure22test-sx9 ENA ACT 3 16 962G 1h Urgent - - 1 mercure20,mercure21,mercure22 bigmem ENA ACT 1 1 64G 24h Normal - - 2 mercure10,mercure11 bigtime ENA ACT 1 1 32G 100h Normal - - 2 mercure12,mercure13,… mercure16parallel ENA ACT 4 8 40G 24h Normal - - 2 mercure10,mercure11,… mercure16 prod ENA ACT 1 1 20G 24h Normal - - 12 mercure10,mercure11,… mercure17 test ENA ACT 1 1 32G 1h Urgent 8 1 - mercure17testpara ENA ACT 4 8 52G 0.5h Urgent 1 1 - mercure10,mercure11,… mercure16
![Page 53: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/53.jpg)
Job_JobName : PeriodNb
Pour éviter de lancer une foule de petits jobs qui reprennent la file d’attente àchaque fois, il est possible de lancer en boucle n périodes par job.Le paramètre à modifier est dans Job_JobName (1 par défaut) : PeriodNb=1Ou dans le config.cardAttention! Modifier le paramètre PBS du temps en conséquence. 1. Définition des limites temps CPU
Sur Brodie :#PBS -l cputim_job=10:00:00 limite en temps CPU pour l’ensemble du jobSur Mercure :#PBS -l elapstim_req=10:00:00 limite en temps réel ‘elapsed’
pour l’ensemble du job
Lancement de plusieurs périodes par job
![Page 54: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/54.jpg)
Soumission - Contrôle
• qsub Job_SECHSTOM
• Contrôle – Mercure : qstat, mpp– Brodie : qstat
• Répertoire MONTEST en cours de simulation :
– COMP/*
– PARAM/*
– run.card.init
– run.card
– config.card
– Job_EXP00
– Script_Output*
Job_SECHSTOMconfig.cardrun.card.initrun.cardScript_Output*
modipsl
MY_EXPERIENCE
config
MONTEST
ORCHIDEE_OL
COMP PARAM
![Page 55: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/55.jpg)
# contient la date de la periode en cours ou en attente # last date of loop == .suivi[Configuration]#last PREFIXOldPrefix= SECHSTOM_20000131#Compute date of loop == .suiviPeriodDateBegin= 2000-02-01PeriodDateEnd= 2000-02-28CumulPeriod= 2# State of Job "Start", "Running", "OnQueue", "Completed"PeriodState= Running
[PostProcessing]
TimeSeriesRunning=nTimeSeriesCompleted=
run.card : le fichier de suivi 1/2
![Page 56: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/56.jpg)
[Log]# Executable SizeLastExeSize= ( 0, 0, 13241047 )
# CumulPeriod | PeriodDateBegin | PeriodDateEnd | RunDateBegin | RunDateEnd | RealCpuTime | UserCpuTime | SysCpuTime | ExeDate # 1 | 19820101 | 19821231 | 2010-06-21T17:00:59 | 2010-06-21T17:03:32 | 152.82000 | 144.66000 | 0.85000 | OOL_Jun_16_16:37# 2 | 19830101 | 19831231 | 2010-06-21T17:03:38 | 2010-06-21T17:06:35 | 177.19000 | 176.00000 | 0.82000 | OOL_Jun_16_16:37
run.card : le fichier de suivi 2/2
![Page 57: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/57.jpg)
Un peu plus en détail…
• Répertoire EXP00 prêt :
– COMP/* : information sur les composantes
– config.card : fichier de configuration de la simulation
– Job_SECHSTOM : Job à soumettre
– PARAM/* : fichiers de configuration des modèles
– run.card.init : fichier de suivi original
modipsl
MY_EXPERIENCE
config
SECHSTOM
ORCHIDEE_OL
Job_SECHSTOM COMP PARAMconfig.cardrun.card.init
orchidee.cardorchidee.driverstomate.cardstomate.driverorchidee_ol.cardorchidee_ol.driver
orchidee.def
![Page 58: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/58.jpg)
• Un fichier descriptif par composante (par ex orchidee.card)
– Fichiers d’entrée texte (orchidee.def)– Fichiers d’entrée binaires :
conditions initiales conditions limites (land_use)
– Fichiers de sorties binaires (netCDF)– Fichiers de sorties texte (used_run.def)– Fichiers de redémarrage (sechiba_rest.nc)
Flux des données (1/6)
![Page 59: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/59.jpg)
Flux des données (2/6) orchidee.card[UserChoices]LAIMAP=nROUTING=yNEWHYDROL=nOKCO2=ysechiba_LEVEL=11
[InitialStateFiles]List= (${R_INIT}/SRF/${config_UserChoices_TagName}/routing.nc, .), \ (${R_INIT}/SRF/${config_UserChoices_TagName}/soils_param.nc, .), \
(${R_INIT}/SRF/${config_UserChoices_TagName}/irrigated.nc, .)
[BoundaryFiles]List= ()ListNonDel= (${R_BC}/SRF/${config_UserChoices_TagName}/PFTmap_1850to2005_AR5_LUHa.rc2.nc, PFTmap.nc)
[ParametersFiles]List= (${SUBMIT_DIR}/PARAM/orchidee.def, .)
[RestartFiles]# List restart that have to be saved/restored each loop (file out, saved, and in) :List= (sechiba_rest_out.nc, sechiba_rest.nc, sechiba_rest_in.nc)
[OutputText]List= (out_orchidee)
![Page 60: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/60.jpg)
Flux des données (3/6)
[OutputFiles]
List= (sechiba_history.nc, ${R_OUT_SRF_O_M}/${PREFIX}_1M_sechiba_history.nc, Post_1M_sechiba_history), \ (sechiba_out_2.nc, ${R_OUT_SRF_O_H}/${PREFIX}_HF_sechiba_out_2.nc, Post_HF_sechiba_out_2), \ (orchidee_watchout.nc, ${R_OUT_SRF_O_M}/${PREFIX}_1M_watchout.nc, NONE)
![Page 61: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/61.jpg)
Post-traitement[OutputFiles]List= (sechiba_history.nc, ${R_OUT_SRF_O_M}/${PREFIX}_1M_sechiba_history.nc, Post_1M_sechiba_history), \ (sechiba_out_2.nc, ${R_OUT_SRF_O_H}/${PREFIX}_HF_sechiba_out_2.nc, Post_HF_sechiba_out_2), \ (orchidee_watchout.nc, ${R_OUT_SRF_O_M}/${PREFIX}_1M_watchout.nc, NONE)
[Post_1M_sechiba_history]Patches = ()GatherWithInternal = (lon, lat, veget, time_counter, Areas, Contfrac)TimeSeriesVars2D = (nobiofrac, alb_nir, alb_vis, bqsb, evap, fluxlat, fluxsens, gqsb, netrad, qair, rain, runoff, snow, snownobio, snowf, subli, tair, temp_sol, tsol_max, tsol_min, drainage)# ALMAOUTPUT#TimeSeriesVars2D = (nobiofrac, SWnet, LWnet, Qh, Qle, Qg, Qf, DelSurfHeat, DelColdCont, Snowf, Rainf, Evap, Qs, Qsb, Qsm, #DelSoilMoist, DelSWE, DelIntercept, AvgSurfT, RadT, Albedo, SWE, SoilMoist, SoilWet, SoilTemp, PotEvap, #ESoil, ECanop, TVeg, RootMoist, SubSnow, ACond, SnowFrac, SAlbedo, SnowDepth, dis, GPP)
ChunckJob2D = NONETimeSeriesVars3D = (lai, maxvegetfrac, vegetfrac, CO2FLUX, ptn)# ALMAOUTPUT#TimeSeriesVars3D = (ECanop, TVeg, GPP, CO2FLUX)
ChunckJob3D = NONESeasonal=ON
[Post_HF_sechiba_out_2]Patches= ()GatherWithInternal= (lon, lat, veget, time_counter, Areas, Contfrac)TimeSeriesVars2D= (cdrag,z0,coastalflow,,riverflow,,tsol_rad,vevapnu,,temp_sol,qsurf,albedo,,fluxsens,fluxlat,emis)ChunckJob2D= NONETimeSeriesVars3D= (CO2FLUX)ChunckJob3D= NONESeasonal= ON
![Page 62: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/62.jpg)
Calcul
Gestion des sources des composantes
IPSL Serveur cvs/svn
LibIGCM
Récupération de la configuration
Compilation
Exécution/ lancement du run
Connexion
Frontale
Description de la simulation
Modipsl
LibIGCM Choix des réglages physiques
![Page 63: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/63.jpg)
Calcul LibIGCM…
![Page 64: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/64.jpg)
CalculM
achine de post-traitement
LibIGCM…
LibIGCM
Traitement des fichiers de sorties
![Page 65: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/65.jpg)
CalculM
achine de post-traitement
LibIGCM…
LibIGCMOutil de recombinaison des fichiers produits par chaque processus de calcul. Etape en mode asynchrone.
![Page 66: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/66.jpg)
CalculM
achine de post-traitement
LibIGCM…
LibIGCM
Génération de séries temporelles de variables spécifiques.
![Page 67: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/67.jpg)
CalculM
achine de post-traitement
LibIGCM…
LibIGCMGénération de moyennes saisonnières.
![Page 68: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/68.jpg)
CalculM
achine de post-traitement
…
LibIGCM…
LibIGCM
![Page 69: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/69.jpg)
CalculM
achine de post-traitement
…
…
![Page 70: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/70.jpg)
Machine de post-traitem
ent
…
…
Web
Archive Fichiers bruts Fichiers post-traités et analyses
Fichiers post-traités et analyses
![Page 71: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/71.jpg)
Les utilitaires de post-traitement CCRT, IDRIS
modipsl
MY_EXPERIENCE
libIGCM
• create_ts• create_se• atlas_...• monitoring• clean_month
create_ts.job : séries temporelles tous les 10 ans
create_se.job : moyennes saisonnières tous les 10 ans
Retour des jobs de post-traitement là :ulam : $WORKDIR/IGCM_OUT/IPSLCM5A/JobNamemercure : $SCRATCHDIR/IGCM_OUT/IPSLCM5A/JobName
atlas_ORCA_LIM : pour océan et glace de meratlas_LMDZ : pour atmosphère atlas_ORCHIDEE : pour surfaces continentales
Les atlas sont basés sur ferret et sur fast : http://dods.ipsl.jussieu.fr/fast/
![Page 72: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/72.jpg)
Message en fin de simulation
A la fin d’une expérience, vous recevrez un message de ce type :
Dear login,
Simulation SECHSTOM is finished on supercomputer brodie03. Job started : 20000101 Job ended : 20001231 Ouput files are available in .../IGCM_OUT/OL2/SECHSTOM
![Page 73: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/73.jpg)
Comment vérifier que cela s’est bien passé?
• run.card : PeriodState=Completed
• Message de fin de simu reçu
• Fichiers sur le serveur de fichiers
• Post-traitements lancés puis finis
• ATLAS et monitoring sur serveur dods
modipsl
MY_EXPERIENCE
config
MONTEST
ORCHIDEE_OL
Job_SECHSTOM COMP PARAMconfig.cardrun.card.initrun.cardScript_Output*
![Page 74: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/74.jpg)
Arborescence sur serveur fichiers
TS_HF TS_MO
OL2/SECHSTOM
SRF MONITORING
JobName
ATLASOOL
RestartAnalyseOutput
[HF] MO
Debug SE_1980_1989
ulam : cd $HOMEGAYA/IGCM_OUTmercure : cd $DMFDIR/IGCM_OUT
SRFSE
SBG
![Page 75: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/75.jpg)
Arborescence sur serveur fichiers
ulam : cd $HOMEGAYAmercure : cd $DMFDIRIGCM_OUT/`-- OL2/SECHSTOM/ `-- JobName |-- ATLAS |-- Exe |-- MONITORING |-- OOL | |-- Debug | |-- Output | `-- Restart
|-- Out |-- SBG | |-- Analyse | | |-- SE | | `-- TS_MO | |-- Debug | |-- Output | | `-- MO | `-- Restart `-- SRF |-- Analyse | |-- SE | |-- TS_HF | `-- TS_MO |-- Debug |-- Output | | – HF | `-- MO `-- Restart
![Page 76: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/76.jpg)
Accès aux résultats de simulations
• Mise en ligne du monitoring et des atlas sur les serveurs dods :
dods IDRIS : http://dods.idris.fr/monlogin
dods CCRT : http://dods.extra.cea.fr/data/monlogin
• Accès aux simulations de référence
• Site simulations couplées :-
http://forge.ipsl.jussieu.fr/orchidee/wiki/ValidateOrchidee
https://forge.ipsl.jussieu.fr/igcmg/wiki/ContinentIPSLCM5
![Page 77: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/77.jpg)
Nomenclature des noms des fichiers de sortie
Output, Analyse, Debug, …${JobName}_${PeriodDateBegin}_${PeriodDateEnd}_XX_NomFichier
Output/HF et Analyse/TS_HF:
XX 10800s
Output/MO et Analyse/TS_MO
XX 1M
Analyse/SE :${JobName}_SE_${PeriodDateBegin}_${PeriodDateEnd}_NomFichier
Restart : ${JobName}_${PeriodDateEnd}_NomFichier
![Page 78: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/78.jpg)
![Page 79: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/79.jpg)
Monitoring
![Page 80: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/80.jpg)
Monitoring
![Page 81: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/81.jpg)
![Page 82: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/82.jpg)
IGCMG Web services : http://igcmg.lsce.ipsl.fr/
![Page 83: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/83.jpg)
http://igcmg.lsce.ipsl.fr/monitoring/
![Page 84: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/84.jpg)
Que faire si cela s’est mal passé?
• run.card : PeriodState=Fatal• Regarder le fichier Script_Output_xxxx
– Chercher la chaine ERROR par exemple
• Regarder le fichier xxxxx_error dans le répertoire de soumission– Contient le texte de sortie de ORCHIDEE_OL– Contient les erreurs brutales de toutes les composantes SRF et SBG
• Regarder les fichiers texte de sortie de ORCHIDEE– Serveur de fichiers– SECHSTOM/SRF/Debug/SECHSTOM_xxxxxx_output_orchidee_0000, … _0003
![Page 85: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/85.jpg)
SPINUP
# Initialisation for spin-up :# orchidee with sechiba alone (!!! if ok_stomate == n !!!)duree_nostomate=1# orchidee with stomateduree_inistomate=0# teststomate (only if duree_nostomate or duree_inistomate > 0)duree_offlineini=0
# Loop configuration for spin-up :# The whole job is restarted n_iter timesn_iter=10# orchidee with sechiba (and stomate if ok_stomate=y below)duree_sechiba=1# teststomateduree_stomate=1# forcesoilduree_carbonsol=1
# Finalization for spin-up :# all orchideeduree_final=1# This last parameter must be non-zero.
SECHIBA init
SECHIBA+STOMATE init
TESTSTOMATE
AU FINAL => « JobNameHIST »
SECHIBA+STOMATE
TESTSTOMATE
FORCESOIL
SECHIBA+STOMATE
Multi-monitoring=> comparaison des étapes
![Page 86: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/86.jpg)
FLUXNET
Site 1 Site 2 Site 3 Site N…....
SPINUP SPINUP SPINUP SPINUP
PFTsLAIsYEAR initNbYEARs
Choix du JobName Script d'installation « local » : install Job_FLUXNET_Validation => job à lancer Job_Post_FLUXNET
![Page 87: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/87.jpg)
Auto descriptif
Portable
à Accès direct
Modifiable
Partageable
Le fichier contient l’information sur les variables contenues
Fichiers accessibles par des machines ayant des modes différents de stockage des entiers, des caractères et des nombres à virgules flottantes
Possibilité d’accéder à une donnée sans avoir à parcourir l’ensemble des données qui la précède
Possibilité d’ajouter des données dans un fichier
Possibilité d’avoir simultanément un accès en écriture et plusieurs accès en lecture
Annexe :Caractéristiques d’un fichier NetCDF
![Page 88: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/88.jpg)
NetCDF, nco, cdoConvention CF
Netcdf : http://www.unidata.ucar.edu/packages/netcdf/
nco : http://nco.sourceforge.net/
cdo : http://www.mpimet.mpg.de/fileadmin/software/cdo/
Convention CF : http://www.cgd.ucar.edu/cms/eaton/cf-metadata/
![Page 89: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/89.jpg)
• Informations sur les dimensions
• Informations sur les attributs
(voir conventions CF)
• Informations sur les attributs des
variables
( sans leurs valeurs)
(voir conventions CF)
Structure du fichier NetCDF – En-têtedimensions: lon = 72 ; lat = 46 ; presnivs = 19 ; time_counter = UNLIMITED ; // (1 currently)
// global attributes: :Conventions = "GDT 1.3" ; :file_name = "histmth.nc" ; :production = "An IPSL model" ; :TimeStamp = "2003-MAR-05 10:37:38 GMT+0100" ; :associate_file = "dyn_hist_ave.nc dynzon.nc histhf.nc histmth.nc sechiba_out.nc cpl_atm_tauflx.nc cpl_atm_sst.nc" ;
variables: float lon(lon) ; lon:units = "degrees_east" ; lon:valid_min = -180.f ; lon:valid_max = 175.f ; lon:long_name = "Longitude" ; lon:nav_model = "Default grid" ; float lat(lat) ; lat:units = "degrees_north" ; lat:valid_min = -90.f ; lat:valid_max = 90.f ; lat:long_name = "Latitude" ; lat:nav_model = "Default grid" ; float presnivs(presnivs) ; presnivs:units = "mb" ; presnivs:positive = "unknown" ; presnivs:valid_min = 388.2433f ; presnivs:valid_max = 100426.5f ; presnivs:title = "presnivs" ; presnivs:long_name = "Vertical levels" ; float time_counter(time_counter) ; time_counter:units = "seconds since 1979-01-01 00:00:00" ; time_counter:calendar = "360d" ; time_counter:title = "Time" ; time_counter:long_name = "Time axis" ; time_counter:time_origin = " 1979-JAN-01 00:00:00" ;
float tsol(time_counter, lat, lon) ; tsol:units = "K" ; tsol:missing_value = 1.e+20f ; tsol:valid_min = 1.e+20f ; tsol:valid_max = -1.e+20f ; tsol:long_name = "Surface Temperature" ; tsol:short_name = "tsol" ; tsol:online_operation = "ave(X)" ; tsol:axis = "TYX" ; tsol:interval_operation = 1800.f ; tsol:interval_write = 2592000.f ; tsol:associate = "time_counter nav_lat nav_lon" ;
ncdump -h COURS_1m_19790101_19790130_histmth.nc
![Page 90: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/90.jpg)
• données de taille fixe
• données de taille variable
Structure du fichier NetCDF - Données
data:
tsol = 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 246.818, 248.3489, 248.3532, 248.3445, 248.003, 247.5628, 247.1862, 246.7824,…
![Page 91: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/91.jpg)
Utilitaires nco
ncdump : génère sur la sortie standard une représentation textuelle CDLd’un ensemble de meta-données netCDF avec la possibilité d’exclure toutou partie de données variables. La sortie de ncdump doit pouvoir servir d’entrée à ncgen.
ncgen : génère un fichier netCDF ou un programme C ou FORTRAN permettant
de créer un fichier netCDF
ncdump et ncgen peuvent donc être utilisées comme fonctions inverses
pour passer d’une représentation textuelle à une représentation binaire
et inversement.
Exemple :> ncdump –p15 –b f COURS_1m_19790101_19790130_histmth.nc > COURS_1m_19790101_19790130.cdl> emacs COURS_1m_19790101_19790130.cdl &> ncgen –o COURS_1m_19790101_19790130.nc COURS_1m_19790101_19790130.cdl
![Page 92: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/92.jpg)
Utilitaires nco
ncdiff soustrait les variables d’un fichier file_1 à celles d’un fichier file_2 correspondantes et stocke les résultats dans un fichier file_3.
ncrcat concatène des variables enregistrées parmi un nombre arbitraire de fichiers d'entrée. La dimension du fichier netCDF de sortie est par défaut la somme des dimensions des fichiers netCDF d’entrée. Les fichiers d'entrée peuvent avoir des tailles différentes mais tous doivent avoir des dimensions spécifiées. L’enregistrement des coordonnées doit avoir la même syntaxe.
Exemple : ncrcat –v tsol COURS_1m_19790[1-9]01_19790[1- 9]30_histmth.nc COURS_1m_19791[0-2]01_19791[0-2]30_histmth.nc COURS_1m_19880[1-9]01_19880[1-9]30_histmth.nc COURS_1m_19881[0-2]01_19881[0-2]30_histmth.nc COURS_1m_19790101_19880130_TSOL.nc
Série temporelle de la variable TSOL sur 10 ans
![Page 93: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/93.jpg)
Utilitaires nco
ncra calcule la moyenne sur un nombre variable de fichiers d’entrée. C’est une moyenne temporelle sur la grille spatiale. Ce qui donne 1 seule valeur dans les fichiers de sorties. ncra ne calcule pas de moyenne pondérée.
ncea calcule la moyenne sur un nombre variable de fichiers d’entrée. C’est une moyenne spatiale sur la grille temporelle. Ce qui donne autant de valeurs moyennes que de pas de temps.
ncea fait la moyenne « fichier à fichier » sur chaque point de l’axe des temps
ncra fait la moyenne « fichier à fichier » sur l’ensemble des points de l’axe des temps
t
t
t
Nombre de valeurs de moyenne égale au nombre de sorties par fichiers
1 unique valeur de moyenne
![Page 94: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/94.jpg)
Utilitaires nco
ncks permet d’extraire une série de données qu’il écrit sur la sortie standard sous forme ASCII (comme ncdump) et qu’il écrit également sous forme d’un fichier binaire netCDF
Exemple : ncks -v sosstsst COURS_1m_19790101_19790130_grid_T.ncCOURS_1m_19790101_19790130_SOSSTSST.nc…ncks -v sosstsst COURS_1m_19881201_19881230_grid_T.ncCOURS_1m_19881201_19881230_SOSSTSST.ncncrcat –v sosstsst COURS_1m_19790[1-9]01_19790[1-9]30_grid_T.nc COURS_1m_19791[0-2]01_19791[0-2]30_grid_T.nc COURS_1m_19880[19]01_19880[1-9]30_grid_T.nc COURS_1m_19881[0-2]01_19881[02]30_grid_T.ncCOURS_1m_19790101_19880130_grid_T.nc
Série temporelle de la variable SOSSTSST sur 10 ans
![Page 95: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/95.jpg)
Utilitaires cdo (Climate Data Operator)
![Page 96: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/96.jpg)
Utilitaires cdo (Climate Data Operator)
![Page 97: Juin 2010 Groupe de travail Plate-forme. Le modèle couplé de lIPSL Contexte – Présentation – IPSL – Pôle de modélisation du climat et CMIP5 – Historique.](https://reader035.fdocument.pub/reader035/viewer/2022062404/551d9db6497959293b8db3a9/html5/thumbnails/97.jpg)
Utilitaires cdo (Climate Data Operator) File information (info, sinfo, diff, diffv, ...) File operations (copy, cat, merge, split, ...) Selection (selcode, selvar, sellevel, seltimestep, ...) Missing values (setctomiss, setmisstoc, setrtomiss) Arithmetic (add, sub, mul, div, ...) Mathematical functions (sqrt, exp, log, sin, cos, ...) Comparision (eq, ne, le, lt, ge, gt, ...) Conditions (ifthen, ifnotthen, ifthenc, ifnotthenc) Field statistic (fldsum, fldavg, fldstd, fldmin, fldmax, ...) Vertical statistic (vertsum, vertavg, vertstd, vertmin, ...) Time range statistic (timavg, yearavg, monavg, dayavg, ...) Ensemble statistic (enssum, ensavg, ensstd, ensmin, ...) Regression (detrend) Field interpolation (remapbil, remapcon, remapdis, ...) Vertical interpolation (ml2pl, ml2hl) Time interpolation (inttime, intyear)