AMDA Automated Multi Dataset Analysis un outil du CDPP cdpp-amda.cesr.fr Vincent Génot, C. Jacquey,...
-
Upload
pascale-clerc -
Category
Documents
-
view
107 -
download
2
Transcript of AMDA Automated Multi Dataset Analysis un outil du CDPP cdpp-amda.cesr.fr Vincent Génot, C. Jacquey,...
AMDAAMDA
Automated Multi Dataset Analysis
un outil du CDPPcdpp-amda.cesr.fr
Vincent Génot, C. Jacquey, E. Budnik, R. Hitier, M. Bouchemit, M. Gangloff, E. Pallier
Evolution du CDPP
Créé en 1998 par l’INSU et le CNES
Missions:- Archivage à long terme des données obtenues par des expériences à partcipation française- Valorisation des données, SVA (Services à Valeur Ajoutée)- Projets d’interopérabilité, Observatoires Virtuels
Juin 2005 >: extension des objectifs, accrétion E. Budnik et C. Jacquey- Mise à disposition de données “fraiches” (THEMIS, CLUSTER,..)- Mise à disposition à des données complémentaires- Développement d’outils en ligne génériques et automatisés- Animation et accueil scientifique autour de ses services
présentation K. Bocchialini
Plan de l’exposé
- motivation, génèse, objectifs du projet
- le coeur d’AMDA : paramètres et tables d’événements
- vers une insertion dans l’OV : connexion à des bases extérieures
- la science avec AMDA
Motivation / génèse du projet
- Initialement pensé pour valoriser les données du CDPP
- Une première phase : réutilisation de l’existant, test d’intégration
- Idée de l’espace de travail qui centralise toute la production de l’utilisateur
- Construit autour d’une base + outil de visualisation développé pour la mission magnétosphérique CLUSTER (DD-Cluster, interface web)
Développement :
- Principalement 2 développeurs “dans les murs” (IDL, C, Fortran, javascript)- 1ère version en quelques mois-Amélioration constante du prototype en relation avec les avis du Comité des Utilisateurs (CU) du CDPP
-Nouvelles fonctionnalités-Intégration de standards (SPASE)-Ouverture vers les VO
Spécificités / contraintes de la discipline
1/+ Les données archivées sont des scalaires, des vecteurs, des tenseurs, des spectres, ... ordonnés par le temps
- Il n’existe pas un format de données standard adopté par tous
2/+ Il existe une multitude de bases de données spécialisées
-Le travail scientifique requiert une confrontation des résultats de plusieurs instruments simultanément : études multi-échelles, en météorologie spatiale, héliophysique, planétologie comparée
Nécessité d’un outil intégré (gain de temps et d’énergie)
Nécessité d’un moyen de communiquer l’information (entre utilisateurs et entre bases)
End products : - simple browse- data download- generate and export time tables (and catalogues)- perform statistics- extract sub-databases
AMDA : Objectives
Ease manipulation of data from heterogeneous origins
PlotCombineSearch
MissionInstrument
Model
LocalRemote
User owned
1/ Activité
2/ Données
3/ Période temporelle
Débuter avec AMDA
4/ Transformations
Le paramètre :
Un paramètre est une série temporelle :- champ magnétique ou électrique- moment particule- indice- ...- une combinaison
valide sur un intervalle de temps
à une résolution temporelle donnée
utilisé pour :- la représentation visuelle- la recherche conditionnelle- le téléchargement, ...
17/11/199431/12/2005Sampling 4s
L’organisation en fichiers dans l’archiveest cachéée à l’utilisateur
Contruction d’un paramètre 1/2
clics
Résolution temporelle
Nom du paramètre
Description
nouveau paramètre dans l’espace de travail
Le nouveau paramètre est maintenant un élément virtuel de la base de données. Il sera calculé à la volée seulement quand il sera demandé pour un
tracé, une recherche conditionnelle, un téléchargement
Des paramètres de- différentes missions- différents instruments- avec différentes résolutionpeuvent être combinés
Contruction d’un paramètre 2/2
Base locale
Espace utilisateur
Les tables d’événements 1/2
-Les tables d’événements (time tables, event lists) sont une collection de temps quand quelque chose se passe ou d’intervalles quand une condition est vérifiée
-Elles sont produites et gérées “manuellement” par les scientifiques pour leur usage propre ou celui d’une communauté restreinte
-AMDA augmente les potentialités de ce vecteur d’information en offrant un outil générique pour créer, gérer et communiquer ces objets
Les tables d’événements peuvent être utilisées pour :- extraire une sous base de données,- exécuter des traitement massifs ou interactifs,- créer des catalogues,- servir de référence à la communauté
Créer une table d’événements : 1- Recherche conditionelle
Editer une condition avec des opérateurs/fonctions mathématiques
clicsT/T// > 1
Definir un intervallede temps
ou utiliser une autre table d’événements
Exemple: recherche des événements de courants de queue “encerclés” par CLUSTER
Test:• X1< -10 Re • BX1 * BX2 * BX3 * BX4 > 0• min([BX1 BX2 BX3 BX4]) < 0• max([BX1 BX2 BX3 BX4]) > 0
• position : dans la queue magnétosphérique• 2 satellites sont au dessus de la couche de courant et 2 autres en dessous
champmagnétique
champmagnétique
X coordinate
cf exposé de C. Jacquey
Créer une table d’événements : 2- Inspection visuelle
Les intervalles intéressants sont sélectionnés par clics et ajoutés à la table d’événements
The time table may be editedin the user workspace
Tables may be exported in
VOTable format
Time Table format
VOTable latest release: Version 1.1 - August 11, 2004
VO standard and as such supported by IVOA
VOTable is designed as a flexible storage and exchange format for tabular data, with particular emphasis on astronomical tables.
Complex tables (catalogues) may be produced with:- multiple time tags- associated parameters : average, max, min- localisation information- user supplied classification indices
Extension des tables d’événement : catalogue
Temps début Temps fin P1 : <Bmag>
P2 : <N> P3 : <user_param>
P4 :
User_class
P5 : temps
2008-01-29T
08:30:30
2008-01-29T
08:40:30
6. 12. 44. 2 2008-01-29T08:32:30
2008-01-29T
09:30:30
2008-01-29T
10:30:30
7. 10. 45. 1 2008-01-29T10:05:30
… … … … … … …
++
++
+++
+
+
++
+
++
+
+
++
+++
+P2
P1
P3
P1
++
+ + ++++
+++
Table d’événements Paramètres statistiques, classification, temps
Visualisation graphique :
Extension des tables d’événement : catalogue
Tables d’événements 2/2
- La description complète d’une table d’événements peut être compliquée-sources de données : origine, résolution, modes, ...-critères de sélection : mathématiques / visuels-paramétrage des méthodes utilisées (filtre temporel, modèles)-...
+ Les tables d’événements peuvent être un vecteur d’échanges entre centres de données et entre utilisateurs
- collaboration entre l’archive CLUSTER (CAA), CDPP et QSAS, CL- 1ère réunion : 25 et 26 février 2008- définition : time format (ISO), table format (VOTable)- mise en place d’outils de gestion des tables d’événements :
- union, intersection, extension, shift, upload- réflexion sur les catalogues
Service 1
Service 2
Magnetospheric data
Service 3
Solararchive
IonosphereThermosphere
archive
CDAWebCDPP CAAHR
archive 2
Time table- -- -- -
AMDA
What were the input conditions ?
What are the consequences ?
Time table circulation in a multi-archive environment
applying delay
QSAS
Commande de données directe à l’archive CLUSTER (CAA)
CAA : à terme, archive de toutes les données haute résolution de CLUSTER
Connexion à des bases externes
1. Lorsqu’une base est connectée à AMDA toutes les données de la base peuvent être visibles dans AMDA (FTP, WebService)
2. L’utilisateur définit le groupe de paramètres de la base externe qu’il veut analyser (Interface de construction d’arbre)
3. A la volée, les paramètres sont directement intégrés dans AMDA afin d’être manipulés comme des paramètres de la base locale
L’utilisateur peut se construire facilement sa base de données personnelle à partir de bases existantes
base 1
base 2base utilisateur
Interface de construction de l’arbre de données extérieures
Base externe Arbre des données choisies par l’utilisateur
- mise à jour quotidienne des données disponibles sur les bases distantes- pas de notion de fichier pour l’utilisateur- AMDA peut fonctionner sans base locale
intégration dans les Observatoires Virtuels
Arbre de données extérieures
Base locale
Extrait de la base externeLes paramètres sont disponibles pour des tracés, la recherche conditionnelle, ... à la volée, ce qui implique :-le téléchargement des données (par bloc de 3j min)-la transformation de format-la création du paramètre AMDA
Bases accessibles à travers AMDA
Actuellement :
- CDAWeb (multi-missions)- MAPSKP (Cassini: MAG/CAPS/RPWS/TRAJ, démonstrateur Europlanet)
Prochainement :
- Themis (base miroir au CESR)- Cluster Active Archive (CAA)- SKR (Cassini: RPWS/HFR)- Venus Express (champ magnétique)
Baselocale
AMDA
Système
Constructeur de param
ètres
CDAWeb
CDPP
MAPSKP
Connexion à des bases externes
Connecteur standardisé = méthodes de requête (SOAP) + description des données (SPASE, IVOA)
Connecteur « maison » others
Production scientifique avec AMDAAnalyses statistiques multi-missions
• Principe d’utilisation-Définition d’un critère sélectif sur les données
-Critère mathématique-Critère visuel
-Création de table d’événements-Itération avec combinaison possible de critères
-Extraction des données et travail hors-ligne
• Exemples-Multi-mission study of plasma sheet conditions minutes before substorm onsets (Jacquey et al.)-The active plasma sheet: definition of 'events' and statistical analysis (Louarn et al.)-Statistical study of Alfvénic fluctuations in the Earth magnetosheath (Alexandrova et al.)-Statistical study of mirror mode fluctuations in the Earth magnetosheath (Génot et al.)
• Collaborations- Visites scientifiques au CDPP- Organisation d’ateliers : - Themis (novembre 2007)
- magnétogaine (courant 2008)
Statistics of mirror mode events in the Earth’s magnetosheath
F=1
F=0
F=0
F=1
Relative number ofmirror mode events
Total number of 5 minmagnetosheath crossings
magnetopause
shock
Génot et al. 2008
Statistical study of Alfvénic fluctuations in the Earth magnetosheath
O. Alexandrova(1), E. Budnik(2), V. Génot(2),
C. Lacombe(1), C. Jacquey(2), I. Dandouras(2), E. Lucek(3)
(1)LESIA/CNRS, Observatoire de Paris, France
(2)CESR/CNRS, Toulouse, France (3)Imperial College, London, UK
EGU General AssemblyVienna, Austria, 15-20 April 2007
Condition = AB>1
magnetopause
shock
... other ways to make science with AMDA
1/ Multi-mission study of plasma sheet conditions minutes before substorm onsets (Jacquey et al.) : - 25 years of data : ISEE, IMP, IRM, POLAR, GEOTAIL, WIND, ACE, CLUSTER- combined approach:
-automatic search = mathematical description of the temporal change in the AL index-semi automatic = visual inspection to classify cases in different catalogues
2/ The active plasma sheet: definition of 'events' and statistical analysis (Louarn et al., 2006, ICS8)- define conditions : a lower threshold for the low frequency magnetic fluctuations and a minimal duration for each events- produce time tables accordingly- download a wide (resampled) dataset and work offline
Actions dans le cadre de Europlanet / FP6
Registry :
-Description SPASE of several planetary plasma data (MAPSKP, VEX, MEX)-Building a registry-Building a search engine-Goals: demonstration and experimentation (standard versus user requirements, SPASE extensions, …)
Démonstrateur scientifique:
-Based on AMDA-Using distant data (MAPSKP, VEX-MAG, HST) and local data-High level tools and functionalities-Goals: demonstration and experimentation
AMDA est un outil au service de la communauté
vos commentaires, critiques et contributions sont les bienvenus ... ... et même nécessaires !
- [email protected] forum (lien “feedback” à partir de l’interface web)- twiki (contributions aux nouvelles fonctionnalités par ex.)- contact avec le CU (présidé par J.L. Pinçon)
permet de définir les priorités de développement scientifique en accord avec le CU en interne, permet de définir les évolutions d’architecture nécessaire
Démonstration d’AMDA à la session poster
- Si le réseau fonctionne- Si tout le monde n’est pas connecté en même temps !
cdpp-amda.cesr.fr
...
Application du démonstrateur sur le cas scientifique“Solar wind / saturn magnetosphere interaction and auroras”
Prototype de ‘Registry’Recherche de la localisation de la resource
(MAPSKP, HST aurora, VEX, ACE)
Access, extraction of the targeted data (distant or local)
Integrated analysis
user
MAPSKP
Base locale
VEX-MAGGraz
HST
Request
AMDA/Planéto
AMDA-NG
AMDA “refactoring”ModularisationDocumentationFiabilisationFonctionnement “universel” (indépendent de la plate-forme, de l‘OS, du navigateur, …)
Mise en place de nouvelles fonctions Fonctions temporelles Time-Table Manager Fonctions physiques…
Développement des capacités d’interopérabilité d’AMDA SPASE-based connector IVOA-based connector Time-Table exchange
Architecture d’AMDA
Contexte national
- Mission du CDPP : valoriser les données de missions satellites françaises ou à participation française dans le domaine de la physique des plasmas
- Pour dynamiser l’utilisation du centre : nécessité de dépasser le cadre de la “simple” archive
développement d’un outil au service de la communauté
Contexte international
- Les observatoires virtuels en physique spatiale sont balbutiants
- Implication du CDPP dès l’origine dans la mise au point de standard (modèle de données SPASE)
- Implication dans Europlanet
“On peut se mettre dans la course”
http://vspo.gsfc.nasa.gov/websearch/dispatcher
An example of registry for space physics: VSPO