Accès à la plateforme
En s'appuyant sur les ressources et services numériques de l'IPSL (appelés ESPRI), l'infrastructure de recherche CLIMERI-France propose une plateforme d'analyse multi-modèles appelée ESPRI-MOD. A travers ESPRI-MOD, les utilisateurs et partenaires de CLIMERI-France peuvent accéder facilement et de façon transparent à un ensemble de données issues des simulations climatiques globales et régionales de référence qui alimentent les exercices internationaux
Cette plateforme multi-sites est construite en étroite collaboration avec les centres HPC partenaires (TGCC et IDRIS). Via une architecture réseau haut-débit, les utilisateurs d'ESPRI peuvent accéder de façon simple et directe :
- A l'intégralité des données de simulations climatiques produites par l'IPSL (soit 2Po de données hébergées au TGCC)
- A un subset de données multi-modèles téléchargées depuis la plateforme internationale ESGF (Earth System Grid Federation) à l'IDRIS (soit 1Po de données hors-IPSL disponibles).
ESPRI offre également la possibilité d'agrémenter cette base de données multi-modèles à la demande.
En participant au projet GAIA-DATA (PIA3), CLIMERI-France va se doter :
- D'un accès direct aux données du CNRM en construisant un lien réseau dédié vers ESPRI,
- De plusieurs environnements virtuels de recherche incluant de nouveaux services et technologies d'exploitation et de visualisation de données (Notebooks, Xarray, Dask, etc.)
- D'une interopérabilité transparente avec les données d'observation du Système Terre (données satellitaires, campagnes, etc.) en provenant des infrastructures de recherches nationales DATA-TERRA et PNDB.
Etape 1 : Prendre contact
- Si vous êtes un utilisateur ou partenaire de CLIMERI-France, l'accès à la plateforme est gratuit. Vous pouvez passez à l'étape 2.
- Si vous êtes un acteur externe à CLIMERI-France (entreprises privée, associations, etc.), faire une demande de devis à meso-support@ipsl.fr qui validera l'ouverture de compte sur le mésocentre ESPRI.
Etape 2 : Ouverture de compte
Faire une demande d'ouverture de compte sur le mésocentre ESPRI de l'IPSL.
Etape 3 : Se connecter sur ESPRI
Une fois votre demande validée, et votre compte créé vous pourrez vous connecter en SSH sur les serveurs CICLAD ou ClimServ d'ESPRI.
Etape 4 : Consulter l'aide en ligne
Il est fortement recommandé de consulter l'aide en ligne du mésocentre avant de débuter vos analyses.
Etape 5 : Accès aux données
Vous pouvez accéder aux données de références CLIMERI-France directement depuis la racine "/bdd". Exemples :
- /bdd/CMIP5
- /bdd/CMIP6
- /bdd/CORDEX
Si vous n'avez pas accès en lecture à ces dossiers, vous pouvez en faire la demande à meso-support@ipsl.fr.
La plateforme ESPRI-MOD n'héberge pas l'intégralité des données CMIP ou CORDEX disponibles sur ESGF. Nous mettons régulièrement la base données à jour en fonction :
- Des besoins pour les rapports du GIEC,
- Des demandes récurrentes des utilisateurs,
- De l'espace disque disponible (curation des données froides).
Il est cependant possible de formuler une requête pour ajouter des données sur la plateforme ESPRI-MOD : nous les téléchargeons pour vous ! Nous proposons alors :
- Une vitesse de transfert d'environ 4-5To/jr.,
- La mise en arborescence dans l'espace "/bdd",
- La gestion du versionnement des données.
Etape 1 : Explorer la base de données existantes dans "/bdd"
Si votre besoin requiert des données qui ne sont pas sur "/bdd" alors il vous faut explorer le catalogue ESGF.
- Les données dont vous avez besoin NE sont PAS ESGF : pas de téléchargement possible mais vous pouvez nous contacter pour vous rapprocher du groupe de modélisation susceptible de publier les données dont vous avez besoin.
- Les données dont vous avez besoin SONT sur ESGF : passez à l'étape 2.
Etape 2 : Explorer l'archive ESGF
Le téléchargement de données passe par les noeuds de données ESGF (Earth System Grid Federation).
Pour faciliter l'expression de vos besoins, il est recommandé d'utiliser l'interface graphique pour vérifier que les données demandées ont été publiées par les centres de modélisations en question.
Il est possible qu'un centre de modélisation choisisse de ne pas publier des données d'une expérience/variable/fréquence. Dans ce cas de figure, il nous est impossible de la télécharger.
Les interfaces graphiques ESGF sont disponibles sous l'ancienne version CoG: https://esgf-node.ipsl.upmc.fr/ et sous la nouvelle interface Metagrid (encore en phase de test mais plus facile à utiliser): https://aims2.llnl.gov/search
Etape 3 : Formuler votre demande
Une intégration future permettra de générer le fichier décrivant votre recherche sur ESGF automatiquement, mais pour le moment il faut retranscrire manuellement les critères choisis.
Créer un fichier (.txt ou .yaml par exemple) dans lequel vous indiquez les paramètres répondant à votre besoin en suivant la syntaxe suivante :
$> vi ma_requete.txt
#login@ipsl.fr
project:CMIP6
experiment:historical,amip
model:EC-Earth3,Can-ESM5,MIROC6
ensemble:r1i1p1f1
variable:clt,tas
frequency:day
Eviter les espaces dans la listes de termes choisis, ça nous facilite la tâche 🙂
PS: pour une demande complexe, il est possible d'optimiser la demande en lisant la documentation de notre outil de réplication esgpull: https://esgf.github.io/esgf-download/, c'est complètement optionnel.
Etape 4 : Envoyer votre requête
Envoyer votre demande (et le fichier) à l'équipe ESPRI-MOD (replication@listes.ipsl.fr). Votre demande est examinée (espace requis vs. espace libre) :
- Soit nous validons directement votre demande,
- Soit nous précisons ensemble vos attentes pour satisfaire aux espaces de stockage.
Nous vous notifions dès que vos données sont disponibles.
Avec CMIP6, CLIMERI-France au travers du projet IS-ENES3 a contribué à la mise en place de plusieurs services ESGF :
Earth System Documentation (ES-DOC)
ES-DOC est un écosystème d'outils standards permettant la documentation des simulations climatiques. Vous pouvez consulter la documentation des modèles ou expériences CMIP6 directement depuis l'explorateur ES-DOC. Egalement, tous les fichiers netCDF CMIP6 disponibles sur la plateforme ESPRI-MOD comporte un attribut "further info URL". Cet attribut donne l'adresse d'une page web qui recueille toute l'information disponible sur une simulation CMIP6 :
- Liens vers la documentation du modèle et de l'expérience
- Liens vers le portail ESGF
- Liens vers l'errata
- Liens vers la citation
Errata
Un service d'errata centralisé a été déployé pour CMIP6. Il regroupe et décrit les problèmes découverts jusqu'à aujourd'hui sur des données CMIP6, leur sévérité, leur état (corrigé ou non), etc. Vous pouvez facilement interroger cet errata pour connaitre l'état des datasets que vous utilisez pour votre analyse, tel que :
- L'historique des versions,
- Disposez-vous de la dernière version,
- Les raisons qui ont fait aboutir à de nouvelles versions.
Persistent IDentifier (PID) ou "Handle"
Lors de sa publication sur ESGF chaque fichier se voit attribuer un identifiant unique et immuable appelé PID. Cet identifiant est enregistré de façon permanente même si la donnée vient à être retirée ou supprimée. Le format de cet identifiant vous permet d'accéder à une page web donnant accès à :
- L'identifiant du jeu de donnée,
- La généalogie des versions,
- Les liens vers l'errata.
Cet identifiant peut également être directement utilisé afin de citer un dataset ou un fichier lors de la soumission d'un article scientifique.
La plateforme ESPRI-MOD n'offre pas qu'un simple accès aux données. Nous vous accompagnons également tout au long de votre recherche et de votre analyse pour
- Vous aider à naviguer dans les catalogues ESGF,
- Vous familiariser avec les vocabulaires CMIP et/ou CORDEX,
- Définir les variables, fréquences, etc. nécessaires à votre projet scientifique,
- Vous guider dans la prise en main des logiciels disponibles et le respect des bonnes pratiques d'exploitation des ressources d'ESPRI,
- Répondre rapidement à vos questions.
N'hésitez pas à nous contacter : glipsl@ipsl.fr
Voir également le webinar : Services et Accès aux données CMIP6