e-Lettre N°1 – CMIP6 : De la production à la publication de données

e-Lettre Climeri-France N°1 - Novembre 2020

CMIP6 : Modèles et simulations

CMIP6 : De la production à la publication de données

Vue simplifiée du nouvel environnement de modélisation utilisé pour CMIP6 à l’IPSL et au CNRM-CERFACS. Le serveur d’entrée/sortie XIOS (IPSL) et l’outil dr2xml (CNRM) permettent de produire des fichiers netCDF directement conformes aux standards CMIP6 (compatibles CMOR3), évitant les étapes lourdes de post-processing pour calcul de diagnostics dérivés et réécriture des fichiers.

Avec CMIP6, l’exercice d’intercomparaison de modèles climatiques a atteint une dimension et une complexité sans précédent : nombre de simulations à réaliser, quantité et diversité des variables à produire selon les objectifs scientifiques visés par chaque expérience numérique (“Data Request”), exigences en termes de format de fichiers et de métadonnées. Les chaînes de production et de gestion/traitement de la donnée (“workflows”) ont dû être entièrement revisitées pour permettre ce passage à l’échelle.

Pour les modèles de l’IPSL et du CNRM-CERFACS, deux outils ont joué un rôle déterminant : le serveur d’entrée-sortie de l’IPSL “XIOS”, et un logiciel python, “dr2xml”, permettant de créer les fichiers de configurations nécessaires à XIOS. “dr2xml” a été développé spécifiquement par le CNRM-CERFACS pour les besoins de l’exercice CMIP6 : il permet de configurer automatiquement XIOS selon la Data Request, et ce pour chaque simulation. XIOS, interfacé dans chacune des composantes des modèles (atmosphère, océan, surfaces continentales, glace de mer, fleuves et rivières) a permis de produire les données standardisées, c’est-à-dire directement au format attendu par CMIP6 et de s’affranchir ainsi des anciennes chaînes de post-traitement. De nouvelles fonctionnalités ont notamment été implémentées dans XIOS pour effectuer, à la volée, sur les variables de sorties de modèle, les opérations requises par la Data Request.

L’ensemble des simulations réalisées représente plus de 110 000 ans de climat simulé et ont requis 670 Millions d’heures de calcul sur les plateformes de calcul haute performance : 330 Mh sur les super-calculateurs Curie et Joliot-Curie du TGCC-CEA et Ada de l’IDRIS-CNRS pour les modèles IPSL-CM6, et 340 Mh sur le calculateur Beaufix de Météo-France pour le CNRM-CERFACS, dont la configuration haute résolution CNRM-CM6-HR et la configuration “système terre” CNRM-ESM2.

Après une étape de contrôle qualité (qui permet de vérifier que les données ne sont pas corrompues et en conformité avec les standards exigés), les données produites par les modèles de l’IPSL et du CNRM-CERFACS sont mises à la disposition des utilisateurs, via le réseau ESGF (Earth System Grid Federation), une grille mondiale de données distribuées. A ce jour, nos deux centres ont publié près de 800 000 jeux de données pour plus de 2 000 simulations, ce qui représente un total de 1.5 Po. In fine, ce sont environ 2.3 Po attendus sur l’ESGF, soit pratiquement 5 fois l’exercice CMIP5.

Rédacteurs : M.-P. Moine, G. Rigoudy et G. Levavasseur

  • Pour accéder à tous les articles de la e-Lettre N°1, cliquer ici

 

  • Pour obtenir la version imprimable de la e-Lettre N°1, cliquer sur l'image