Aller au contenu

CR Réunion Calcul CPHT du 13/12/2021

Présents : Y. Fitamant, V. Fofana, L. Sanchez-Palencia (PMC), A. Canou (Plasmas), T. Nicolas (Plasmas), M. Ferrero (PMC), I. Settouraman (IDCS), H. Lutjens (Plasmas), A. Subedi (PMC), S. Hueller (Plasmas), S. Backes (PMC)

Ordre du jour

  1. Projet de jouvence des clusters CPHT et Hopper
  2. Etat des lieux de l'installation de la 3eme tranche d'extension sur Cholesky
  3. Sessions de formation calcul HPC et développement avec GIT/GITLAB en 2022
  4. Statistiques sur l'utilisation de Cholesky
  5. Autres-Questions

1. Projet de jouvence des clusters CPHT et Hopper

  • L'équipe informatique informera en cette fin d'année par email à l'ensemble du personnel des mesures à prendre coté utilisateurs pour réaliser dans de bonnes conditions la migration. Il est de la résponsabilité des utilisateurs de :

    • sauvegarder les codes sources, les librairies, les jeux de données, les résultats qui sont présents sur les espaces de stockage des clusters, vers les serveurs de stockage réseaux (/work*, /WORKPMC*...) du laboratoire et le serveur GITLAB (ex. les codes source)
    • de disposer d'un compte sur le cluster CHOLESKY. Si ce n'est pas le cas, faire une demande par l'intermédiaire de son manager (via dépot de projet si besoin).
    • verifier que les codes sources compilent et s'executent sur CHOLESKY (compatibles avec les librairies installées) :
      • nous remonter les besoins, les incompatibilités...
  • L'équipe informatique informera les utilisateurs du planning des opérations d'intégration des clusters à Cholesky. Au plus tard, pour la fin du 1er trimestre (mars) 2022.

2. Etat des lieux de l'installation de la 3eme tranche sur Cholesky

  • H. Lutjens fait remarquer qu'il est beaucoup plus facile désormais d'un point de vue administratif de soumettre des projets sur des grands centres de calcul TGCC-GENCI contrairement il y'a quelques années. Pour ses besoins actuels (devéloppement), il peut s'appuyer sur les ressources de ces grands centres. Pour lui, les machines locales (ex. Casimir*) ont vocations surtout pour de la formation (ex. doctorants).

  • H. Lutjens demande si il est possible de récupérer pour son cluster XMHD auprès des grands centres de calcul (qui reforment des clusters avec des procs de même génération de XMHD) des pièces de rechange en bon fonctionnement (processeurs, cartes, etc.).

    • Il n'existe pas à notre connaissance de mécanismes de "cession" comme pour les véhicules administratifs qui permettent de le faire, mais nous allons nous renseigner. Les machines reformées font d'abord l'objet d'une sortie d'inventaire.
  • Quid du besoin en GPU au CPHT

  • A ce jour il y'a un faible besoin, bien qu'à moyen-long terme celui-ci puisse augmenter. Pour certains besoins, des librairies ciblées GPU existent déjà (ex. machine learning).
  • Porter un code "from scratch" vers le GPU est en général consommateur de temps humain, et nécessite des compétences bien spécifiques et le gain peut-être marginal (x2-x5).

3. Sessions de formation 2022

  • A. Canou suite à la journée des doctorants, fait remarquer qu'il y'a un besoin de réaliser une 2eme session de formation (introduction au calcul HPC sur Cholesky) entierement dispensée en anglais et dédiée en priorité au CPHT. Cette formation sera organisée à la suite de la 1ere (complète à ce jour), fin janvier ou début février pour une dizaine de personnes.

  • A. Canou dispensera également en février ou mars une formation sur l'utilisation de GIT/GITLAB (fondamentaux).

  • H. Lutjens demande si il serait possible également de programmer une autre formation plus acvancée sur la gestion de projets et les bonnes pratiques avec GIT/GITLAB.

    • Ceci va faire l'objet d'une réflexion pour la faisabilité d'une telle formation.
  • L. Sanchez-Palencia demande si il serait possible de dispenser ces formations plutot à la rentrée (septembre-octobre) pour les nouveaux arrivants.

    • Compte tenu des conditions (sanitaires, charges de travail, etc.) ces formations n'ont pas pu être réalisées à la rentrée 2021 contrairement à ce qui avait été annoncée à la dernière reunion Calcul. A l'avenir, l'équipe informatique essaiera dans la mesure du possible de les organiser à cette période.

4. Statistiques de l'utilisation de Cholesky

  • Le CPHT est à l'heure actuel depuis la mise en production du cluster (début juillet 2021) le plus gros consommateur de ressources CPU avec 18%. Le cluster est pour le moment sous utilisé avec 30% d'utilisation CPU mais cela peut s'expliquer par le fait que les utilisateurs utilisent encore d'autres ressources comme le cluster mutualisé Hopper et les clusters de laboratoire (ex. pour le CPHT avec Tianlong, Montblanc, Hedin, XMHD).

5. Questions-Autres

  • A. Subedi a soulevé le problème de la politique actuel d'achat des postes, qui n'est de ne plus acheter des stations de travail et qui pour lui a un impact négatif sur sa capacité à faire de la recherche. En effet pour ses besoins spécifiques (développement avec OpenMP/OpenMPI, post-processing, Jupyter notebook) il a besoin d'une part de ressources de calcul peformantes qui ne peuvent être satisfaites par des portables (Macbook), et d'autres part complétement administrables et accessibles rapidement (contrairement aux clusters de calcul).
  • Le service informatique rappelle qu'il souhaite rationnaliser au maximum les ressources de calcul ("workstations" compris) au profit de l'ensemble du laboratoire, au même titre que d'homogéniser le parc informatique à travers la mise à dispostion au plus grand nombre de portables de type Apple Macbook (qui répondent à la majorité des besoins des chercheurs, doctorants, post-doctorants) dans un contexte ou le télétravail est désormais la norme. Pour les ressources de calcul hors cluster, cela pourrait se traduire par la mise à disposition de machines virtuelles administrables par des chercheurs sur des infrastructures serveurs performantes (type CLOUD) en "interne" sur le site de Polytechnique ou externe (plateforme de l'ESR tel que VIRTUALDATA opérée par l'IJCLAB-IN2P3 d'ORSAY). Une proposition est à l'étude au sein de l'équipe informatique.