Description des infrastructures du calcul intensif
Clusters de calcul
Vous pouvez obtenir la liste des caractéristiques de chaque cluster en exécutant la commande recap.py sur la frontale du cluster.
Dahu est actuellement la principale plateforme pour le calcul haute performance (HPC) et l’analyse de données (DA).
Frontale: dahu.univ-grenoble-alpes.fr ou dahu depuis les bastions.
- Plateforme HPCDA
- Réseau Omnipath 100 GB
- Scratch local sur HDD et SSD
- Accès à Bettik, Silenus et Mantis
Le chemin pour l’espace scratch1 est /var/tmp.
Le chemin pour l’espace scratch2, quand il existe, est /var/tmp2.
La plateforme Bigfoot regroupe actuellement toutes les machines disposant de cartes GPU.
Frontale: bigfoot.univ-grenoble-alpes.fr ou bigfoot depuis les bastions.
- Plateforme IA et Deep Learning
- 3 nœuds avec 4 GPUs Tesla V100 reliés par NV-link par nœud
- 4 nœuds avec 4 GPUs Tesla V100 reliés par PCIe par nœud
- 5 nœuds avec 2 GPUs Tesla A100 dont un scindé en 7 MIG
- Réseau Omnipath 100 GB
- 35 nœuds “Virgo” avec une carte T4 accessibles uniquement la nuit (réservées pour l’enseignement en journée) en collaboration avec les services de formation de l’UGA
- Accès à Bettik, Silenus et Mantis
Le chemin pour l’espace scratch1 est /var/tmp.
Le chemin pour l’espace scratch2, quand il existe, est /var/tmp2.
Frontale: luke.univ-grenoble-alpes.fr ou luke depuis les bastions.
- Plateforme hétérogène pour des besoins de projets non standard
- Réseau 10 GbE
- Nœud de visualisation
- Nœuds de calcul à accès réservé pour certains projets, hors nœuds généralistes “ciment” et best-effort
- Accès à Bettik et Mantis (pas Silenus)
Cette plateforme est uniquement destinée à accueillir des moyens de calcul pour des opérations qu’il est impossible de réaliser sur les plateformes existantes.
L’accès aux machines, hormis les nœuds généralistes “ciment” et l’accès en mode best-effort, est restreint aux équipes les ayant financées.
CiGri, grille de calcul légère
CiGri (Ciment Grid) est une grille de calcul légère qui repose sur les clusters OAR de Gricad.
Frontale : cigri depuis les bastions.
- Grille de calcul donnant l’accès à tous les clusters depuis un point d’entrée unique.
- Permet la gestion efficace des campagnes de jobs paramétriques (bag of tasks / embarassingly parallel).
- Re-soumission automatique et transparente.
Infrastructures de stockage
- Stockage distribué haute performance
- Accessible en tant que filesystem local depuis Luke, Dahu et Bigfoot
- Filesystem monté sur le répertoire
/bettik - Création et gestion des dossiers et fichiers par les utilisateurs
- Droits par défaut à ajuster par l’utilisateur
- Informations concernant l’usage sur Bettik
- Stockage distribué très haute performance (scratch) sur réseau Omnipath
- Accessible en tant que filesystem local depuis Dahu et Bigfoot
- Filesystem monté sur le répertoire
/silenus - Création et gestion des dossiers et fichiers par les utilisateurs
- Droits par défaut à ajuster par l’utilisateur
- Informations concernant l’usage sur Silenus
Mantis, stockage cloud
- Stockage dans le nuage en mode bloc
- Accessible depuis tous les clusters
- Gestion des droits et partage avec les autres utilisateurs
- Accessible depuis la machine AdaPP de l’IDRIS
- Informations concernant l’usage sur INFRASTRUCTURE DE STOCKAGE DANS LE NUAGE MANTIS
Data mining
Eli
- Instances (no)SQL hautes permformances à la demande
- Géré sous Kubernetes en bare-metal
- Optimisé pour ELK (Elastic suite)
- Accessible par https, sur urls dédiées au projet après création de l’instance
- Information concernant l’usage : L’INFRASTRUCTURE ELI DE GRICAD
| node | model | total memory | storage |
|---|
| eli-1 | PowerEdge R640 | 192 GB | 20 TB (8 * 2.2 TB SAS 10k disks) |
| eli-2 | PowerEdge R640 | 192 GB | 20 TB (8 * 2.2 TB SAS 10k disks) |
| eli-3 | PowerEdge R640 | 192 GB | 20 TB (8 * 2.2 TB SAS 10k disks) |