Description des infrastructures du calcul intensif

Clusters de calcul

Dahu, plateforme HPCDA

Frontale: dahu.univ-grenoble-alpes.fr ou dahu depuis les bastions.

• Plateforme HPCDA
• 3256 coeurs Xeon Skylake
  • 2112 Xeon SKL Gold 6130 @ 2.10GHz, noeuds 33 à 72 et 82 à 107
  • 896 Xeon SKL Gold 5218 @ 2.30GHz, noeuds 108, 109 et 112 à 137
  • 216 Xeon SKL Gold 6126 @ 2.60GHz, noeuds 76 à 81
  • 32 Xeon SKL Gold 6244 @ 3.60GHz, noeuds 110 et 111
• Réseau Omnipath 100Gb semi bloquant
• Scratch local sur HDD et SSD
• Liste des caractéristiques affichées lors de la connexion via le “Message Of The Day”

Bigfoot, plateforme GPU

Frontale: bigfoot.univ-grenoble-alpes.fr ou bigfoot depuis les bastions.

• Plateforme IA et Deep Learning
• 3 noeuds avec 4 GPUs Tesla V100 reliés par NV-link par noeud
• 4 noeuds avec 4 GPUs Tesla V100 reliés par PCIe par noeud
• 5 noeuds avec 2 GPUs Tesla A100 dont un scindé en 7 MIG
• Réseau Omnipath 100Gb semi bloquant
• 35 noeuds “Virgo” avec une carte T4 accessibles uniquement la nuit (réservées pour l’enseignement en journée) en collaboration avec les services de formation de l’UGA
• Liste des caractéristiques disponible à tout moment en appelant la commande recap.py

Tableau récapitulatif des clusters Dahu et Bigfoot

 ========================================================================================
|   node   | cpumodel  |n_cpus n_cores| scratch1_type                           | hasgpu |
|          |           |     total_mem|                           scratch2_type |        |
 ========================================================================================
| dahu33   | Gold 6130 | 2 | 32 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
|    [ + 38 more node(s) ]                                                               |
| dahu72   | Gold 6130 | 2 | 32 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
| dahu73   | Gold 6126 | 2 | 24 | 192 |system_ssd          | dedicated_hdd      | NO     |
|    [ + 2  more node(s) ]                                                               |
| dahu76   | Gold 6126 | 2 | 24 | 192 |system_ssd          | dedicated_hdd      | NO     |
| dahu77   | Gold 6126 | 2 | 24 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
|    [ + 3  more node(s) ]                                                               |
| dahu81   | Gold 6126 | 2 | 24 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
| dahu82   | Gold 6130 | 2 | 32 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
|    [ + 23 more node(s) ]                                                               |
| dahu106  | Gold 6130 | 2 | 32 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
| dahu107  | Gold 6130 | 2 | 32 | 192 |dedicated_ssd       | none               | NO     |
| dahu108  | Gold 5218 | 2 | 32 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
| dahu109  | Gold 5218 | 2 | 32 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
| dahu110  | Gold 6244 | 2 | 16 | 192 |dedicated_ssd       | none               | NO     |
| dahu111  | Gold 6244 | 2 | 16 | 192 |dedicated_ssd       | none               | NO     |
| dahu112  | Gold 5218 | 2 | 32 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
|    [ + 24 more node(s) ]                                                               |
| dahu137  | Gold 5218 | 2 | 32 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
| dahu138  | Gold 5218 | 2 | 32 | 192 |system_ssd          | dedicated_hdd      | NO     |
| dahu139  | Gold 5218 | 2 | 32 | 192 |system_ssd          | dedicated_hdd      | NO     |
| dahu140  | Gold 6244 | 2 | 16 | 192 |system_ssd          | dedicated_hdd      | NO     |
| dahu-fat1| Gold 6244 | 2 | 16 |1133 |dedicated_raid0_ssd | dedicated_raid5_hdd| NO     |
| dahu-visu| Silver 4216| 2 | 32 | 192 |system_hdd          | none               | NO     |
 ========================================================================================

 ============================================================================
|   node   | cpumodel  | gpumodel  | gpus | cpus | cores| mem | mem/gpu |MIG|
 ============================================================================
| bigfoot1 | Gold 6130 | V100      |   4  |   2  |   32 | 192 |   96  |  NO |
|    [ + 1  more node(s) ]                                                  |
| bigfoot3 | Gold 6130 | V100      |   4  |   2  |   32 | 192 |   96  |  NO |
| bigfoot4 | Gold 5218R| V100      |   4  |   2  |   40 | 192 |   96  |  NO |
|    [ + 1  more node(s) ]                                                  |
| bigfoot6 | Gold 5218R| V100      |   4  |   2  |   40 | 192 |   96  |  NO |
| bigfoot7 | EPYC 7452 | A100      |   2  |   2  |   64 | 192 |   96  | YES |
| bigfoot8 | Gold 5218R| V100      |   4  |   2  |   40 | 192 |   48  |  NO |
| bigfoot9 | EPYC 7452 | A100      |   2  |   2  |   64 | 192 |   96  |  NO |
|    [ + 2  more node(s) ]                                                  |
| bigfoot12| EPYC 7452 | A100      |   2  |   2  |   64 | 192 |   96  |  NO |
| virgo1   | vcpu      | T4        |   1  |   1  |    2 |   4 |    4  |  NO |
|    [ + 33 more node(s) ]                                                  |
| virgo35  | vcpu      | T4        |   1  |   1  |    2 |   4 |    4  |  NO |
 ===========================================================================

Luke, plateforme hétérogène

Frontale: luke.univ-grenoble-alpes.fr ou luke depuis les bastions.

• Plateforme de traitment de données
• Architecture hétérogène
• Évolution constante
• Sratch locaux pour un total d’un péta-octet
• Réseau 10Gbe
• Noeud de visualisation
• Liste des caractéristiques affichées lors de la connexion via le “Message Of The Day”

Froggy, plateforme HPC

Frontale: froggy.ujf-grenoble.fr ou froggy depuis les bastions.

• Plateforme HPC
• 3200 coeurs Xeon E5
• 18 GPUs K20m
• Stockage distribué haute performance Lustre 90To
• Réseau Infiniband FDR non bloquant
• Noeuds de visualisation

Infrastructures de stockage

Bettik, stockage distribué haute performances

• Stockage distribué haute performance
• Accessible en tant que filesystem local depuis Luke et Dahu
• Filesystem monté sur le répertoire /bettik
• Création et gestion des dossiers et fichiers par les utilisateurs
• Droits par défaut à ajuster par l’utilisateur
• Informations concernant l’usage sur le serveur de la grille CiGri, section “Bettik BeeGFS Storage”

Tableau récapitulatif de l’infrastructure matérielle de la plateforme Bettik

Mantis, stockage cloud

• Deux infrastructures de stockage
  • Mantis 1, plateforme legacy en fin de vie
  • Mantis 2, nouvelle plateforme en cours de déploiement
• Stockage dans le nuage en mode bloc
• Accessible depuis tous les clusters
• Gestion des droits et partage avec les autres utilisateurs
• Accessible depuis la machine AdaPP de l’IDRIS
• Informations concernant l’usage sur le serveur de la grille CiGri, section “Mantis iRODS Storage”

Tableau récapitulatif de l’infrastructure matérielle de la plateforme Mantis 1

Tableau récapitulatif de l’infrastructure matérielle de la plateforme Mantis 2