Description des infrastructures du calcul intensif

Clusters de calcul

Dahu, plateforme HPCDA

Frontale: dahu.univ-grenoble-alpes.fr ou dahu depuis les bastions.

  • Plateforme HPCDA
  • 3256 coeurs Xeon Skylake
    • 2112 Xeon SKL Gold 6130 @ 2.10GHz, noeuds 33 à 72 et 82 à 107
    • 896 Xeon SKL Gold 5218 @ 2.30GHz, noeuds 108, 109 et 112 à 137
    • 216 Xeon SKL Gold 6126 @ 2.60GHz, noeuds 76 à 81
    • 32 Xeon SKL Gold 6244 @ 3.60GHz, noeuds 110 et 111
  • Réseau Omnipath 100Gb semi bloquant
  • Scratch local sur HDD et SSD
  • Liste des caractéristiques affichées lors de la connexion via le “Message Of The Day”

Bigfoot, plateforme GPU

Frontale: bigfoot.univ-grenoble-alpes.fr ou bigfoot depuis les bastions.

  • Plateforme IA et Deep Learning
  • 3 noeuds avec 4 GPUs Tesla V100 reliés par NV-link par noeud
  • 4 noeuds avec 4 GPUs Tesla V100 reliés par PCIe par noeud
  • 5 noeuds avec 2 GPUs Tesla A100 dont un scindé en 7 MIG
  • Réseau Omnipath 100Gb semi bloquant
  • 35 noeuds “Virgo” avec une carte T4 accessibles uniquement la nuit (réservées pour l’enseignement en journée) en collaboration avec les services de formation de l’UGA
  • Liste des caractéristiques disponible à tout moment en appelant la commande recap.py

Tableau récapitulatif des clusters Dahu et Bigfoot

 ========================================================================================
|   node   | cpumodel  |n_cpus n_cores| scratch1_type                           | hasgpu |
|          |           |     total_mem|                           scratch2_type |        |
 ========================================================================================
| dahu33   | Gold 6130 | 2 | 32 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
|    [ + 38 more node(s) ]                                                               |
| dahu72   | Gold 6130 | 2 | 32 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
| dahu73   | Gold 6126 | 2 | 24 | 192 |system_ssd          | dedicated_hdd      | NO     |
|    [ + 2  more node(s) ]                                                               |
| dahu76   | Gold 6126 | 2 | 24 | 192 |system_ssd          | dedicated_hdd      | NO     |
| dahu77   | Gold 6126 | 2 | 24 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
|    [ + 3  more node(s) ]                                                               |
| dahu81   | Gold 6126 | 2 | 24 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
| dahu82   | Gold 6130 | 2 | 32 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
|    [ + 23 more node(s) ]                                                               |
| dahu106  | Gold 6130 | 2 | 32 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
| dahu107  | Gold 6130 | 2 | 32 | 192 |dedicated_ssd       | none               | NO     |
| dahu108  | Gold 5218 | 2 | 32 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
| dahu109  | Gold 5218 | 2 | 32 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
| dahu110  | Gold 6244 | 2 | 16 | 192 |dedicated_ssd       | none               | NO     |
| dahu111  | Gold 6244 | 2 | 16 | 192 |dedicated_ssd       | none               | NO     |
| dahu112  | Gold 5218 | 2 | 32 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
|    [ + 24 more node(s) ]                                                               |
| dahu137  | Gold 5218 | 2 | 32 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
| dahu138  | Gold 5218 | 2 | 32 | 192 |system_ssd          | dedicated_hdd      | NO     |
| dahu139  | Gold 5218 | 2 | 32 | 192 |system_ssd          | dedicated_hdd      | NO     |
| dahu140  | Gold 6244 | 2 | 16 | 192 |system_ssd          | dedicated_hdd      | NO     |
| dahu-fat1| Gold 6244 | 2 | 16 |1133 |dedicated_raid0_ssd | dedicated_raid5_hdd| NO     |
| dahu-visu| Silver 4216| 2 | 32 | 192 |system_hdd          | none               | NO     |
 ========================================================================================
 ============================================================================
|   node   | cpumodel  | gpumodel  | gpus | cpus | cores| mem | mem/gpu |MIG|
 ============================================================================
| bigfoot1 | Gold 6130 | V100      |   4  |   2  |   32 | 192 |   96  |  NO |
|    [ + 1  more node(s) ]                                                  |
| bigfoot3 | Gold 6130 | V100      |   4  |   2  |   32 | 192 |   96  |  NO |
| bigfoot4 | Gold 5218R| V100      |   4  |   2  |   40 | 192 |   96  |  NO |
|    [ + 1  more node(s) ]                                                  |
| bigfoot6 | Gold 5218R| V100      |   4  |   2  |   40 | 192 |   96  |  NO |
| bigfoot7 | EPYC 7452 | A100      |   2  |   2  |   64 | 192 |   96  | YES |
| bigfoot8 | Gold 5218R| V100      |   4  |   2  |   40 | 192 |   48  |  NO |
| bigfoot9 | EPYC 7452 | A100      |   2  |   2  |   64 | 192 |   96  |  NO |
|    [ + 2  more node(s) ]                                                  |
| bigfoot12| EPYC 7452 | A100      |   2  |   2  |   64 | 192 |   96  |  NO |
| virgo1   | vcpu      | T4        |   1  |   1  |    2 |   4 |    4  |  NO |
|    [ + 33 more node(s) ]                                                  |
| virgo35  | vcpu      | T4        |   1  |   1  |    2 |   4 |    4  |  NO |
 ===========================================================================

Le chemin pour l’espace scratch1 est /var/tmp.

Le chemin pour l’espace scratch2, quand il existe, est /var/tmp2.

Luke, plateforme hétérogène

Frontale: luke.univ-grenoble-alpes.fr ou luke depuis les bastions.

  • Plateforme de traitment de données
  • Architecture hétérogène
  • Évolution constante
  • Sratch locaux pour un total d’un péta-octet
  • Réseau 10Gbe
  • Noeud de visualisation
  • Liste des caractéristiques affichées lors de la connexion via le “Message Of The Day”

Froggy, plateforme HPC

Frontale: froggy.ujf-grenoble.fr ou froggy depuis les bastions.

  • Plateforme HPC
  • 3200 coeurs Xeon E5
  • 18 GPUs K20m
  • Stockage distribué haute performance Lustre 90To
  • Réseau Infiniband FDR non bloquant
  • Noeuds de visualisation

Infrastructures de stockage

Bettik, stockage distribué haute performances

  • Stockage distribué haute performance
  • Accessible en tant que filesystem local depuis Luke et Dahu
  • Filesystem monté sur le répertoire /bettik
  • Création et gestion des dossiers et fichiers par les utilisateurs
  • Droits par défaut à ajuster par l’utilisateur
  • Informations concernant l’usage sur le serveur de la grille CiGri, section “Bettik BeeGFS Storage”

Tableau récapitulatif de l’infrastructure matérielle de la plateforme Bettik

nodemodeltotal memorystorage
bettik-meta1PowerEdge R64048Gb4 * 480Gb metadata SSD
[ + 1 more identical node(s) ]
bettik-meta1PowerEdge R64064Gb4 * 480Gb metadata SSD
[ + 1 more identical node(s) ]
bettik-data1PowerEdge R730xd64Gb73Tb
[ + 3 more identical node(s) ]
bettik-data5PowerEdge R740xd64Gb33Tb
bettik-data6PowerEdge R740xd64Gb95Tb
bettik-data7PowerEdge R740xd64Gb98Tb
bettik-data8PowerEdge R740xd64Gb80Tb
bettik-data9PowerEdge R740xd64Gb95Tb
bettik-data10PowerEdge R740xd64Gb80Tb
bettik-data11PowerEdge R740xd64Gb98Tb
bettik-data12PowerEdge R740xd64Gb80Tb
bettik-data13PowerEdge R740xd64Gb98Tb
bettik-data14PowerEdge R740xd64Gb80Tb
[ + 1 more identical node(s) ]
bettik-data16PowerEdge R740xd64Gb98Tb

Mantis, stockage cloud

  • Deux infrastructures de stockage
    • Mantis 1, plateforme legacy en fin de vie
    • Mantis 2, nouvelle plateforme en cours de déploiement
  • Stockage dans le nuage en mode bloc
  • Accessible depuis tous les clusters
  • Gestion des droits et partage avec les autres utilisateurs
  • Accessible depuis la machine AdaPP de l’IDRIS
  • Informations concernant l’usage sur le serveur de la grille CiGri, section “Mantis iRODS Storage”

Tableau récapitulatif de l’infrastructure matérielle de la plateforme Mantis 1

nodemodeltotal memorystorage
quathPowerEdge R63064Gb700Gb system SSD
quath-icatPowerEdge R43064Gb180Gb system SSD
quath2PowerEdge R510 + MD120024Gb18Tb + 18Tb
quath4PowerEdge R510 + MD120024Gb18Tb + 18Tb
shibo4PowerEdge R730xd32Gb73Tb
shibo5PowerEdge R730xd + MD120032Gb73Tb + 36Tb
shibo6PowerEdge R730xd32Gb73Tb
shibo7PowerEdge R730xd32Gb73Tb
shibo8PowerEdge R740xd32Gb90Tb
shibo9PowerEdge R740xd32Gb90Tb
cargoPowerEdge R730xd64Gb10Tb

Tableau récapitulatif de l’infrastructure matérielle de la plateforme Mantis 2

nodemodeltotal memorystorage
nigel-1PowerEdge R740xd2192Gb250Tb
nigel-2PowerEdge R740xd2192Gb250Tb
nigel-3PowerEdge R740xd2192Gb250Tb