Description des infrastructures du calcul intensif

Clusters de calcul

Dahu, plateforme HPCDA

Frontale: dahu.univ-grenoble-alpes.fr ou dahu depuis les bastions.

  • Plateforme HPCDA
  • 3256 coeurs Xeon Skylake
    • 2112 Xeon SKL Gold 6130 @ 2.10GHz, noeuds 33 à 72 et 82 à 107
    • 896 Xeon SKL Gold 5218 @ 2.30GHz, noeuds 108, 109 et 112 à 137
    • 216 Xeon SKL Gold 6126 @ 2.60GHz, noeuds 76 à 81
    • 32 Xeon SKL Gold 6244 @ 3.60GHz, noeuds 110 et 111
  • Réseau Omnipath 100 GB semi bloquant
  • Scratch local sur HDD et SSD
  • Liste des caractéristiques affichées lors de la connexion via le “Message Of The Day”

Bigfoot, plateforme GPU

Frontale: bigfoot.univ-grenoble-alpes.fr ou bigfoot depuis les bastions.

  • Plateforme IA et Deep Learning
  • 3 noeuds avec 4 GPUs Tesla V100 reliés par NV-link par noeud
  • 4 noeuds avec 4 GPUs Tesla V100 reliés par PCIe par noeud
  • 5 noeuds avec 2 GPUs Tesla A100 dont un scindé en 7 MIG
  • Réseau Omnipath 100 GB semi bloquant
  • 35 noeuds “Virgo” avec une carte T4 accessibles uniquement la nuit (réservées pour l’enseignement en journée) en collaboration avec les services de formation de l’UGA
  • Liste des caractéristiques disponible à tout moment en appelant la commande recap.py

Tableau récapitulatif des clusters Dahu et Bigfoot

 ========================================================================================
|   node   | cpumodel  |n_cpus n_cores| scratch1_type                           | hasgpu |
|          |           |     total_mem|                           scratch2_type |        |
 ========================================================================================
| dahu33   | Gold 6130 | 2 | 32 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
|    [ + 38 more node(s) ]                                                               |
| dahu72   | Gold 6130 | 2 | 32 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
| dahu73   | Gold 6126 | 2 | 24 | 192 |system_ssd          | dedicated_hdd      | NO     |
|    [ + 2  more node(s) ]                                                               |
| dahu76   | Gold 6126 | 2 | 24 | 192 |system_ssd          | dedicated_hdd      | NO     |
| dahu77   | Gold 6126 | 2 | 24 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
|    [ + 3  more node(s) ]                                                               |
| dahu81   | Gold 6126 | 2 | 24 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
| dahu82   | Gold 6130 | 2 | 32 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
|    [ + 23 more node(s) ]                                                               |
| dahu106  | Gold 6130 | 2 | 32 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
| dahu107  | Gold 6130 | 2 | 32 | 192 |dedicated_ssd       | none               | NO     |
| dahu108  | Gold 5218 | 2 | 32 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
| dahu109  | Gold 5218 | 2 | 32 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
| dahu110  | Gold 6244 | 2 | 16 | 192 |dedicated_ssd       | none               | NO     |
| dahu111  | Gold 6244 | 2 | 16 | 192 |dedicated_ssd       | none               | NO     |
| dahu112  | Gold 5218 | 2 | 32 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
|    [ + 24 more node(s) ]                                                               |
| dahu137  | Gold 5218 | 2 | 32 | 192 |dedicated_ssd       | dedicated_hdd      | NO     |
| dahu138  | Gold 5218 | 2 | 32 | 192 |system_ssd          | dedicated_hdd      | NO     |
| dahu139  | Gold 5218 | 2 | 32 | 192 |system_ssd          | dedicated_hdd      | NO     |
| dahu140  | Gold 6244 | 2 | 16 | 192 |system_ssd          | dedicated_hdd      | NO     |
| dahu-fat1| Gold 6244 | 2 | 16 |1133 |dedicated_raid0_ssd | dedicated_raid5_hdd| NO     |
| dahu-visu| Silver 4216| 2 | 32 | 192 |system_hdd          | none               | NO     |
 ========================================================================================
 ============================================================================
|   node   | cpumodel  | gpumodel  | gpus | cpus | cores| mem | mem/gpu |MIG|
 ============================================================================
| bigfoot1 | Gold 6130 | V100      |   4  |   2  |   32 | 192 |   96  |  NO |
|    [ + 1  more node(s) ]                                                  |
| bigfoot3 | Gold 6130 | V100      |   4  |   2  |   32 | 192 |   96  |  NO |
| bigfoot4 | Gold 5218R| V100      |   4  |   2  |   40 | 192 |   96  |  NO |
|    [ + 1  more node(s) ]                                                  |
| bigfoot6 | Gold 5218R| V100      |   4  |   2  |   40 | 192 |   96  |  NO |
| bigfoot7 | EPYC 7452 | A100      |   2  |   2  |   64 | 192 |   96  | YES |
| bigfoot8 | Gold 5218R| V100      |   4  |   2  |   40 | 192 |   48  |  NO |
| bigfoot9 | EPYC 7452 | A100      |   2  |   2  |   64 | 192 |   96  |  NO |
|    [ + 2  more node(s) ]                                                  |
| bigfoot12| EPYC 7452 | A100      |   2  |   2  |   64 | 192 |   96  |  NO |
| virgo1   | vcpu      | T4        |   1  |   1  |    2 |   4 |    4  |  NO |
|    [ + 33 more node(s) ]                                                  |
| virgo35  | vcpu      | T4        |   1  |   1  |    2 |   4 |    4  |  NO |
 ===========================================================================

Le chemin pour l’espace scratch1 est /var/tmp.

Le chemin pour l’espace scratch2, quand il existe, est /var/tmp2.

Luke, plateforme hétérogène

Frontale: luke.univ-grenoble-alpes.fr ou luke depuis les bastions.

  • Plateforme de traitment de données
  • Architecture hétérogène
  • Évolution constante
  • Sratch locaux pour un total d’un péta-octet
  • Réseau 10 GbE
  • Noeud de visualisation
  • Liste des caractéristiques affichées lors de la connexion via le “Message Of The Day”

Froggy, plateforme HPC

Frontale: froggy.ujf-grenoble.fr ou froggy depuis les bastions.

  • Plateforme HPC
  • 3200 coeurs Xeon E5
  • 18 GPUs K20m
  • Stockage distribué haute performance Lustre 90To
  • Réseau Infiniband FDR non bloquant
  • Noeuds de visualisation

Infrastructures de stockage

Bettik, stockage distribué haute performances

  • Stockage distribué haute performance
  • Accessible en tant que filesystem local depuis Luke, Dahu et Bigfoot
  • Filesystem monté sur le répertoire /bettik
  • Création et gestion des dossiers et fichiers par les utilisateurs
  • Droits par défaut à ajuster par l’utilisateur
  • Informations concernant l’usage sur Bettik

Tableau récapitulatif de l’infrastructure matérielle de la plateforme Bettik

nodemodeltotal memorystorage
bettik-meta1PowerEdge R64048 GB4 * 480Gb metadata SSD
[ + 1 more identical node(s) ]
bettik-meta1PowerEdge R64064 GB4 * 480Gb metadata SSD
[ + 1 more identical node(s) ]
bettik-data1PowerEdge R730xd64 GB73 TB
[ + 3 more identical node(s) ]
bettik-data5PowerEdge R740xd64 GB33 TB
bettik-data6PowerEdge R740xd64 GB95 TB
bettik-data7PowerEdge R740xd64 GB98 TB
bettik-data8PowerEdge R740xd64 GB80 TB
bettik-data9PowerEdge R740xd64 GB95 TB
bettik-data10PowerEdge R740xd64 GB80 TB
bettik-data11PowerEdge R740xd64 GB98 TB
bettik-data12PowerEdge R740xd64 GB80 TB
bettik-data13PowerEdge R740xd64 GB98 TB
bettik-data14PowerEdge R740xd64 GB80 TB
[ + 1 more identical node(s) ]
bettik-data16PowerEdge R740xd64 GB98 TB

Silenus, stockage distribué très haute performances

  • Stockage distribué très haute performance (scratch) sur réseau Omnipath
  • Accessible en tant que filesystem local depuis Dahu et Bigfoot
  • Filesystem monté sur le répertoire /silenus
  • Création et gestion des dossiers et fichiers par les utilisateurs
  • Droits par défaut à ajuster par l’utilisateur
  • Informations concernant l’usage sur Silenus

Tableau récapitulatif de l’infrastructure matérielle de la plateforme Silenus

nodemodeltotal memorystorage
silenus-meta1PowerEdge R64032 GB4 * 800 GB metadata SSD NVMe
silenus-data1PowerEdge R64096 GB10 * 1.8 TB SSD
silenus-data2PowerEdge R64096 GB10 * 1.8 TB SSD
silenus-data3PowerEdge R64096 GB10 * 1.8 TB SSD

Mantis, stockage cloud

  • Stockage dans le nuage en mode bloc
  • Accessible depuis tous les clusters
  • Gestion des droits et partage avec les autres utilisateurs
  • Accessible depuis la machine AdaPP de l’IDRIS
  • Informations concernant l’usage sur INFRASTRUCTURE DE STOCKAGE DANS LE NUAGE MANTIS

Tableau récapitulatif de l’infrastructure matérielle de la plateforme Mantis 2

nodemodeltotal memorystorage
nigel-1PowerEdge R740xd2192 GB250 TB
nigel-2PowerEdge R740xd2192 GB250 TB
nigel-3PowerEdge R740xd2192 GB250 TB
nigel-4PowerEdge R640 + 2xME48464 GB1.5 PB
nigel-5PowerEdge R640 + 2xME48464 GB1.5 PB

Eli, data mining

  • Instances (no)SQL hautes permformances à la demande
  • Géré sous Kubernetes en bare-metal
  • Optimisé pour ELK (Elastic suite)
  • Accessible par https, sur urls dédiées au projet après création de l’instance
  • Information concernant l’usage : L’INFRASTRUCTURE ELI DE GRICAD

Tableau récapitulatif de l’infrastructure matérielle de la plateforme Eli

nodemodeltotal memorystorage
eli-1PowerEdge R640192 GB20 TB (8 * 2.2 TB SAS 10k disks)
eli-2PowerEdge R640192 GB20 TB (8 * 2.2 TB SAS 10k disks)
eli-3PowerEdge R640192 GB20 TB (8 * 2.2 TB SAS 10k disks)