Scratch distribué haute performance Silenus

Silenus

Silenus est un scratch partagé distribué haute performance partagé accessible depuis le cluster Dahu.

Cette infrastructure de stockage a été mise en place pour offrir un espace de stockage très haute performance avec des temps d’accès les plus faibles possibles et des débits les plus élevés possibles, tout particulièrement pour des opérations très intensives en lecture ou écriture (I/O intensive).

Silenus utilise actuellement BeeGFS sur une infrastructure de stockage entièrement sur SSD avec contrôlleurs à stockage NVME.

Usage

Silenus est disponible uniquement sur le cluster Dahu en tant que système de fichiers local monté sur le répertoire /silenus.

La bonne pratique est d’utiliser les répertoires créés pour chaque projet PERSEUS dans /silenus/PROJECTS/ qui permettent le partage de données avec tous les membres d’un projet.

De plus, dans chaque répertoire projet, des sous-dossiers sont automatiquement créés. Un dossier COMMON accessible uniquement par l’ensemble des membres du projet et un dossier par membre du projet, accessible en lecture seule par les autres membres du projet.

Cette hiérarchie permet donc aux membres d’un projet de profiter d’un espace de stockage commun, sécurisé et structuré.

Le stockage de données sur l’infrastructure Silenus en dehors de la hiérarchie de répertoires /silenus/PROJECTS/ n’est pas encouragée.

Il y a aussi des arborescences /silenus/chunks_*, chaque arborescence ayant deux valeurs qui suivent dans son nom.

Ces arborescences opèrent une répartition automatique des données par blocs de différentes tailles (la seconde valeur, 1Mo ou 512Ko) sur un certain nombre fixe de ressources (la première valeur, 4, 8 ou 12 ressources de stockage).

Si vos usages sont à même d’exploiter un accès parallèle à des blocs de données de taille définie, vous pouvez utiliser ces repertoires pour automatiquer distribuer vos données sur les ressources matérielles de Silenus selon les paramètres définis pour chaque dossier.

Si vous avez des questions sur l’utilité de ces dossiers pour vos données, n’hésitez pas nous contacter.

Veuillez noter que Silenus est un espace de scratch. Toute donnée agée de plus de 30 jours sera automatiquement effacée. Vous recevrez un mail de rappel listant les données agées de plus de 20 jours, vous permettant de les récupérer avant leur effacement si vous les avez oubliées. Nous vous encourageons cependant à la transférer vers un support de stockage plus pérenne dès la fin de votre job de calcul.

Par ailleurs, il y a un dossier /silenus/0-USAGE/users/ dans lequel vous trouverez deux fichiers par utilisateur. Ces fichiers contiennent un bilan quotidien permettant de connaitre, pour chaque utilisateur ayant des données sur l’infrastructure, les répertoires qui contiennent le plus de fichiers et le plus de volume de données. Ces fichiers ne sont lisibles que par l’utilisateur concerné.