Scratch distribué haute performance Bettik

Bettik

Bettik est un scratch distribué haute performance partagé accessible depuis les clusters Dahu, Bigfoot et Luke.

Il offre un espace scratch commun depuis l’ensemble des noeuds de ces clusters avec des temps d’accès minimaux et des débits élevés.

Bettik utilise actuellement BeeGFS.

Des taux de transfert soutenus de 10Gb/s ont été obtenus. Il faut cependant garder à l’esprit que ce débit est partagé entre l’ensemble des utilisateurs actifs sur les noeuds de calcul accédant à l’infrastructure. La performance individuelle obtenue peut ne pas atteindre ce niveau. La performance dépend aussi de la charge du cluster et de la nature des données. Il peut arriver que la performance soit réduite par des causes qui peuvent être remédiées. Si vous avez des indications que tel est le cas, il est recommandé d’ouvrir un ticket sur le système de support GRICAD.

Veuillez noter que de grosses collections (> 1000) de petits fichiers (< 10Mo) dans un seul répertoire sont un mauvais de l’infrastructure et peuvent entraîner une chute très conséquente des performances, non seulement pour vous mais aussi pour tous les utilisateurs de l’infrastructure. Pour tous les usages qui requierent l’acces à de grosses collections de petits fichiers, Silenus est préférable. .

Usage

Bettik est disponible sur les clusters Luke et Dahu en tant que système de fichiers local monté sur le répertoire /bettik.

La bonne pratique est d’utiliser les répertoires créés pour chaque projet PERSEUS dans /bettik/PROJECTS/ qui permettent le partage de données avec tous les membres d’un projet.

De plus, dans chaque répertoire projet, des sous-dossiers sont automatiquement créés. Un dossier COMMON accessible uniquement par l’ensemble des membres du projet et un dossier par membre du projet, accessible en lecture seule par les autres membres du projet.

Cette hiérarchie permet donc aux membres d’un projet de profiter d’un espace de stockage commun, sécurisé et structuré.

Le stockage de données sur l’infrastructure Bettik en dehors de la hiérarchie de répertoires /bettik/PROJECTS/ n’est pas encouragée.

Veuillez noter que Bettik est un espace de scratch. Il n’est pas prévu pour le stockage pérenne de données. Les bonnes pratiques sont de retirer les données aussi tôt que possible et les déplacer sur des infrastructures de stockage plus adaptées. Malgré son volume très important, les débits offerts par Bettik le rendent susceptible d’être très rapidement rempli, entrainant des difficultés d’utilisation pour l’ensemble des utilisateurs.