Pour toute opération de transfert de gros volumes de données sur les clusters Luke et Dahu il est important d’utiliser la machine Cargo et de ne jamais les lancer sur les frontales des clusters.
La machine cargo.univ-grenoble-alpes.fr est un serveur dédié pour toute opération de transfert de gros volumes de données sur les clusters Luke et Dahu.
Cargo n’est accessible que via une authentification par clé ssh. Il est donc indispensable, pour pouvoir y accéder, d’avoir copié sa clé ssh sur Dahu. Vous ne pouvez pas y accéder par mot de passe. Vous ne pouvez pas non plus y copier directement votre clé ssh, il faut la copier au préalable sur le cluter associé. Si vous avez déjà mis en place la connexion transparente aux clusters avec l’alias “proxycommand” .ciment, vous pouvez copier votre clé ssh sur Dahu avec la commande ssh-copy-id dahu.ciment.
N’essayez pas de vous connecter à cargo si vous n’avez pas déjà copié votre clé SSH publique sur le cluster Dahu au préalable.
Si vous essayez de vous connecter sans avoir copié votre clé SSH publique sur Dahu au préalable, vous aurez une erreur "Permission denied (publickey)".
Elle fournit un accès à :
Elle est accessible via les protocoles ssh et ftp depuis n’importe quelle adresse IP. Elle permet donc d’exécuter des transferts de données via rsync, scp ou ftp entre les espaces de stockage disponibles sur ce serveur et n’importe quelle machine distante.
Il est très important d’utiliser ce serveur pour toute opération de transfert de gros volumes de données, puisqu’il s’agit d’une machine dédiée à cet usage, plutôt que les frontales des clusters. Toute opération de transfer volumineux lancée sur une frontale de cluster est susceptible d’être tuée sans avertissement.
La machine Cargo est accessible en ssh directement depuis n’importe quelle adresse IP. Vous pouvez donc vous y connecter sans passer par les bastions ou les frontales des clusters via la commande ssh login@cargo.univ-grenoble-alpes.fr et y exécuter toutes vos opérations de transfert de données entre les espaces de stockage.
Un exemple de commande permettant de synchroniser un répertoire dans son dossier personnel vers Bettik est :
mon-login-perseus@dahu|luke:~$ rsync -avxH /home/{mon-login}/{mon-repertoire}/ /bettik/{mon-login}/{mon-repertoire}/
NB : les / a la fin de chaque chemin sont importants.
Par ailleurs, les commandes screen et tmux sont disponibles sur la machine cargo, vous permettant de créer un terminal en ligne de commande dans lequel vous pourrez lancer vos opérations sans les interrompre quand vous devrez fermer votre connexion.
Vous pouvez aussi transférer des données entre votre poste local et Bettik toujours en utilisant la machine cargo :
mon-login-local@ma-machine:~$ rsync -avxH /{chemin-de-stockage-local}/ mon-login-perseus@cargo.univ-grenoble-alpes.fr:/bettik/{chemin-vers-mes-donnes}/
N’ajoutez pas de ligne chargeant un environnement guix, nix, module ou autre (par exemple source /applis/site/guix-start.sh) à votre environnement via le fichier .bashrc ou .profile, vous aurez sans doute des effets de bord inattendus qui, en général, vous empêcheront de faire des transferts de données.