CiGri est une grille légère qui repose sur un ensemble de clusters de calcul sous-jacents.
Elle est particulièrement bien adaptée au traitement d’applications bag-of-tasks ou jobs embarrassingly parallel (ce type de traitements peuvent résulter en un très grand nombre de petits travaux, comme les applications multi-paramétriques, où vous devez exécuter le même programme sur un grand ensemble de paramètres et obtenir un résultat par paramètre).
Elle est cependant aussi capable de traiter tout type de travaux à faire exécuter sur des clusters de calcul.
Sa particularité est de fonctionner sur les cycles cpu inutilisés d’un ensemble de superordinateurs dans un centre de calcul, de la manière la plus efficace possible. Mais elle peut également être utilisée pour gérer un grand nombre de tâches à exécuter sur un cluster particulier, même sans effort (un grand nombre de tâches surcharge généralement le planificateur local d’un cluster ; la grille est conçue pour traiter ce problème).
Elle offre en particulier l’accès efficace à un mode de soumission efficace, le besteffort.
Les jobs besteffort sont des jobs de priorité zéro qui peuvent être supprimés sans préavis si un job normal a besoin des ressources.
C’est un moyen de calculer de manière transparente sur des clusters ou ressources qui ne sont pas les vôtres, en profitant des moments où les ressources de calcul sont inactives.
CiGri est un outil utile pour gérer de tels travaux car vous pouvez avoir à soumettre encore et encore le même travail jusqu’à ce qu’il ne soit pas tué. C’est ce que nous appelons la re-soumission et CiGri le fait automatiquement et de manière transparente pour vous.
Un tutoriel approfondi, avec Guix et Mantis, détaillant le traitement des données sur différents clusters, les environnements logiciels et comment bien faire les tests de jobs sur chacun des clusters cibles, est disponible ici.