Calculateur CEMAG//Environnement utilisateurs
Dernière mise à jour 01-04-2009 18:18 / Jean-François RabasseRetour rubrique Calculateur CEMAG
Calculateur CEMAG, environnement utilisateurs
Configuration matérielle
Le calculateur est constitué de cinq machines SGI Altix 450 interconnectées par un double réseau InfiniBand. (Voir Architecture.)
La première machine, jxb, dispose de 4 coeurs de calcul (2 processeurs Intel Montecito dual core). Seule cette machine est accessible aux utilisateurs pour le travail interactif (elle dispose des logins, licences compilateurs, etc.).
Les autres machines, jxb01 à jxb04, disposent de 68 coeurs de calcul (64 utiles pour les applications) et sont réservées au gestionnaire de tâches. Elles n'acceptent pas de logins.
Une baie disques S330 complète l'ensemble et est accessible à toutes les machines. Le système d'exploitation est un Linux SuSE, similaire à celui installé sur nos postes de travail, à quelques petits détails près. (Il s'agit d'une version SuSE Linux Enterprise Server, version 9, appelée à évoluer très vite vers la version 10.)
Accès au calculateur
La machine frontale, jxb, n'est accessible que depuis le réseau local du LRA. Pas de routage Internet, pas d'accès hors LRA sur le réseau du département de Physique. Les utilisateurs extérieurs au laboratoire devront se connecter au préalable sur un des serveurs d'entrée ou sur une machine locale.
NB: à noter que l'accès au calculateur s'inscrit dans une politique scientifique d'attribution de temps. Ne pas me contacter pour des autorisations d'accès, voir plutôt avec Michel et Steve.
Les comptes utilisateurs (login et password) des personnes autorisées sont ceux utilisés sur le réseau du LRA. Seuls les outils ssh, slogin sont utilisables, pas de telnet.
Les utilisateurs souhaitant lancer des outils graphiques (e.g. le gestionnaire de tâches xpbs) devront penser à activer le protocole X lors de leur connexion :
slogin -X jxb
NB: les noeuds de calcul, jxb01 à jxb04, ne sont pas connectés au réseau du laboratoire.
Ressources disques
Espace utilisateurs
Chaque utilisateur dispose d'un home directory sur la machine frontale jxb. Ces répertoires sont locaux à la machine et physiquement distincts de nos répertoires home disponibles sur le réseau. Il faudra donc transporter explicitement ce dont vous avez besoin pour travailler (utilisez scp ou rsync). Pour les programmes une bonne idée sera, à terme, de passer les codes sources sous CVS; il suffira, une fois connecté sur la machine jxb, de lancer des cvs checkout.
Ces répertoires sont uniquement destinés à héberger les fichiers de configuration Unix (les .profile, .bash_login, et autres .emac.d) ainsi que vos fichiers de paramètres, codes sources de programmes, makefiles, scripts divers.
En aucun cas il ne faut les utiliser pour du stockage de données, résultats de runs et autres scratch. L'espace total disponible (environ 80 Go) est très suffisant pour que tout le monde puisse travailler confortablement, sous réserve de ne pas l'utiliser comme un espace d'archivage. Ne pas perdre de vue que si cet espace est plein, plus personne ne travaille. Le goudron et les plumes attendent le coupable !
Quotas disque
Des quotas disque sont définis sur la zone /home, par défaut 2.5 Go par utilisateur avec dépassement temporaire possible jusqu'à 3.5 Go sur une semaine. Vous pouvez vérifier votre occupation disque par la commande quota :
rabasse@jxb00:~> quota Disk quotas for user rabasse (uid 9043): Filesystem blocks quota limit grace files quota /dev/sda6 10912 2500000 3500000 412 0 rabasse@jxb00:~>
Espaces de données
L'espace disque affecté aux données est réparti sur six filesystems, d'environ 1.5 To chacun, nommés /jxb-data/01 à /jxb-data/06. Cet espace sera à aménager au fur et à mesure, répertoires d'extension, répertoires projets avec possibilité de partage entre utilisateurs d'un même groupe, allocation d'espace, etc.
Pour la phase initiale, deux répertoires de données ont été créés par compte. Par exemple l'utilisateur rabasse dispose sur le système de trois répertoires au total, /home/rabasse, /jxb-data/01/rabasse et /jxb-data/04/rabasse.
Soumission des tâches
Le gestionnaire de tâches PBS n'est plus utilisé pour recevoir les requêtes utilisateurs. Un outil spécifique, rplan, est en service et assure les réservations, soumissions de tâches et lancements.
Se reporter à la documentation Gestionnaire de tâches.
Environnement et outils
L'environnement est un Linux classique, chaque utilisateur pourra redéfinir sa configuration de travail, ses alias, etc.
Gestionnaire de modules
Le système dispose d'un outil, module, qui est un configurateur d'environnement.
Si, par exemple, je cherche le compilateur Fortran Intel :
rabasse@jxb00:~> which ifort rabasse@jxb00:~>
celui-ci n'est pas trouvé !
Je demande la liste des modules disponibles :
rabasse@jxb00:~> module avail -------------- /usr/share/modules/modulefiles -------------- dot module-cvs mpich-ch-p4 intel-cc-9/9.0.031 module-info mpich-ch-p4mpd intel-fc-9/9.0.032 modules null rabasse@jxb00:~>
Je «charge» celui qui m'intéresse :
rabasse@jxb00:~> module load intel-fc-9/9.0.032 rabasse@jxb00:~>
Mon environnement est maintenant correctement configuré :
rabasse@jxb00:~> which ifort /sw/sdev/intel-fc/9.0.032/bin/ifort rabasse@jxb00:~>
Utilisez toujours cette technique et résistez à la tentation de chercher les outils à la main et de coder en dur des répertoires dans vos variables d'environnement PATH, MANPATH, LD_LIBRARY_PATH etc.
Vous en oublierez inévitablement et lors de mises à jour système et d'installation de nouvelles versions, vous ne pourrez plus choisir précisément avec quelle version des compilateurs et/ou librairies vous souhaitez travailler.
Courrier électronique
Cette machine n'est pas destinée à faire du courrier. Les outils, pine et al., ne sont pas installés. Les applications susceptibles de vous envoyer des courriers, gestionnaire de tâches PBS par exemple, le routeront vers le serveur du laboratoire. Vous reconnaîtrez ces courriers à leur entête particulière,
e.g. To: rabasse@jxb00.lra.ens.fr
Informations, documentations
Documentations
Une mise en ligne des documentations utiles est à faire. Pour l'instant, sont déjà disponibles :
Compilateurs Intel. Documentations déjà installées sur notre intranet, complétées avec la version Itanium 64.
PBSPro Guide Utilisateur. Le document qui nous a été remis à la suite de la présentation du 18 octobre.
Altix développement optimisation. Présentation de Gabriel Thabet du 15 novembre.
Bandela Analyse communications MPI.
D'autres documentations seront mises en ligne après les prochaines sessions de formation, sitôt disponibles.
Documentations diverses
MPI Subroutine Reference (CCR Jussieu)
Informations
Une liste de diffusion, cemag-comp, a été créée. Tous les utilisateurs Altix y sont inscrits automatiquement. Elle servira à diffuser toutes informations techniques, changement de version de compilateurs, arrêt système pour maintenance, etc.
Elle n'est pas destinée à de l'information scientifique CEMAG. Ne pas l'utiliser non plus pour signaler des problèmes. Par contre des «trucs et astuces», tours de main et autres expérimentations personnelles susceptibles d'être utiles au plus grand nombre y seront les bienvenus.
