• Summary

    •  
       

      Cluster IO - Quick Start Guide

      This page summarizes the essential steps to start using the cluster quickly.

      1. Connect to the cluster

      ssh username@login-io.meso.umontpellier.fr

      At first login, change your password:

      passwd

      2. Basic Linux commands

      • pwd                    # print working directory
      • ls                         # list files
      • cd <directory>  # go to a folder
      • cp file1 file2      # copy file1 into file2 (both files exist)
      • mv file2 file2     # move file1 into file2 (file1 becomes file2)
      • rm file                # delete file

      3. Storage organization

      • Home/Work: personal/shared data storage
      • Scratch: personal/shared fast access storage to run calculations (erased every 2 months)

      4. Access type

      • Dedicated: access to a fixed number of CPU or GPU resources
      • Ondemand: access to a fixed number of computational hours

      5. Create and run jobs (Slurm)

      • Create a script:

      nano job.sh

      Example:

      #!/bin/bash
#SBATCH --job-name=test
#SBATCH --time=00:05:00
#SBATCH --partition=cpu
#SBATCH --cpus-per-task=1
#SBATCH --mem=1G

hostname
sleep 20
      • Submit job:

      sbatch job.sh

      • Check jobs:

      squeue -u $USER

      • Cancel job:

      scancel <jobID>

      • Show GPU available (--gres):

      sinfo -o "%N %G"

      • Show your account

      sacctmgr show user name=$USER withassoc format=User%30,Account%30,DefaultAccount%30

      • Check your hour quota (ondemand users)

      slurm-quota stats $USER

      • Partitions on IO:
        • cpu-ondemand
        • gpu-ondemand
        • cpu-dedicated
        • gpu-dedicated

      6. CPU vs GPU 

      • CPU: general computing tasks
      • GPU: machine learning, complex calculations, simulations, parallel tasks

      Add #SBATCH --gres= into your submission script to request GPU resources. 

      7. Transfer files

      • From your computer to cluster (find path with pwd):

      scp file.txt username@login-io.meso.umontpellier.fr:/home/username/path/.

      • From cluster to your computer:

      scp username@login-io.meso.umontpellier.fr:/home/username/path/file.txt .

      • Add -r to copy directories

      8. User web interface (Open OnDemand)

      • For both dedicated and ondemad users
      • Access files via browser
      • Monitor jobs
      • Launch interactive jobs like Jupyter and RStudio

      Uses your account and partition as in a normal Slurm job

      9. Common mistakes

      • Running computations on login nodes - PLEASE DON'T
      • Not setting --time option in Slurm script
      • Not writing output and error files
      • Deleting important files with rm

      Need help?

      Visit our ISDM-MESO documentation page for more information

      Send us a question to get direct response via our Ticketing System

       
      Institut de Science des Données de Montpellier
      Bât. 4 et 15 Case courrier 13004
      Place Eugène Bataillon 34095 Montpellier Cedex 5
      04.67.14.47.89 | isdm@umontpellier.fr
    •  
       

      Cluster IO - Guide de démarrage rapide

      Cette page résume les étapes essentielles pour commencer rapidement à utiliser le cluster.

      1. Connectez-vous au cluster

      ssh username@login-io.meso.umontpellier.fr

      Lors de votre première connexion, modifiez votre mot de passe :

      passwd

      2. Commandes Linux de base

      • pwd                    # afficher le répertoire de travail
      • ls                         # lister les fichiers
      • cd <directory>  # accéder à un dossier
      • cp file1 file2      # copier le fichier1 dans le fichier2 (les deux fichiers existent)
      • mv file2 file2     # déplacer le fichier1 vers le fichier2 (le fichier1 devient le fichier2)
      • rm file                # supprimer le fichier

      3. Organisation du stockage

      • Home/Work : stockage de données personnelles/partagées
      • Scratch: espace de stockage rapide, personnel ou partagé, destiné à l'exécution de calculs (effacé tous les deux mois)

      4. Type d'accès

      • Dedicated: dédié, accès à un nombre fixe de ressources CPU ou GPU
      • Ondemand, à la demande : accès à un nombre fixe d'heures de calcul

      5. Créer et exécuter des tâches (Slurm)

      • Créer un script :

      nano job.sh

      Exemple:

      #!/bin/bash
#SBATCH --job-name=test
#SBATCH --time=00:05:00
#SBATCH --partition=cpu
#SBATCH --cpus-per-task=1
#SBATCH --mem=1G

hostname
sleep 20
      • Soumettre une tâche :

      sbatch job.sh

      • Vérifier les tâches :

      squeue -u $USER

      • Annuler une tâche :

      scancel <jobID>

      • Afficher les GPU disponibles (--gres) :

      sinfo -o "%N %G"

      • Afficher votre compte (account) :

      sacctmgr show user name=$USER withassoc format=User%30,Account%30,DefaultAccount%30

      • Vérifier votre quota horaire (utilisateurs ondemand) :

      slurm-quota stats $USER

      • Partitions sur IO :
        • cpu-ondemand
        • gpu-ondemand
        • cpu-dedicated
        • gpu-dedicated

      6. CPU vs GPU 

      • CPU: tâches informatiques générales
      • GPU: apprentissage automatique, calculs complexes, simulations, tâches parallèles

      Ajoutez #SBATCH --gres= dans votre script de soumission pour demander des ressources GPU. 

      7. Transférer des fichiers

      • De votre ordinateur vers le cluster (vérifiez le chemin d'accès avec la commande pwd) :

      scp file.txt username@login-io.meso.umontpellier.fr:/home/username/path/.

      • Du cluster vers votre ordinateur :

      scp username@login-io.meso.umontpellier.fr:/home/username/path/file.txt .

      • Ajoutez l'option -r pour copier des répertoires

      8. Interface Web (Open OnDemand)

      • Pour les utilisateurs dédiés et à la demande

      • Accéder aux fichiers via un navigateur

      • Surveiller les tâches

      • Lancer des tâches interactives telles que Jupyter et RStudio

      Utilise votre compte et votre partition comme pour une tâche Slurm classique

      9. Erreurs courantes

      • Exécuter des calculs sur les nœuds de connexion - À ÉVITER ABSOLUMENT
      • Ne pas définir l'option --time dans le script Slurm
      • Ne pas enregistrer les fichiers de sortie et d'erreurs
      • Supprimer des fichiers importants avec la commande rm

      Besoin d'aide ?

      Consultez notre page de documentation ISDM-MESO pour plus d'informations 

      Envoyez-nous votre question pour obtenir une réponse directe via notre système de tickets 

       
      Institut de Science des Données de Montpellier
      Bât. 4 et 15 Case courrier 13004
      Place Eugène Bataillon 34095 Montpellier Cedex 5
      04.67.14.47.89 | isdm@umontpellier.fr