Wiss. Rechnen » Dateisysteme
 

Achtung: Diese Seite beschäftigt sich mit dem OMNI-Cluster! Die entsprechende Seite zum HoRUS-Cluster finden Sie hier.


Der Cluster verfügt über mehrere Dateisysteme, die verschiedene Zwecke haben. Für normale Nutzer bedeutet dies vor allem, dass Ihre Daten in einem von drei verschiedenen Verzeichnissen (und deren Unterverzeichnissen) liegen. Diese sind:

  • Ihr Home-Verzeichnis unter home/<Ihr Username>. Dieses Verzeichnis wird standardmäßig für alle Ihre Daten genutzt. Es gibt ein Limit von 100 GB pro User. Mehr zu Home-Verzeichnissen finden Sie in Home-Verzeichnis.
  • Das Workspace-Verzeichnis unter /work. Workspaces dienen zur kurzfristigen Speicherung von großen Datenmengen. Jedes Mal, wenn Sie einen Workspace erstellen, wird unter diesem Verzeichnis ein Unterordner für Sie angelegt. Dies ist Ihr Workspace. Workspaces sind von der Größe her unbegrenzt, aber dafür zeitlich beschränkt. Insgesamt steht ein Festplattenplatz von 1 Petabyte zur Verfügung. Mehr dazu im Abschnitt Workspaces.
  • Das Burst-Buffer-Verzeichnis /fast. Dieses Verzeichnis befindet sich physikalisch auf einer Partition mit Solid State Disks (SSDs). Es dient für Rechnungen, bei denen große Datenmengen besonders schnell bewegt werden müssen. Der gesamte Burst Buffer ist nur 32 Terabyte groß. Im Abschnitt Burst Buffer finden Sie Hinweise, wie sie diese Funktion nutzen.

Diese Dateisysteme sind von jedem Knoten des Clusters erreichbar.

Home-Verzeichnis

Als Nutzer haben Sie auf dem Cluster automatisch ein Home-Verzeichnis, in dem Sie Ihre Daten ablegen können. Dieses steht unter /home/<IhrUsername>. Die Größe Ihres Home-Verzeichnisses ist auf 100 GB beschränkt.

Backups der Home-Verzeichnisse

Von den Home-Verzeichnissen werden tägliche Backups erstellt, die Backups bleiben 30 Tage lang verfügbar. Wenn Sie Daten in Ihrem Home verloren haben, können Sie in das Verzeichnis /home/.snapshots wechseln. In diesem Ordner sind die täglichen Backups gespeichert, jeder in einem eigenen Unterordner. Sie können Dateien, die Sie wiederherstellen wollen, einfach in ihr normales Home-Verzeichnis zurückkopieren:

$ cd ./home/.snapshot/daily_<Datum>_0010/<Ihr Username>
$ cp <Datei oder Dateien> <Ihr Home-Verzeichnis>

Beispiel:

$ cd /home/.snapshot/daily.2020-08-04_0010/demo_user/
$ cp file1 file2 /home/demo_user

Um Ordner und deren Inhalte (rekursiv) zu kopieren nutzen Sie die Option -r. Bitte beachten Sie, dass beim Kopieren, vor allem beim Kopieren von ganzen Ordnern, potenziell Dateien überschrieben werden können. Der Befehl cp bietet Optionen wie z.B. -i oder -n, um dies genauer zu kontrollieren. Mit man cp können Sie sich die Hilfefunktion anzeigen lassen.

Beispiel: einen Ordner exampledir zurückkopieren und bei jeder existierenden Datei nachfragen ob diese überschrieben werden soll

$ cd /home/.snapshot/daily.2020-08-04_0010/demo_user/
$ cp -i -r exampledir /home/demo_user

Beispiel: alle versehentlich gelöschten Dateien des Ordners exampledir zurückkopieren ohne existierende Dateien zu überschreiben

$ cd /home/.snapshot/daily.2020-08-04_0010/js056demo_user352/
$ cp -n -r exampledir /home/demo_user

Achtung: auf dem HoRUS-Cluster konnten alle Nutzer die Home-Verzeichnisse jedes anderen Nutzers lesen. Dies ist nun nicht mehr der Fall. Sie können natürlich weiterhin selbst mit dem Befehl chmod (siehe Linux-Grundlagen) Dateien und Unterordner Ihres Heimverzeichnisses für andere Personen freigeben.

Workspaces

Für Ihre Rechenjobs empfiehlt es sich, nicht das Home-Verzeichnis zu verwenden, sondern einen sogenannten Workspace anzulegen. Dies hat zwei Vorteile: zum einen gibt es für Workspaces keine Größenbeschänkung, zum anderen befinden sie sich physikalisch auf Festplatten mit einer schnelleren Anbindung. Es gibt für Workspaces eine zeitliche Beschränkung: nach Ablauf der Frist wird der Workspace gelöscht. Sie können diese Frist allerdings bis zu drei Mal verlängern.

Achtung: es werden keine automatischen Backups von Workspaces erstellt!

Workspaces anlegen und verlängern

Sie können einen neuen Workspace anlegen mit dem Befehl:

$ ws_allocate <WS-Name> <Dauer>

wobei die Dauer in Tagen angegeben wird. Die Maximaldauer ohne nachträgliche Verlängerung beträgt 30 Tage.

Achtung: wenn Sie die Dauer weglassen, wird der Workspace nur für einen Tag angelegt.

Der Workspace wird in einem Unterordner des Verzeichnisses /work/ws-tmp/ erstellt und setzt sich aus Ihrem Usernamen und dem von Ihnen angegebenen Workspace-Namen zusammen. Der Workspace ist wie jeder normale Ordner auch mit cd erreichbar. Im folgenden Beispiel:

$ ws_allocate test1 4
Info: creating workspace.
/work/ws-tmp/demo_user-test1
remaining extensions  : 3
remaining time in days: 4

sehen Sie, dass ein Workspace namens test1 für zunächst 4 Tage angelegt wurde.

Wenn sie einen bestehenden Workspace verlängern möchten, geben Sie

$ ws_extend <WS-Name> <Dauer>

mit dem Namen eines bereits bestehenden Workspaces und einer Zeitdauer ein. Sie können den Workspace insgesamt drei Mal um jeweils bis zu 30 Tage verlängern. Wenn Sie den Namen eines noch nicht existierenden Workspace eingeben, wird dieser neu angelegt, als ob Sie ws_allocate verwendet hätten.

Der ws_allocate-Befehl verfügt noch über weitere Funktionen, die Sie sich mit man ws_allocate anzeigen lassen können.

E-Mail-Benachrichtigungen

Der Workspace-Mechanismus kann Ihnen eine E-Mail schicken, bevor der Workspace ausläuft.

Wir empfehlen dass Sie diese Funktion immer nutzen, um Datenverluste zu vermeiden.

Der entsprechende Befehl lautet:

$ ws_allocate <WS-Name> <Dauer> -r <Anzahl Tage> -m <Ihre E-Mail-Adresse>

Mit der Option -m spezifizieren Sie die Adresse und mit -r den Abstand (in Tagen) bis zum Ablauf, an dem Sie benachrichtigt werden möchten. Wenn Sie die E-Mail-Adresse nicht jedes Mal von Hand eingeben möchten, können Sie in Ihrem Home-Verzeichnis eine Datei namens .ws_user.conf anlegen. In dieser schreiben Sie einen Text nach dem folgenden Muster:

mail: demo_user@uni-siegen.de

Beachten Sie bitte, dass nach dem Doppelpunkt ein Leerzeichen sein muss (YAML-Syntax).

Sie können auch einen Kalendertermin erzeugen mittels

$ ws_send_ical <WS-Name> <E-Mail-Adresse>

Workspaces anzeigen

Sie können Ihre bestehenden Workspaces anzeigen lassen, indem Sie

$ ws_list

eingeben.

Workspace freigeben (löschen)

Wenn Sie einen Workspace nicht mehr benötigen, können Sie ihn freigeben. Achtung: die Dateien in diesem Workspace sind dann nicht mehr zugänglich!

Dazu verwenden Sie den Befehl:

$ ws_release <Workspace-Name>

Workspace wiederherstellen

Abgelaufene Workspaces sind wie beschrieben nicht mehr zugänglich, werden aber nicht sofort gelöscht. Abgelaufene oder mittels ws_release freigegebene Workspaces werden bis zu 10 Tage aufbewahrt, bevor sie endgültig gelöscht werden. So ist es möglich, die Daten in versehentlich abgelaufenen Workspaces wiederherzustellen. Dazu gehen Sie wie folgt vor:

  1. Sie können sich eine Liste mit Ihren abgelaufenen Workspaces anzeigen lassen mittels:

    $ ws_restore -l 
    <user>-<alter-workspace>-<nummer>
            unavailable since Tue Jun 12 09:30:01 2018
  2. Erzeugen Sie einen neuen Workspace:

    $ ws_allocate <neuer-workspace> <duration>
  3. Stellen Sie den abgelaufenen Workspace mit dem Befehl ws_restore in dem neuen Workspace wieder her. Dazu benötigen Sie den kompletten Namen des alten Workspace (inklusive Ihres Usernamens und einer Kennnummer), den Sie wie bereits erwähnt mittels ws_restore -l angezeigt bekommen.

    $ ws_restore <user>-<alter-workspace>-<nummer> <neuer-workspace>

    Der neue Workspace wird den alten in einem Unterverzeichnis enthalten.

  4. Tippen Sie den angezeigten Text ab. Dies dient dazu, dass Workspace-Wiederherstellung nicht automatisiert werden kann.

Burst Buffer

Der OMNI-Cluster verfügt über einen sogenannten Burst Buffer, das heißt einen schnelleren Datenspeicher. Dieser besteht aus SSDs und ist 32 Terabyte groß.

Achtung: der Burst Buffer ist mit 32 TB nicht allzu groß und für alle Nutzerinnen und Nutzer des Clusters zugänglich. Bitte benutzen Sie ihn nur, wenn Sie die höhere Verarbeitungsgeschwindigkeit wirklich brauchen. Wenn Ihre Rechnung fertig ist, sollten Sie außerdem die Daten **in einen regulären Workspace verschieben`.

Anlegen eines Workspaces im Burst Buffer

Funktional sind Ihre Verzeichnisse auf dem Burst Buffer ebenfalls Workspaces. Deshalb funktionieren die meisten Befehle wie im vorherigen Abschnitt beschrieben. Um einen Workspace im Burst Buffer zu erstellen, verwenden Sie ws_allocate wie sonst auch, Sie müssen nur zusätzlich angeben, dass das Dateisystem unter /fast verwendet werden soll.

ws_allocate -F fast <WS-Name> <Dauer>

Sie können die Liste aller Dateisysteme, auf denen Sie Workspaces erstellen können, anzeigen lassen mit dem Befehl ws_list -l:

$ ws_list -l
available filesystems:
fast
work (default)

Aktualisiert um 17:04 am 8. Februar 2021 von Jan Steiner