Nachfolgend sind einige Details zur Clusterhardware aufgelistet.
Knoten
Der Cluster ist in Knoten aufgeteilt. Jeder Knoten hat mehrere Kerne (CPUs) und einen lokalen Arbeitsspeicher. Der Festplattenspeicher ist zentral. Der Zugang erfolgt über zwei Login-Knoten (login1
und login2
). Der Cluster erstreckt sich über zwei wassergekühlte Doppelracks (Schränke) im New Data Center am Campus Hölderlinstraße.
Compute-Knoten
Der Cluster verfügt über 134 reguläre Rechenknoten. Jeder dieser Knoten hat 12 Kerne und 48 Gigabyte Arbeitsspeicher. Die Namen der Knoten sind cn001-cn134. Die CPUs sind vom Typ Intel Xeon X5650 (2 pro Knoten), mit jeweils 6 Kernen pro Xeon-CPU. Die Taktfrequenz beträgt 2.66 GHz, die Cachegröße 12 MB.
Medium2-Knoten
Zusätzlich zu den regulären Rechenknoten verfügt der Cluster noch über 20 sogenannte Fat-Nodes mit mehr Kernen (16 statt 12) und mehr Arbeitsspeicher (64 GB). Diese sind über die Queue (Partition) medium2
erreichbar. Sie wurden durch den Lehrstuhl für Strömungstechnik und Strömungsmaschinen (Institut für Fluid- und Thermodynamik, Department Maschinenbau) finanziert, sind aber allen Nutzern des Clusters mit zugänglich.
Weitere Knoten
Der Cluster verfügt über einen Knoten (pre1
), der für interaktives Preprocessing gedacht ist. Dieser hat einen 512 GB Arbeitsspeicher und 32 Kerne.
Außerdem gibt es noch einen Knoten smp1
, der ebenfalls über 512 GB RAM verfügt und über die Queue smp
erreichbar ist.
Speicher
Der Cluster verfügt über mehrere Dateisysteme. Auf dem einen, mit insgesamt 10 TB, befinden sich unter anderem die Home-Verzeichnisse der Nutzer, die auf 100 GB pro Nutzer beschränkt sind. Die Workspaces befinden auf einem separaten aber ebenfalls zentralen Filesystem mit insgesamt ca. 60 TB. Einzelne Workspaces sind von der Größe her unbeschränkt, haben aber eine Maximaldauer von 30 Tagen (drei mal um je 30 Tage verlängerbar).
Netzwerk
Die Knoten sind untereinander über einen schnellen Interconnect (Infiniband) verbunden, und sind von außen per Netzwerk (Ethernet) erreichbar.
Technische Daten:
- Knoten:
- Rechenknoten: 134 x Intel Xeon X5650
- CPU: 12 * 2.66 GHz, 12 MB Cache
- RAM: 48 GB DDR3, 1333 MHz
- Fat-Nodes: 20 * Intel Xeon Haswell EP E5-2630v3
- CPU: 16 * 2.4 GHz, 20 MB Cache
- RAM: 64 GB DDR4, 2133 MHz
- pre1- bzw. smp1-Knoten: Intel Xeon E7-8837
- 4 x 2,67 GHz, 24 MB Cache
- RAM: 512 GB DDR3, 1066 MHz
- Rechenknoten: 134 x Intel Xeon X5650
- Gesamtrechenleistung: ca. 17 TFlop/s
- Festplatten:
- Home-Verzeichnisse: 8.5 Terabyte
- Work-Verzeichnisse: 66 Terabyte
- Netzwerk:
- Gigabit-Ethernet
- Ethernet
- Stromverbrauch: ca. 30-35 Kilowatt
Betriebssystem
Das Betriebssystem des Clusters ist CentOS Linux, Release 7.4.1708.
Der Cluster wird mit dem Bright-Cluster-Manager (Version 8.0) betrieben.