Infrastruktur

Zur Bearbeitung von Forschungsfragen und Projekten steht eine Reihe von Systemen zur Verfügung. Kern ist ein Hadoop-Cluster, der durch einen Server  mit GPUs für In-Memory-Computing sowie einen Spark-Cluster ergänzt wird.

 

 

Hadoop Cluster

Hadoop Cluster

Das Hadoop Cluster mit der Hortonworks Data Platform 2.6.3 (HDFS, Hive, HBase, Spark etc.) besteht aus zwei NameNodes und sechs DataNodes.

2 NameNodes mit je

  • 2 x Intel Xeon E5-2630 v4, 10 Cores @ 2.2 GHz
  • 256 GB RAM
  • 2 x 480 GB SSD (System) im RAID-1
  • 2 x 480 GB SSD (Snapshot) im RAID-1

6 DataNodes mit je

  • 2x Intel Xeon E5-2630 v2, 6-Core @ 2.6 GHz
  • 64 GB RAM
  • 1 TB HDD (System)
  • 12 TB HDD (HDFS)

Insgesamt stehen 72 TB brutto an Speicherkapazität zur Verfügung, was bei einem Replikationsfaktor von 3 ca. 24 TB an effektivem Speicher entspricht.

Machine Learning Server

Für Machine Learning Anwendungen stehen folgende Server zur Verfügung:

Server 1

  • 2 x Intel Xeon E5-2630 v4 @ 2.2 GHz, je 10 Cores
  • 512 GB RAM
  • 4 x 960 GB SSD im RAID-5 Verbund

Server 2 [für Lehrveranstaltungen reserviert]

  • 2 x Intel Xeon E5-2630 v4 @ 2.2 GHz, je 10 Cores
  • 512 GB RAM
  • 4 x 960 GB SSD

GPU-Server

GPUs bestehen aus tausenden Prozessoreinheiten und können gerade in stark parallelisierbaren Berechnungen einen Performanzvorteil gegenüber CPUs erzielen. Berechnungen auf Basis von GPUs sind State of the Art für das Training von neuronalen Netzwerken.

GPU-Server 1

  • 1 x NVIDIA Tesla V100 (5120 CUDA Cores / 640 Tensor Cores / 32 GB global Memory)
  • 1 x Intel Xeon Silver 4114 @ 2.0 GHz, 10 Kerne (20 Threads)
  • 192 GB RAM
  • 480 GB SSD + 2 TB HDD

GPU-Server 2

  • 2 x NVIDIA Tesla P100 (3584 CUDA Cores / 16 GB global Memory)
  • 1 x Intel Xeon E5-1620v4 @ 3.8 GHz, 4 Kerne (8 Threads)
  • 64 GB RAM
  • 240 GB SSD + 2 TB HDD

GPU-Cluster

GPU

Der GPU-Cluster umfasst drei NVIDIA® Tesla K20C und 2 x Intel Xeon E5-2640 v2 @ 2.00 GHz, 8 Kerne.

Storage Server

Storage Server zum Austausch und der Archivierung von Daten

  • 1 x Intel Xeon E5-2603 v4 @ 1.7 GHz, 6 Kerne
  • 32 GB RAM
  • 24 TB HDD