Infrastruktur

Zur Bearbeitung von Forschungsfragen und Projekten steht eine Reihe von Systemen zur Verfügung. Kern ist ein Hadoop-Cluster, der durch einen Server  mit GPUs für In-Memory-Computing sowie einen Spark-Cluster ergänzt wird.

 

 

Hadoop Cluster

Hadoop Cluster

Der Hadoop Cluster mit der Hortonworks Data Platform 2.6.3 (HDFS, Hive, HBase, Spark etc.) besteht aus einem NameNode und mehreren DataNodes sowie einer entsprechenden Netzwerk-Umgebung:

2 NameNode mit je

  • 2 x Intel Xeon E5-2630 v4, 10 Cores 2,2 GHz
  • 8 x 32 GB RAM
  • 2 x 480 GB SSD

6 DataNodes mit je

  • 2x Intel© Xe on  E5-2630v2, 6-Core 2.6GHz
  • 64 GB RAM
  • 12 TB HD für Daten

Insgesamt stehen 60 TB brutto an Speicherkapazität zur Verfügung,
was bei einem Replikationsfaktor von 3 und der Speicherung von
MapReduce-Zwischenergebnissen ca. 14 TB an effektivem
Speicher entspricht.

Machine Learning Server

Für Machine Learning Anwendungen stehen folgende Server zur Verfügung:

Server 1

  • 2 x Intel Xeon E5-2630 v4, je 10 Cores 2,2 GHz
  • 512 GB RAM
  • 480 GB SSD + 3 x 4 TB HDDs

Server 2

  • 2 x Intel Xeon E5-2630 v4, je 10 Cores 2,2 GHz
  • 512 GB RAM
  • 4 x 960 GB SSD

GPU-Server

GPUs bestehen aus tausenden Prozessoreinheiten und können gerade in komplexen und parallelisierbaren Berechnungen einen Performanzvorteil gegenüber CPUs erzielen. Die parallele Verarbeitung erhöht die Geschwindigkeit von Zugriffen und der parallelisierte Ausführung von Algorithmen In-Memory. GPUs sind State of the Art für das Training von Deep Neural Networks.

GPU-Server 1

  • NVIDIA Tesla P100 (3584 CUDA Cores, 16 GB RAM)
  • 1x Intel Xeon E5-1620v4 3,8GHz, 4-Core, 10MB
  • 4x 16GB RAM
  • 240 GB SSD + 2TB HDD

GPU-Server 2

  • NVIDIA Tesla P100 (3584 CUDA Cores, 16 GB RAM)
  • Intel Xeon Silver 4114, 2.20GHz, 10C/20T
  • 192 GB RAM
  • 480 GB SSD + 2TB HDD

GPU-Cluster

GPU

Der GPU-Cluster umfasst drei NVIDIA® Tesla K20C und 2x Intel® Xeon® Ivy Bridge-EP Processor E5-2640 v2, 2.00 GHz mit 8-Core.

Spark Cluster

Der Spark Cluster besteht aus drei Node. Zusätzlich läuft Spark auch auf dem Hadoop-Cluster. 

  • ein Node mit 2x Intel® Xeon® Ivy Bridge-EP Series Processor
    E5-2630 v2, 2.60 GHz, 6-Core, 128 GB RAM und 2 TB HD
  • zwei Nodes mit je 2x Intel® Core i7 3930K Processor, 3.20 GHz,
    6-Core, 64 GB RAM und 2 TB HD

Storage Server

Storage Server zur Archivierung von Daten

  • 1 x Intel Xeon E5-2603 v4, 6 Cores 1,7 GHz
  • 2 x 16 GB RAM
  • 24 TB HDD