Infrastruktur

Lorem ipsum dolor sit amet adipiscing elit.

Zur Bearbeitung von Forschungsfragen und Projekten steht eine Reihe von Systemen zur Verfügung. Kern ist ein Hadoop-Cluster, der durch einen Server  mit GPUs für In-Memory-Computing sowie einen Spark-Cluster ergänzt wird.

Hadoop Cluster


Das Hadoop Cluster mit der Hortonworks Data Platform 2.6.3 (HDFS, Hive, HBase, Spark etc.) besteht aus zwei NameNodes und sechs DataNodes.

2 NameNodes mit je


  • 2 x Intel Xeon E5-2630 v4, 10 Cores @ 2.2 GHz
  • 256 GB RAM
  • 2 x 480 GB SSD (System) im RAID-1
  • 2 x 480 GB SSD (Snapshot) im RAID-1

6 DataNodes mit je


  • 2x Intel Xeon E5-2630 v2, 6-Core @ 2.6 GHz
  • 64 GB RAM
  • 1 TB HDD (System)
  • 12 TB HDD (HDFS)

Insgesamt stehen 72 TB brutto an Speicherkapazität zur Verfügung, was bei einem Replikationsfaktor von 3 ca. 24 TB an effektivem Speicher entspricht.

Nach oben scrollen