Infrastruktur
Lorem ipsum dolor sit amet adipiscing elit.
Zur Bearbeitung von Forschungsfragen und Projekten steht eine Reihe von Systemen zur Verfügung. Kern ist ein Hadoop-Cluster, der durch einen Server mit GPUs für In-Memory-Computing sowie einen Spark-Cluster ergänzt wird.
Hadoop Cluster
Das Hadoop Cluster mit der Hortonworks Data Platform 2.6.3 (HDFS, Hive, HBase, Spark etc.) besteht aus zwei NameNodes und sechs DataNodes.
2 NameNodes mit je
- 2 x Intel Xeon E5-2630 v4, 10 Cores @ 2.2 GHz
- 256 GB RAM
- 2 x 480 GB SSD (System) im RAID-1
- 2 x 480 GB SSD (Snapshot) im RAID-1
6 DataNodes mit je
- 2x Intel Xeon E5-2630 v2, 6-Core @ 2.6 GHz
- 64 GB RAM
- 1 TB HDD (System)
- 12 TB HDD (HDFS)
Insgesamt stehen 72 TB brutto an Speicherkapazität zur Verfügung, was bei einem Replikationsfaktor von 3 ca. 24 TB an effektivem Speicher entspricht.