Projekte des Teams

Unser Team hat im Laufe der Jahre zahlreiche herausfordernde Projekte erfolgreich abgeschlossen. Diese Projekte spiegeln nicht nur unsere technische Expertise wider, sondern verdeutlichen auch unsere Fähigkeit, komplexe Aufgaben in verschiedenen IT-Bereichen zu bewältigen. Im Folgenden finden Sie einen Einblick in einige unserer herausragenden Projekte.

Aufbau und Betrieb spezialisierter Hadoopcluster

Zeitraum: seit 2014

Technologien: HDFS, YARN, Kudu, Mapreduce, Impala, Hive, Hue,
Spark, Kafka, Zookeeper, Kerberos, OpenLDAP,
Puppet2, Puppet 4/5, Cloudera Manager

Das Team hat im Jahr 2015 ein eigenes Puppet Modul zur Installation und Verwaltung von Cloudera Hadoop Clustern unter Debian geschrieben. Mit diesem Modul wurden über ~30 separate Cluster installiert und betrieben weitere ~10 Cluster wurden mit der proprietären Software Cloudera Manager verwaltet. Insgesamt hat das Team zwischenzeitlich über 40 Hadoop Cluster für ~15 unterschiedliche Kunden betrieben.

Migration einer komplexen Hadoop Umgebung

Zeitraum: 2018 – 2019

Technologien: HDFS, YARN, Mapreduce, Impala, Hive, Kafka,
Zookeeper, Puppet 2, Puppet 4

Über den Zeitraum eines Jahres hat das Team eine komplexe Hadoop Infrastruktur mit > 200 Knoten, ohne Auswirkungen auf die Verfügbarkeit der Umgebung, aus einem anderen Team übernommen. Das alte Team hatte dabei geringe bis keine Erfahrungen im Aufbau und Betrieb einer solchen Infrastruktur, so das eine komplexe Rekonfiguration und Integration in die bestehende Teamlandschaft notwendig war. Ausfallzeiten des Systems waren dabei grundlegend inakzeptabel und im Einzelfall auf kurze, vordefinierte Zeitfenster beschränkt.

Architektur, Aufbau und Betrieb eines konsolidierten Hadoop Clusters

Zeitraum: seit 2019

Technologien HDFS, YARN, Mapreduce, Impala, Hive, Hue, Spark,
Zookeeper, Kerberos, OpenLDAP, Docker, Puppet 5

Erste Betrebungen des Teams zur Konsolidierung der Hadoop Landschaft gab es bereits im Jahr 2015. Nach umfassender Lobbyarbeit konnten die relevanten Stakeholder ab 2018 überzeugt werden, an einer gemeinsamen Lösung zu partizipieren. Ab 2019 nahm diese Lösung im Rahmen eines Projektes Gestalt an, es entstand eine hochperformante Hadoop Umgebung mit 90 Knoten. Parallel liefen Maßnahmen, um die bestehenden Hadoop Cluster zu migrieren und zusätzlich neue Use Cases mit minimaler Vorlaufzeit zu etablieren. Besonders herausfordernd war hier das Ressourcen – & Stakeholdermanagement.

Architektur, Aufbau und Betrieb eines Permission Stores

Zeitraum: seit 2017

Technologien: Kafka, Kafka Connect, Kafka Streams, Kafka Mirror
Maker, Kafka Schema Registry, Zookeper,
Cassandra, Redis, IPSec, Puppet 5, F5 Loadbalancer

Als Ablösung für ein bestehendes, aber unzulängliches Setup aus 2013 entstand seit 2017 in enger Zusammenarbeit mit der Softwareentwicklung ein hochverfügbares, georedundantes System zur DSGVO konformen Speicherung von Nutzereinwilligungen. Konkret sind hier zwei ähnliche, aber voneinander unabhängige Landschaften entstanden, um verschiedene Anwendungsbereiche abzudecken und ein einheitliches Setup für externe Partner zu bieten.

Architektur, Aufbau und Betrieb zentraler Logging Infrastruktur

Zeitraum: seit 2016

Technologien: Logstash, Redis, Kafka, Kafka Connect, Kafka Mirror
Maker, Kafka Streams, ElasticSearch, Searchguard,
OpenDistro, Kerberos, OpenLDAP, Kibana, Puppet 5,
F5 Loadbalancer

Gemäß des Paradigmas, das Logdaten grundlegend aus den drei Komponenten „SysLog“, „Applikationslogs“ und „Nutzdaten“ bestehen, setzt sich die zentrale Logginginfrastruktur im Team aus zwei Komponenten – dem ApplogStore und dem SyslogStore – zusammen. Beide Systeme nehmen von allen ~15000 Servern (zuzüglich tausender Container in der Kubernetes Infrastruktur) im Bereich Daten entgegen, bereiten diese nach vordefinierten Parametern auf und stellen sie den Nutzern zur Verfügung. Die Daten werden für alle Belange von Troubleshooting über Qualitätssicherung bis zur Auswertung durch die IT Security genutzt. Beide Systeme sind hochverfügbar, georedundant und vor allem entkoppelt, um Rückwirkungen auf die einliefernden Systeme zu vermeiden.

Aufbau und Betrieb einer Tracking / Targeting / Profiling Umgebung

Zeitraum: seit 2014

Technologien: Apache Webserver, Tomcat, Kafka, Cassandra,
Redis, Puppet 2, Puppet 4/5, F5 Loadbalancer

Der Betrieb der Tracking, Targeting und Profiling Infrastruktur für die Auslieferung personalisierter Werbung an die Endnutzer stellt die Basis für den Betrieb aller anderen Produkte dar. Diese Infrastruktur wird als Dienstleistung auch anderen Unternehmensteilen angeboten.

Aufbau und Betrieb eines unternehmensweiten Kommunikationskanales

Zeitraum: 2015 – 2016

Technologien: ejabberd, Puppet 4, F5 Loadbalancer

Im Rahmen der Erneuerung bestehender Kommunikationskanäle hat das Team innerhalb kürzester Zeit eine funktionale, hochverfügbare Kommunikationsplattform für das gesamte Unternehmen bereitgestellt. Im Jahr 2016 wurde dieses System zur Entlastung der Mitarbeiter an ein Team übergeben, welches für den unternehmensweiten Betrieb derartiger Infrastruktur verantwortlich ist.

Aufbau und Betrieb einer GPU basierten Machine Learning Umgebung

Zeitraum: seit 2019

Technologien: Docker, cuML, Jupyter Hub, Jupyter Notebook

Zur Beschleunigung der Machine Learning basierten Produktansätze stellt das Team den DataScience Kollegen seit 2019 einige Systeme mit multiplen GPUs bereit, auf welchen u.a. mittels Jupyter komplexe Berechnungen stattfinden.

Outsourcing Teamfremder Produkte & Technologien

Zeitraum: seit 2016

Technologien: Adition Adserver Landschaft, Typo3, Inxmail

Das Team ist seit 2016 bestrebt, für Produkte und Technologien, welche nicht zum Portfolio des Teams passen, mittels Outsourcing unseren internen Kunden den bestmöglichen Service zu bieten und dabei teamintern die Komplexität zu reduzieren.