Data Engineer

Unterstützungs- und Beratungsdienstleistungen für eine SCM Anwendung.

Technologien: Google Cloud, GKE, Kubernetes, SQL, Kafka, Kafka Connect, Kotlin, Dbt, GitHub, Pekko.

• Unterstützung im Erstellen eines Master Data Set für eine Supply Chain Management Anwendung.
• Design und Implementierung von ETL Strecken.
• Datenanalyse zur Optimierung der Datenqualität.
• Umsetzung eines Dashboards zur Überwachung der Datenqualität.
• Aufsetzen von CI/CD Pipelines, Monitoring und Alerting für operative ETL Prozesse.

Unterstützung bei der Migration eines Data Ware House von einer On-Premise Umgebung in die AWS Cloud.

Technologien: AWS Cloud, Airflow, Terraform, Python, Java, SQL, Cloudera, Hadoop, Glue, EMR, LakeFormation, GitLab.

• Konzeption und Umsetzung eines Data Ware House mittels LakeFormation und Glue Catalog.
• Migration bestehender Spark Jobs nach AWS Glue, AWS EMR.
• Umsetzung Workflow Management mittels Airflow.
• Konzeption und Umsetzung mehrerer GitLab CI/CD Pipelines.
• Schulung und Wissenstransfer interner Mitarbeiter.

Konzeption und Umsetzung Infrastruktur zur Sensordatenverarbeitung, Erweiterung einer bestehenden Data Sciene Umgebung.

Technologien: AWS Cloud, Kubernetes, CloudFormation, Kafka, Kafka Connect, PySpark, Bamboo, Java, Python, Docker, Helm Charts, InfluxDB.

• Beratung hinsichtlich Konzeption und Werkzeuge zum Aufbau einer Kubernetes basierten Infrastruktur zur Sensordatenverarbeitung.
• Konzeption und Aufbau Infrastruktur auf Kubernetes (Kafka Cluster, Spark Framework, Zookeeper, ZK Manager).
• Konzeption und Aufbau ETL Strecke zur Datenvereinnahmung.
• Konzeption und Aufbau CI/CD Pipeline mit Bamboo & Kubernetes.

Konzeption und Umsetzung eines cloud basierten Data Ware House / Data Science Umgebung.

Technologien: AWS Cloud, Kubernetes, Spark, R, NiFi, CloudFormation, Docker, Python, Jupyter Notebook.

• Konzeption eines dynamisch skalierbaren Data Ware House.
• Umsetzung Infrastruktur in CloudFormation (Infrastructure as Code).
• Umsetzung Infrastruktur Komponenten in Kubernetes.
• Modellierung DWH & Datenablage.
• Aufbau ETL Strecken zur Datenvereinnahmung.

Unterstützung bei der Evaluierung von Anbietern im Bereich Big Data.

Technologien: Hortonworks, Cloudera, SAP Cloud, Apache NiFi, AWS Cloud, MS Azure.

• Erfassung und Dokumentation der technischen und fachlichen Anforderungen zum Aufbau und Betrieb eines auf Apache Hadoop basierenden Data Warehouse.
• Einholen von Angeboten verschiedener Anbieter, Aufbereitung der Informationen zur Entscheidungsfindung.
• Implementierung eines Prototyps zur Datenvereinnahmung.

Workshop Big Data Technologien – Einführung und Funktionsweise.

Technologien: Hadoop, Spark, AWS Cloud, MapReduce, Hive, Pig, R.

• Durchführung eines 3-tägigen Workshops.
• Einführung in Big Data/Hadoop Ökosystem.
• Praktische Übung Big Data Einsatz in der AWS Cloud.

Unterstützung im Aufbau von ETL Strecken für ein Hadoop basiertes DWH.

Technologien: Hadoop, Hive, Spark, Redis, Kafka, Avro, Scala, HCatalog, Schedoscope.

• Planung und Umsetzung eines Hive Export Moduls.
• Implementierung Kafka & Redis Export Modul als Teil eines Open Source Projektes.
• Implementierung Analyse Algorithmus zur Auswertung von Click Streams.

Konzeption und Umsetzung eines Data Ware House basierend auf Big Data Technologien – OLAP workload.

Technologien: Hadoop, Impala, Hive, ETL, AWS Cloud.

• Planung und Realisierung der Cluster Infrastruktur.
• Evaluierung verschiedener Eingangsformate hinsichtlich der Performance.
• Vorbereitung und Durchführung von Lasttests.

Konzeption und Umsetzung eines Hadoop basierten Data Warehouse für Game Analytics.

Technologien: Hadoop, Map/Reduce, Kafka, Hive, ETL, Java, Linux.

• Planung und Realisierung eines Data Warehouse.
• Evaluierung verschiedener Ansätze zur Datenerfassung.
• Auswahl geeigneter Technologien.
• Technische Leitung / Koordination eines verteilten Teams (GER, CN, CAN).
• Implementierung eines verteilten, ausfallsicheren High Troughput Messaging System.

Konzeption und Umsetzung einer Big Data Architektur zur Auswertung von Telekommunikationsdaten.

Technologien: Cloudera, Hadoop, Hive, Flume, Java, Spring, Puppet, Ubuntu Linux, AWS.

• Planung und Realisierung des Netzwerkes (VPC).
• Planung und Realisierung eines Hadoop Clusters (100TB Kapazität).
• Einrichten Deployment Prozess, inkl. Monitoring.
• Implementierung eines Data Ingestion Frameworks zur Speicherung von ca. 300GB Daten pro Tag.

Neuimplementierung eines Analysetools als Map/Reduce Anwendung.

Technologien: Cloudera, Hadoop/HBase, Java, Maven, Ganglia, Chef, PHP, Debian Linux.

• Analyse und Integration einer bestehenden Implementierung in das Map/Reduce Framework mit der Hadoop Streaming API.
• Installation und Konfiguration eines Hadoop Clusters inkl. Monitoring.
• Einrichten eines Deployment Prozesses.

Integration eines Payment Providers in bestehendes Backend.

Technologien: Ruby/Rails, OAuth, MySQL, Git, Debian Linux.

• Mapping der Daten, Textmatching mit vorhandener Datenbasis.
• Datenaufbereitung, Konvertierung und Import in Datenbank.
• Integration eines Payment Providers.

Implementierung und Refactoring eines Analysetools in C++.

Technologien: C++, MySQL C/C++ API, Doxygen, Hudson, Ubuntu/Debian Linux.

• Einrichten einer Build Umgebung für C++ Projekte.
• Refactoring des Prototypen.
• Anpassung und Erweiterung der Software an Produktionsumgebung (Logging, Fehlerbehandlung, Unit Testing).
• Einrichten eines Deployment Prozesses.
• Aufsetzen einer Build Servers (Continous Integration).

Konzeption und Entwicklung eines Web Crawlers.

Technologien: C++, Fedora/RedHat Linux, Cassandra.

• Design der Applikation als hochperformanten multi-threaded Server.
• Implementierung als verteilte Anwendung unter Verwendung von asynchronen Sockets (non-blocking I/O).

Konzeption, Aufbau und Inbetriebnahme einer Hosting Umgebung für eine große Webseite.

Technologien: Apache, Nginx, HAProxy, Mongrel, MySQL, MySQLProxy, BIND, DHCP, Cobbler, Puppet, RedHat Linux.

• Konzeption der Hosting Umgebung.
• Aufbau der Infrastruktur für Server Provisioning/Configuration.
• Einrichtung MySQL Master/Master Replication + MySQLProxy.
• Einrichten der Serversoftware, Monitoring und Logging.
• Migration der Webseite vom Hosting Provider zur Colocation.
• Analyse und Optimierung zur Verbesserung der Performance des Gesamtsystems.

Konzeption und Entwicklung einer Infrastruktur zur Integration von Daten externer Anbieter.

Technologien: Ruby/Rails, MySQL, Bash, RedHat Linux.

• Aufbau einer Musikdatenbank mit Daten von Anbietern wie Allmusic, Muze (Macromedia), Rhapsody, MediaNet.
• Datenaufbereitung, Konvertierung und Import in Datenbank.
• Mapping der Daten verschiedener Anbieter.

• Verantwortlich für Entwurf, Umsetzung und Inbetriebnahme der Hosting Umgebung
• Konzeption und Umsetzung mehrerer Softwareprojekte in C++

Implementierung/Portierung eines Verfahrens zur Extraktion der Hauptmelodielinie.

Technologien: C++, Matlab, Mandrake Linux.

• Portierung eines in Matlab vorhandenen Algorithmus nach C++.
• Optimierung der Implementation hinsichtlich der Laufzeit.

wissenschaftliche Untersuchung von Datenstrukturen zur Bestimmung des Nearest Neighbors für ein Music Information Retrieval System.

Technologien: Matlab, C++, Perl, Apache, CGI, Mandrake Linux.

• Untersuchung mehrerer Nearest Neighbor Algorithmen auf Eignung hinsichtlich der gegebenen Spezifikation.
• Design und Implementierung eines Algorithmus in C++ und Integration in das bestehende System (als dynamische Bibliothek in C++).
• Durchführung und Auswertung einer Testreihe zur Evaluierung.

• Mitarbeit an einer Software zur Erkennung von Identitätsdiebstahl
• Datenaufbereitung und Datenanalyse
• Mitarbeit an der Entwicklung und Implementierung von Algorithmen

• Entwicklung von Testumgebungen zur Beurteilung von Algorithmen
• Entwurf und Implementierung von GUIs zur Präsentation von Algorithmen auf Fachmessen

• Bereitstellung von IT Infrastruktur