Dateningenieur

Unterstützungs- und Beratungsdienstleistungen für eine SCM-Anwendung.

Technologien: Google Cloud, GKE, Kubernetes, SQL, Kafka, Kafka Connect, Kotlin, Dbt, GitHub, Pekko.

• Unterstützung beim Erstellen eines Master-Datensatzes für eine Supply-Chain-Management-Anwendung.
• Design und Implementierung von ETL-Strecken.
• Datenanalyse zur Optimierung der Datenqualität.
• Umsetzung eines Dashboards zur Überwachung der Datenqualität.
• Aufsetzen von CI/CD-Pipelines, Monitoring und Alerting für operative ETL-Prozesse.

Unterstützung bei der Migration eines Data-Warehouse von einer On-Premise-Umgebung in die AWS Cloud.

Technologien: AWS Cloud, Airflow, Terraform, Python, Java, SQL, Cloudera, Hadoop, Glue, EMR, LakeFormation, GitLab.

• Konzeption und Umsetzung eines Data-Warehouse mittels LakeFormation und Glue Catalog.
• Migration bestehender Spark-Jobs nach AWS Glue, AWS EMR.
• Umsetzung von Workflow-Management mittels Airflow.
• Konzeption und Umsetzung mehrerer GitLab CI/CD-Pipelines.
• Schulung und Wissenstransfer an interne Mitarbeiter.

Konzeption und Umsetzung einer Infrastruktur zur Sensordatenverarbeitung, Erweiterung einer bestehenden Data-Science-Umgebung.

Technologien: AWS Cloud, Kubernetes, CloudFormation, Kafka, Kafka Connect, PySpark, Bamboo, Java, Python, Docker, Helm Charts, InfluxDB.

• Beratung zur Konzeption und zu Werkzeugen für den Aufbau einer Kubernetes-basierten Infrastruktur zur Sensordatenverarbeitung.
• Konzeption und Aufbau der Infrastruktur auf Kubernetes (Kafka-Cluster, Spark-Framework, Zookeeper, ZK Manager).
• Konzeption und Aufbau einer ETL-Strecke zur Datenvereinnahmung.
• Konzeption und Aufbau einer CI/CD-Pipeline mit Bamboo & Kubernetes.

Konzeption und Umsetzung eines cloudbasierten Data-Warehouse / Data-Science-Umgebung.

Technologien: AWS Cloud, Kubernetes, Spark, R, NiFi, CloudFormation, Docker, Python, Jupyter Notebook.

• Konzeption eines dynamisch skalierbaren Data-Warehouse.
• Umsetzung der Infrastruktur in CloudFormation (Infrastructure as Code).
• Umsetzung von Infrastrukturelementen in Kubernetes.
• Modellierung des DWH & der Datenablage.
• Aufbau von ETL-Strecken zur Datenvereinnahmung.

Unterstützung bei der Evaluierung von Anbietern im Bereich Big Data.

Technologien: Hortonworks, Cloudera, SAP Cloud, Apache NiFi, AWS Cloud, MS Azure.

• Erfassung und Dokumentation der technischen und fachlichen Anforderungen zum Aufbau und Betrieb eines auf Apache Hadoop basierenden Data-Warehouse.
• Einholen von Angeboten verschiedener Anbieter, Aufbereitung der Informationen zur Entscheidungsfindung.
• Implementierung eines Prototyps zur Datenvereinnahmung.

Workshop Big-Data-Technologien – Einführung und Funktionsweise.

Technologien: Hadoop, Spark, AWS Cloud, MapReduce, Hive, Pig, R.

• Durchführung eines dreitägigen Workshops.
• Einführung in das Big-Data-/Hadoop-Ökosystem.
• Praktische Übung: Big-Data-Einsatz in der AWS Cloud.

Unterstützung beim Aufbau von ETL-Strecken für ein Hadoop-basiertes DWH.

Technologien: Hadoop, Hive, Spark, Redis, Kafka, Avro, Scala, HCatalog, Schedoscope.

• Planung und Umsetzung eines Hive-Export-Moduls.
• Implementierung von Kafka- & Redis-Export-Modul als Teil eines Open-Source-Projekts.
• Implementierung eines Analyse-Algorithmus zur Auswertung von Clickstreams.

Konzeption und Umsetzung eines Data-Warehouse basierend auf Big-Data-Technologien – OLAP-Workload.

Technologien: Hadoop, Impala, Hive, ETL, AWS Cloud.

• Planung und Realisierung der Cluster-Infrastruktur.
• Evaluierung verschiedener Eingangsformate hinsichtlich Performance.
• Vorbereitung und Durchführung von Lasttests.

Konzeption und Umsetzung eines Hadoop-basierten Data-Warehouse für Game Analytics.

Technologien: Hadoop, MapReduce, Kafka, Hive, ETL, Java, Linux.

• Planung und Realisierung eines Data-Warehouse.
• Evaluierung verschiedener Ansätze zur Datenerfassung.
• Auswahl geeigneter Technologien.
• Technische Leitung / Koordination eines verteilten Teams (GER, CN, CAN).
• Implementierung eines verteilten, ausfallsicheren High-Throughput-Messaging-Systems.

Konzeption und Umsetzung einer Big-Data-Architektur zur Auswertung von Telekommunikationsdaten.

Technologien: Cloudera, Hadoop, Hive, Flume, Java, Spring, Puppet, Ubuntu Linux, AWS.

• Planung und Realisierung des Netzwerks (VPC).
• Planung und Realisierung eines Hadoop-Clusters (100 TB Kapazität).
• Einrichtung des Deployment-Prozesses inkl. Monitoring.
• Implementierung eines Data-Ingestion-Frameworks zur Speicherung von ca. 300 GB Daten pro Tag.

Neuimplementierung eines Analysetools als MapReduce-Anwendung.

Technologien: Cloudera, Hadoop/HBase, Java, Maven, Ganglia, Chef, PHP, Debian Linux.

• Analyse und Integration einer bestehenden Implementierung in das MapReduce-Framework mit der Hadoop-Streaming-API.
• Installation und Konfiguration eines Hadoop-Clusters inkl. Monitoring.
• Einrichtung eines Deployment-Prozesses.

Integration eines Payment-Providers in ein bestehendes Backend.

Technologien: Ruby/Rails, OAuth, MySQL, Git, Debian Linux.

• Mapping der Daten, Textmatching mit vorhandener Datenbasis.
• Datenaufbereitung, Konvertierung und Import in die Datenbank.
• Integration eines Payment-Providers.

Implementierung und Refactoring eines Analysetools in C++.

Technologien: C++, MySQL C/C++ API, Doxygen, Hudson, Ubuntu/Debian Linux.

• Einrichtung einer Build-Umgebung für C++-Projekte.
• Refactoring des Prototyps.
• Anpassung und Erweiterung der Software für die Produktionsumgebung (Logging, Fehlerbehandlung, Unit Testing).
• Einrichtung eines Deployment-Prozesses.
• Aufsetzen eines Build-Servers (Continuous Integration).

Konzeption und Entwicklung eines Webcrawlers.

Technologien: C++, Fedora/RedHat Linux, Cassandra.

• Design der Applikation als hochperformanter Multi-Threaded-Server.
• Implementierung als verteilte Anwendung unter Verwendung asynchroner Sockets (non-blocking I/O).

Konzeption, Aufbau und Inbetriebnahme einer Hosting-Umgebung für eine große Webseite.

Technologien: Apache, Nginx, HAProxy, Mongrel, MySQL, MySQLProxy, BIND, DHCP, Cobbler, Puppet, RedHat Linux.

• Konzeption der Hosting-Umgebung.
• Aufbau der Infrastruktur für Server-Provisioning/-Konfiguration.
• Einrichtung von MySQL Master/Master-Replication + MySQLProxy.
• Einrichtung der Serversoftware, Monitoring und Logging.
• Migration der Webseite vom Hosting-Provider zur Colocation.
• Analyse und Optimierung zur Performance-Verbesserung des Gesamtsystems.

Konzeption und Entwicklung einer Infrastruktur zur Integration von Daten externer Anbieter.

Technologien: Ruby/Rails, MySQL, Bash, RedHat Linux.

• Aufbau einer Musikdatenbank mit Daten von Anbietern wie Allmusic, Muze (Macromedia), Rhapsody, MediaNet.
• Datenaufbereitung, Konvertierung und Import in die Datenbank.
• Mapping der Daten verschiedener Anbieter.

• Verantwortlich für Entwurf, Umsetzung und Inbetriebnahme der Hosting-Umgebung
• Konzeption und Umsetzung mehrerer Softwareprojekte in C++

Implementierung/Portierung eines Verfahrens zur Extraktion der Hauptmelodielinie.

Technologien: C++, Matlab, Mandrake Linux.

• Portierung eines in Matlab vorhandenen Algorithmus nach C++.
• Optimierung der Implementierung hinsichtlich der Laufzeit.

Wissenschaftliche Untersuchung von Datenstrukturen zur Bestimmung des Nearest Neighbors für ein Music-Information-Retrieval-System.

Technologien: Matlab, C++, Perl, Apache, CGI, Mandrake Linux.

• Untersuchung mehrerer Nearest-Neighbor-Algorithmen auf Eignung hinsichtlich der Spezifikation.
• Design und Implementierung eines Algorithmus in C++ und Integration ins bestehende System (als dynamische Bibliothek in C++).
• Durchführung und Auswertung einer Testreihe zur Evaluierung.

• Mitarbeit an einer Software zur Erkennung von Identitätsdiebstahl
• Datenaufbereitung und Datenanalyse
• Mitarbeit an der Entwicklung und Implementierung von Algorithmen

• Entwicklung von Testumgebungen zur Beurteilung von Algorithmen
• Entwurf und Implementierung von GUIs zur Präsentation von Algorithmen auf Fachmessen

• Bereitstellung von IT-Infrastruktur