Christian Richter

Data Engineer

Berlin, Germany

Experience

Oct 2024 - Present
9 months

Data Engineer

Unterstützungs- und Beratungsdienstleistungen für eine SCM Anwendung.

Technologien: Google Cloud, GKE, Kubernetes, SQL, Kafka, Kafka Connect, Kotlin, Dbt, GitHub, Pekko.

  • Unterstützung im Erstellen eines Master Data Set für eine Supply Chain Management Anwendung.
  • Design und Implementierung von ETL Strecken.
  • Datenanalyse zur Optimierung der Datenqualität.
  • Umsetzung eines Dashboards zur Überwachung der Datenqualität.
  • Aufsetzen von CI/CD Pipelines, Monitoring und Alerting für operative ETL Prozesse.
Sep 2023 - Oct 2024
1 year 2 months

Data Engineer

Covestro AG

Unterstützungs- und Beratungsdienstleistungen im Rahmen einer Data Warehouse Implementierung.

Technologien: AWS Cloud, CloudFormation, SAP PLM, OpenSearch, Docker, Spring, Flyway, Java, SQL.

  • Beratung Datenmodell, ETL Strecken & Cloud Architektur.
  • Konzeption und Umsetzung mehrerer ETL Strecken.
  • Anbindung SAP PLM System zur Datenextraktion und Aufbereitung.
  • Anbindung MES System zur Datenextraktion und Aufbereitung.
  • Wissenstransfer interner Mitarbeiter.
Jul 2021 - Oct 2023
2 years 4 months

Data Engineer

GfK SE

Unterstützung bei der Migration eines Data Ware House von einer On-Premise Umgebung in die AWS Cloud.

Technologien: AWS Cloud, Airflow, Terraform, Python, Java, SQL, Cloudera, Hadoop, Glue, EMR, LakeFormation, GitLab.

  • Konzeption und Umsetzung eines Data Ware House mittels LakeFormation und Glue Catalog.
  • Migration bestehender Spark Jobs nach AWS Glue, AWS EMR.
  • Umsetzung Workflow Management mittels Airflow.
  • Konzeption und Umsetzung mehrerer GitLab CI/CD Pipelines.
  • Schulung und Wissenstransfer interner Mitarbeiter.
Jun 2020 - Dec 2022
2 years 7 months

Data Architect

RTL Group

Konzeption und Umsetzung eines cloud basierten Data Ware House zur Auswertung von Nutzerdaten.

Technologien: AWS Cloud, Kinesis, Kubernetes, Istio, Docker, Kafka, Python, PySpark, Pandas, Avro, Kafka Streams, Terraform, Python, Kustomize, PowerBI.

  • Konzeption und Umsetzung Cloud Infrastruktur zum Aufbau eines Data Warehouse.
  • Integration von Airflow als Workflow Engine.
  • Integration Google Spark K8s Operator als Runtime für ETL Prozesse.
  • Aufbau eines Teams zur Umsetzung von ETL Prozesse.
  • Umsetzung mehrerer ETL Prozesse mit PySpark.
  • Implementierung Event Streaming Pipeline für Echtzeitanalysen.
  • Datenaufbereitung für weitergehende Analyse in PowerBI.
  • Beratung allg. Datenarchitektur.
Aug 2019 - Dec 2020
5 months

DevOps Engineer

D.Swarovksi KG

Konzeption und Umsetzung Infrastruktur zur Sensordatenverarbeitung, Erweiterung einer bestehenden Data Sciene Umgebung.

Technologien: AWS Cloud, Kubernetes, CloudFormation, Kafka, Kafka Connect, PySpark, Bamboo, Java, Python, Docker, Helm Charts, InfluxDB.

  • Beratung hinsichtlich Konzeption und Werkzeuge zum Aufbau einer Kubernetes basierten Infrastruktur zur Sensordatenverarbeitung.
  • Konzeption und Aufbau Infrastruktur auf Kubernetes (Kafka Cluster, Spark Framework, Zookeeper, ZK Manager).
  • Konzeption und Aufbau ETL Strecke zur Datenvereinnahmung.
  • Konzeption und Aufbau CI/CD Pipeline mit Bamboo & Kubernetes.
Jan 2019 - Mar 2020
1 year 3 months

Data Engineer

Volkswagen AG

Konzeption und Umsetzung eines cloud basierten Data Ware House zur Auswertung von Fahrzeugdaten, Evaluierung Data Science Umgebung.

Technologien: AWS Cloud, Lambda, IAM, Kubernetes, Kubeflow, Docker, Databricks, Terraform, Python, OpenSearch, LogStash, Kibana, Helm.

  • Erweiterung und Produktivsetzung eines Prototypen zur Massendatenverarbeitung.
  • Aufbau und Inbetriebnahme einer CI/CD Pipeline.
  • Konzeption, Umsetzung & Deployment Backend API inkl. Helm Chart.
  • Konzeption & Umsetzung Projektstruktur, Release Management.
  • Evaluierung Kubeflow, Databricks.
  • Aufbau ETL Strecke zur Datenvalidierung und –vereinnahmung.
  • Umsetzung Feature Extraktion aus Fahrzeugdaten.
Oct 2017 - Nov 2018
1 year 2 months

Data Engineer

D. Swarovski KG

Konzeption und Umsetzung eines cloud basierten Data Ware House / Data Science Umgebung.

Technologien: AWS Cloud, Kubernetes, Spark, R, NiFi, CloudFormation, Docker, Python, Jupyter Notebook.

  • Konzeption eines dynamisch skalierbaren Data Ware House.
  • Umsetzung Infrastruktur in CloudFormation (Infrastructure as Code).
  • Umsetzung Infrastruktur Komponenten in Kubernetes.
  • Modellierung DWH & Datenablage.
  • Aufbau ETL Strecken zur Datenvereinnahmung.
May 2017 - Dec 2019
1 year 8 months

Data Architect

aixigo AG

Unterstützung Konzeption und Umsetzung einer Micro Service Architektur.

Technologien: Micro Services, Java, Docker, Kafka, LiquiBase, IT Architektur allg.

  • Abstimmung und Koordination div. Teams bzgl. Technologieeinsatz.
  • Unterstützung Konzeption zentraler Elemente (De/Serializer, Data Pipe Design, Error Handling, Message Handling, Datenbank Design).
  • Einführen von Kafka als zentralen Message Bus für Micro Services.
  • Einführen von LiquiBase zum Datenbank Schema Management.
  • Fachlich / technische Betreuung eines konkreten Micro Service.
Mar 2017 - Mar 2017
1 month

Requirements Engineer

Open Grid Europe GmbH

Unterstützung bei der Evaluierung von Anbietern im Bereich Big Data.

Technologien: Hortonworks, Cloudera, SAP Cloud, Apache NiFi, AWS Cloud, MS Azure.

  • Erfassung und Dokumentation der technischen und fachlichen Anforderungen zum Aufbau und Betrieb eines auf Apache Hadoop basierenden Data Warehouse.
  • Einholen von Angeboten verschiedener Anbieter, Aufbereitung der Informationen zur Entscheidungsfindung.
  • Implementierung eines Prototyps zur Datenvereinnahmung.
Jan 2016 - Aug 2017
8 months

Data Engineer

GfK SE

Konzeption und Umsetzung Big Data Warehouse in der AWS Cloud.

Technologien: AWS Cloud, Spark, SparkR, Cloudera, Hadoop, Hive, Python, Jupyter Notebook, R, Bamboo, Terraform.

  • Technische Projektleitung.
  • Konzeption AWS Cloud Infrastruktur.
  • Implementierung Data Pipelines.
  • Aufbau Data Warehouse / Workflow Management.
  • Datenaufbereitung / Prozessmanagement.
Oct 2016 - Oct 2016
1 month

Data Engineer

Universitätsspital Basel

Workshop Big Data Technologien – Einführung und Funktionsweise.

Technologien: Hadoop, Spark, AWS Cloud, MapReduce, Hive, Pig, R.

  • Durchführung eines 3-tägigen Workshops.
  • Einführung in Big Data/Hadoop Ökosystem.
  • Praktische Übung Big Data Einsatz in der AWS Cloud.
Jun 2016 - Dec 2016
7 months

Data Engineer

Helix Leisure Pte Ltd

Architekturreview und Konzeption und Implementierung Streaming Layer.

Technologien: Hadoop, Spark, AWS Cloud, Scala, MapReduce, JCascalog, RedShift, CloudFormation.

  • Review und Bewertung vorhandene Architektur und Datenmodell.
  • Durchführung Workshop Datenmanagement / Lambda Architektur.
  • Konzeption und Implementierung Realtime Layer mit Spark RT.
  • Erarbeitung Konzept und Umsetzung für die Integration von Realtime Layer und Batch Layer.
Feb 2016 - Jul 2016
6 months

Data Engineer

Otto GmbH & Co. KG

Unterstützung im Aufbau von ETL Strecken für ein Hadoop basiertes DWH.

Technologien: Hadoop, Hive, Spark, Redis, Kafka, Avro, Scala, HCatalog, Schedoscope.

  • Planung und Umsetzung eines Hive Export Moduls.
  • Implementierung Kafka & Redis Export Modul als Teil eines Open Source Projektes.
  • Implementierung Analyse Algorithmus zur Auswertung von Click Streams.
Dec 2015 - Aug 2016
9 months

DevOps Engineer

GfK SE

Konzeption und Aufbau Continuous Deployment / Delivery Pipeline für datengetriebene Anwendung in einer Cloud Umgebung.

Technologien: AWS Cloud, Hadoop, Spark, Bamboo, Git, Terraform, Vagrant, InfluxDB.

  • Planung und Umsetzung einer Big Data Infrastruktur in der AWS Cloud.
  • Planung und Umsetzung einer Continuous Deployment Pipeline.
  • Technische Leitung eines internen Teams.
Jul 2015 - Oct 2015
4 months

Data Engineer

RadioOpt GmbH

Konzeption und Umsetzung eines Data Ware House basierend auf Big Data Technologien – OLAP workload.

Technologien: Hadoop, Impala, Hive, ETL, AWS Cloud.

  • Planung und Realisierung der Cluster Infrastruktur.
  • Evaluierung verschiedener Eingangsformate hinsichtlich der Performance.
  • Vorbereitung und Durchführung von Lasttests.
Jul 2014 - Jun 2015
1 year

Data Engineer

Technicolor SA

Konzeption und Umsetzung eines Big Data Systems zur Batch und Realtime Datenverarbeitung.

Technologien: Hadoop, Samza, Spark, Kafka, Java, ETL, AWS, CloudFormation.

  • Planung und Realisierung der Deploymentumgebung.
  • Evaluierung verschiedener Technologien zur Datenerfassung / Datenverarbeitung.
  • Technische Leitung eines Teams.
  • Implementierung eines verteilten, ausfallsicheren High Throughput Messaging- und Analyse Systems für Maschinendaten (Lambda Architecture).
Mar 2013 - Sep 2014
1 year 7 months

Data Engineer

Ubisoft / BlueByte GmbH

Konzeption und Umsetzung eines Hadoop basierten Data Warehouse für Game Analytics.

Technologien: Hadoop, Map/Reduce, Kafka, Hive, ETL, Java, Linux.

  • Planung und Realisierung eines Data Warehouse.
  • Evaluierung verschiedener Ansätze zur Datenerfassung.
  • Auswahl geeigneter Technologien.
  • Technische Leitung / Koordination eines verteilten Teams (GER, CN, CAN).
  • Implementierung eines verteilten, ausfallsicheren High Troughput Messaging System.
Feb 2013 - Jun 2014
1 year 5 months

DevOps Engineer

Deutsche Telekom AG

Konzeption und Umsetzung einer Big Data Infrastruktur in virtualisierten Umgebungen.

Technologien: Hadoop, OpenStack, Opscode Chef, Java, Linux.

  • Planung und Realisierung einer Big Data Deployment Infrastruktur.
  • Implementierung Deployment Prozess für Hadop Cluster on Demand in einer virtualisierten Umgebung.
  • Prototypische Implementierung verschiedener Algorithmen im Map/Reduce Framework.
Nov 2012 - Aug 2015
2 years 10 months

DevOps Engineer

GfK SE

Konzeption und Umsetzung einer Big Data Architektur zur Auswertung von Telekommunikationsdaten.

Technologien: Cloudera, Hadoop, Hive, Flume, Java, Spring, Puppet, Ubuntu Linux, AWS.

  • Planung und Realisierung des Netzwerkes (VPC).
  • Planung und Realisierung eines Hadoop Clusters (100TB Kapazität).
  • Einrichten Deployment Prozess, inkl. Monitoring.
  • Implementierung eines Data Ingestion Frameworks zur Speicherung von ca. 300GB Daten pro Tag.
May 2012 - Dec 2013
8 months

Data Engineer

exactag GmbH

Konzeption und Umsetzung eines Hadoop Clusters.

Technologien: Cloudera, Hadoop, Hive, Pig, Python, Java, Maven, Puppet, Debian Linux.

  • Beratung und Konzeption eines Hadoop Clusters.
  • Auswahl der geeigneten Hardware.
  • Einrichten eines Deployment Prozesses und Ausrollen des Clusters.
  • Portierung bestehender Statistikroutinen nach Map/Reduce.
Jun 2011 - Mar 2012
10 months

Data Engineer

Etracker GmbH

Neuimplementierung eines Analysetools als Map/Reduce Anwendung.

Technologien: Cloudera, Hadoop/HBase, Java, Maven, Ganglia, Chef, PHP, Debian Linux.

  • Analyse und Integration einer bestehenden Implementierung in das Map/Reduce Framework mit der Hadoop Streaming API.
  • Installation und Konfiguration eines Hadoop Clusters inkl. Monitoring.
  • Einrichten eines Deployment Prozesses.
Mar 2011 - Sep 2016
5 years 7 months

Data Engineer, DevOps Engineer

LambdaNow.com / AltusInsight GmbH

Konzeption und Entwicklung einer Webapplikation (LambdaNow).

Technologien: Apache Hadoop, Python, Puppet, AWS, OpenStack, Git, RedHat Linux.

Konzeption der Anwendung.

  • Implementierung von Webseite und Backend.
  • Einrichten Deployment Prozess + Hosting Umgebung.
  • Einrichtung eines vollautomatisierten Apache Hadoop Deployment Prozesses in der Amazon und OpenStack Cloud.
Sep 2010 - Feb 2011
6 months

Backend Entwickler

Aupeo GmbH

Integration eines Payment Providers in bestehendes Backend.

Technologien: Ruby/Rails, OAuth, MySQL, Git, Debian Linux.

  • Mapping der Daten, Textmatching mit vorhandener Datenbasis.
  • Datenaufbereitung, Konvertierung und Import in Datenbank.
  • Integration eines Payment Providers.
May 2010 - Sep 2010
5 months

Backend Entwickler

OpenLimit SignCubes GmbH

Integration einer Signaturkomponente in ein Email Programm (KMail).

Technologien: C++, Qt, KDE, Ubuntu Linux.

  • Einrichten der Debug Umgebung.
  • Integration Signaturkomponente in KMail.
  • Testen der Implementierung.
Mar 2010 - May 2010
3 months

Backend Entwickler

Etracker GmbH

Implementierung und Refactoring eines Analysetools in C++.

Technologien: C++, MySQL C/C++ API, Doxygen, Hudson, Ubuntu/Debian Linux.

  • Einrichten einer Build Umgebung für C++ Projekte.
  • Refactoring des Prototypen.
  • Anpassung und Erweiterung der Software an Produktionsumgebung (Logging, Fehlerbehandlung, Unit Testing).
  • Einrichten eines Deployment Prozesses.
  • Aufsetzen einer Build Servers (Continous Integration).
Jan 2009 - Present
15 years 6 months
Berlin, Germany

Freiberuflicher Data Engineer

Ingenieurbüro Christian Richter – Data, Cloud & Container

  • Freiberuflicher Data Engineer mit Interesse an DevOps
  • Mitwirkung an über 20 erfolgreichen Projekten
Nov 2009 - Feb 2010
4 months

Backend Entwickler

Ingenieurbüro Christian Richter

Konzeption und Entwicklung eines Web Crawlers.

Technologien: C++, Fedora/RedHat Linux, Cassandra.

  • Design der Applikation als hochperformanten multi-threaded Server.
  • Implementierung als verteilte Anwendung unter Verwendung von asynchronen Sockets (non-blocking I/O).
May 2009 - Oct 2009
6 months

Data Engineer

MOG Inc.

Erweiterung eines bestehenden Indexing Frameworks.

Technologien: Ruby/Rails, MySQL.

  • Anpassung eines Indexing-Framework zur Indizierung von Musikdaten an ein verändertes Datenbankmodell.
  • Konvertierung der vorhandenen Daten (ca. 100Gb).
May 2008 - Apr 2009
1 year

DevOps Engineer

MOG Inc.

Konzeption, Aufbau und Inbetriebnahme einer Hosting Umgebung für eine große Webseite.

Technologien: Apache, Nginx, HAProxy, Mongrel, MySQL, MySQLProxy, BIND, DHCP, Cobbler, Puppet, RedHat Linux.

  • Konzeption der Hosting Umgebung.
  • Aufbau der Infrastruktur für Server Provisioning/Configuration.
  • Einrichtung MySQL Master/Master Replication + MySQLProxy.
  • Einrichten der Serversoftware, Monitoring und Logging.
  • Migration der Webseite vom Hosting Provider zur Colocation.
  • Analyse und Optimierung zur Verbesserung der Performance des Gesamtsystems.
Oct 2007 - Apr 2008
7 months

Backend Entwickler

MOG Inc.

Portierung eines XML-RPC Servers von Ruby on Rails nach C++.

Technologien: C++, XML-RPC, Ruby/Rails, XML Schema, MySQL C/C++ API, RedHat Linux.

  • Analyse der Performanceprobleme.
  • Implementierung/Portierung nach Spezifikation (geg. Protokoll).
  • Austausch der Komponente und Integration in vorhandenes Backend.
Jun 2006 - Sep 2007
1 year 4 months

Data Engineer

MOG Inc.

Konzeption und Entwicklung einer Infrastruktur zur Integration von Daten externer Anbieter.

Technologien: Ruby/Rails, MySQL, Bash, RedHat Linux.

  • Aufbau einer Musikdatenbank mit Daten von Anbietern wie Allmusic, Muze (Macromedia), Rhapsody, MediaNet.
  • Datenaufbereitung, Konvertierung und Import in Datenbank.
  • Mapping der Daten verschiedener Anbieter.
Jan 2005 - May 2006
5 months

Backend Entwickler

MOG Inc.

Konzeption, Design und Entwicklung eines Spellcheckers als Komponente eines Indexing Frameworks.

Technologien: C++, SOAP, CLucene, MySQL C/C++ API, Doxygen, RedHat Linux.

  • Analyse vorhandener Algorithmen.
  • Implementierung eines Algorithmus (Levensthein Distance und Ngram Index) in C++.
  • Integration in vorhandenes System.
May 2005 - Oct 2009
4 years 6 months
Berkeley, United States

Softwareentwickler und Systemarchitekt

MOG Inc. – Startup im Bereich Medien/Internet

  • Verantwortlich für Entwurf, Umsetzung und Inbetriebnahme der Hosting Umgebung
  • Konzeption und Umsetzung mehrerer Softwareprojekte in C++
May 2005 - Dec 2005
8 months

Backend Entwickler

MOG Inc.

Konzeption, Design und Entwicklung eines Collaborative Filtering Systems als verteilte Anwendung.

Technologien: C++, MySQL C/C++ API, XML, XML Schema, Perl, Doxygen, RedHat Linux.

  • Evaluierung geeigneter Algorithmen.
  • Implementierung als verteilte Anwendung mit Datenbankanbindung.
  • Integration in vorhandenes Backend und Frontend.
Sep 2004 - Mar 2005
7 months

Backend Entwickler

Fraunhofer Institut

Implementierung/Portierung eines Verfahrens zur Extraktion der Hauptmelodielinie.

Technologien: C++, Matlab, Mandrake Linux.

  • Portierung eines in Matlab vorhandenen Algorithmus nach C++.
  • Optimierung der Implementation hinsichtlich der Laufzeit.
Jul 2003 - Mar 2005
1 year 9 months
Ilmenau, Germany

Mitarbeiter

Fraunhofer IDMT – Forschungsinstitut im Bereich Audio/Video

  • Wissenschaftliche Untersuchungen auf dem Gebiet von Suchalgorithmen
  • An der Entwicklung und Implementierung von Algorithmen beteiligter Mitarbeiter
Jul 2003 - Aug 2004
1 year 2 months

Data Analyst

Fraunhofer Institut

wissenschaftliche Untersuchung von Datenstrukturen zur Bestimmung des Nearest Neighbors für ein Music Information Retrieval System.

Technologien: Matlab, C++, Perl, Apache, CGI, Mandrake Linux.

  • Untersuchung mehrerer Nearest Neighbor Algorithmen auf Eignung hinsichtlich der gegebenen Spezifikation.
  • Design und Implementierung eines Algorithmus in C++ und Integration in das bestehende System (als dynamische Bibliothek in C++).
  • Durchführung und Auswertung einer Testreihe zur Evaluierung.
Jan 2003 - Jun 2003
6 months

Data Analyst

ID Analytics Inc.

Mitarbeit an der Entwicklung von Algorithmen zur Erkennung von Identitätsdiebstahl.

Technologien: Java, Octave, Perl, Tomcat, Oracle, RH Linux, Solaris.

Implementierung eines Tools zur Visualisierung von Graphen.

  • Analyse großer Datenmengen (~250 GB) zur Merkmalsextraktion mit einem Java Processing Framework.
  • Entwicklung/Implementierung von Algorithmen zur Erkennung von Identitätsdiebstahl (Regressionsanalyse).
Jan 2003 - Jun 2003
6 months
San Diego, United States
Lorem ipsum dolor sit amet

ID Analytics Inc. – Startup im Bereich Finanzdienstleistungen

  • Mitarbeit an einer Software zur Erkennung von Identitätsdiebstahl
  • Datenaufbereitung und Datenanalyse
  • Mitarbeit an der Entwicklung und Implementierung von Algorithmen
Nov 2001 - Dec 2003
1 year 2 months
Lorem ipsum dolor sit amet

Fraunhofer Institut

Mitarbeit an Design und Implementierung einer Cross-Platform GUI (Win32/Linux) für ein Query by Humming System.

Technologien: C++, QT, Win32, Linux.

Aug 2000 - Dec 2003
2 years 5 months
Ilmenau, Germany
Lorem ipsum dolor sit amet

Fraunhofer IDMT – Forschungsinstitut im Bereich Audio/Video

  • Entwicklung von Testumgebungen zur Beurteilung von Algorithmen
  • Entwurf und Implementierung von GUIs zur Präsentation von Algorithmen auf Fachmessen
Aug 2000 - Oct 2001
1 year 3 months
Lorem ipsum dolor sit amet

Fraunhofer Institut

Mitarbeit wissenschaftliche Evaluierung von Algorithmen zur Ähnlichkeitssuche für ein Query by Humming System.

Technologien: Matlab, Bash, Linux.

  • Implementierung verschiedener Algorithmen in Matlab.
  • Automatisierung/Parallelisierung der Testumgebung mit Bash Scripten.
Jun 1999 - Jul 1999
2 months
Eckental, Germany
Lorem ipsum dolor sit amet

Jumatech – Firma im Bereich Leiterplattenproduktion

  • Bereitstellung von IT Infrastruktur

Summary

  • Konzeption und Umsetzung von ETL Strecken, Data Pipelines und ML Pipelines
  • DSGVO konformes Datenmanagement und Datenverarbeitung
  • Design und Entwicklung von cloud basierten Data Warehouse, Data Lake und Lakehouse Implementierungen
  • Datenmodellierung und Analyse, Datenkonvertierung und Aufbereitung
  • Konzeption und Umsetzung von datengetriebenen Anwendungen auf cloud-native Infrastrukturen
  • Anforderungsanalyse, Geschäftsprozessanalyse, Risikoanalyse

Languages

German
Native
English
Advanced

Education

Oct 1998 - Sep 2004

Technische Universität Ilmenau

Diplom · Theoretische Elektrotechnik · Ilmenau, Germany

Sep 1992 - Jul 1996

Georg-Cantor-Gymnasium Halle (Saale)

Allgemeine Hochschulreife · Halle (Saale), Germany