Daniel P.
Berufliche Weiterentwicklung
Erfahrungen
Jan. 2023 - Nov. 2023
11 MonatenBerufliche Weiterentwicklung
- In einer proaktiven Phase zur Erweiterung meiner Fähigkeiten und meines Wissens habe ich während einer Pause von Kundenprojekten meine Zeit effektiv genutzt:
- Certified Cloud Practitioner: Erlangung der Zertifizierung als AWS Certified Cloud Practitioner, die grundlegendes Cloud-Wissen und Kompetenzen in AWS-Services bestätigt.
- Neue Programmiersprache: Beherrschung der Grundlagen von Rust durch intensives Selbststudium, inklusive Bücherlesen, Online-Kurse und Beiträge zu Open-Source-Projekten.
- Serverlose Webanwendung (in Entwicklung): Aufbau einer serverlosen Webanwendung mit AWS und TypeScript/React in Kombination mit D3 im Rahmen eines persönlichen Projekts in diesem Jahr. Obwohl die Anwendung noch in der Entwicklung ist, kann ich gerne eine ausführliche Demo oder einen Rundgang anbieten, um die aktuellen Funktionen und das zukünftige Potenzial zu zeigen. Verwendete AWS-Services sind RDS, Lambda, Polly und Amplify. CDK kommt für das Infrastrukturmanagement zum Einsatz. Dieses Projekt hat mir wertvolle praktische Erfahrung in der Architektur serverloser Anwendungen auf AWS-Cloud-Infrastruktur gebracht. Dabei habe ich gelernt, AWS-Services wie RDS (Relational Database Service) für effizientes Datenbankmanagement, Lambda für serverlose Berechnungen, Polly für Text-zu-Sprache-Funktionen und Amplify für nahtlose Bereitstellung und Hosting zu integrieren.
- Kontinuierliches Lernen: Ich halte mich regelmäßig über Branchentrends und Best Practices auf dem Laufenden durch Selbststudium, Webinare und Online-Workshops. Kürzlich habe ich mich intensiv mit dem Data-Mesh-Ansatz beschäftigt und FastAPI erkundet.
Juni 2022 - Dez. 2022
7 MonatenData Engineer
Führender deutscher multinationaler Automobilhersteller
- Als Data Engineer habe ich die bestehenden Batch-Jobs für Clustering bei einem Softwareunternehmen des Konzerns ersetzt. Dieses Clustering nutzt Standortdaten und zusätzliche Metadaten von weltweit verteilten Ladestationen für Elektrofahrzeuge.
- Im Team für POI-Datenmanagement (Point of Interest) habe ich eng mit den vorherigen Entwicklern zusammengearbeitet und mein Wissen in Spark und Airflow genutzt, um eine neue Lösung mit Databricks auf Azure zu entwerfen und umzusetzen.
- Gemeinsam mit einem Teamkollegen habe ich die bestehende Airflow-Pipeline für die Batch-Jobs und die komplexe Business-Logik refaktoriert. Dabei haben wir auch Bibliothekscode für Clustering und Vorverarbeitung überarbeitet, Dokumentation ergänzt und die Codequalität mithilfe defensiver Programmiertechniken verbessert.
- Aufbau einer neuen Lösung in der Azure Cloud mit Databricks basierend auf den erworbenen Domänenkenntnissen und Business-Anforderungen fürs Clustering. Aufgaben umfassten die Integration vorhandener Daten in AWS S3 und Azure Blob Storage, die Entwicklung von Bibliothekscode und Spark-Jobs für geospatiales Clustering von Ladestationsdaten.
- Obwohl das Team hauptsächlich Python einsetzt, verwendet die neue Lösung auch die offizielle Open-Source-Scala-Bibliothek für Graph-Clustering. Meine Erfahrung mit Scala und JVM-Entwicklung habe ich genutzt, um die Bibliothek durch eine passende Wrapper-Klasse in Python nutzbar zu machen.
- Zu Projektbeginn habe ich zudem mit Entwicklern und Testern zusammengearbeitet, um Bugs in einem ereignisgesteuerten Service zu beseitigen und die Testabdeckung zu erhöhen. Dieser Azure-Functions-basierte Dienst erkennt und entfernt datenschutzrelevante Informationen aus Fahrzeugsignalströmen. Zwischenergebnisse werden in Redis zwischengespeichert.
- Weitere Aufgaben: Mitwirkung an Code-Reviews, PI-Planung, Tests und Dokumentation.
- Skills und Technologien:
- Programmiersprachen: Python, Scala, SQL
- Build- und Abhängigkeitsmanagement: Poetry, SBT
- Datenverarbeitung und Analyse: PySpark, Spark, GraphX
- Cloud-Services: Azure (Databricks, Blob Storage, Functions) und AWS (S3)
- Workflow-Orchestrierung: Airflow
- In-Memory-Datenspeicher: Redis
- Versionsverwaltung & CI/CD: Git, Jenkins, Bitbucket
Mai 2021 - März 2022
11 MonatenData Engineer
Führendes deutsches Medienunternehmen
- Als Data Engineer habe ich Daten und Machine-Learning-Modelle für automatisiertes Customer-Relationship-Management betreut. Unser cross-funktionales Team aus Data Scientists und Engineers arbeitete nach SaFe. Unsere Arbeit war entscheidend für die Bereitstellung wertvoller Daten-Insights und Predictive-Modelle für Multi-Message-Kampagnen und CRM-Initiativen mit rund 7 Millionen Nutzern.
- Entwurf und Aufbau von ETL-Pipelines für Vertrags- und Nutzungsdaten sowie Generierung von Features für Machine-Learning-Modelle.
- Implementierung von Machine-Learning-Pipelines in der Cloud für KI-Anwendungen wie Churn-Scoring, Next-Best-Action und Vorhersage des Kundenverhaltens.
- Zusammenarbeit bei der Überführung von Data-Scientist-Modellen vom Experimentierstadium in die Produktion.
- Automatisierung von Datenexporten und Score-Übertragungen in den zentralen Event-Bus zur Nutzung durch andere Services.
- Aufbau von Data-Quality-Monitoring mit Great Expectations zur Sicherstellung der Genauigkeit, Vollständigkeit und Konsistenz eingehender Daten.
- Gemeinsamer Spike mit einem Kollegen zur Vorbereitung von MLOps-Schritten, inklusive Bewertung von Workflows, Repositories und Erforschung von Feature-Store-Integrationen.
- Skills und Technologien:
- Programmiersprachen: Python, SQL
- Datenverarbeitung und Analyse: Pandas, PySpark, NumPy
- Machine-Learning-Bibliotheken: Scikit-Learn, CatBoost
- Data-Quality-Monitoring: Great Expectations
- Cloud-Services: AWS (S3, Kinesis, Athena, EMR, Glue)
- Workflow-Orchestrierung: Airflow
- Containerisierung & Orchestrierung: Docker, Kubernetes
- Infrastructure as Code: Terraform
- Versionsverwaltung & CI/CD: Git, GitLab
Dez. 2020 - Dez. 2020
1 MonateData Engineer
Multinationales Telekommunikationsunternehmen
- Unterstützung des Data-Engineering-Teams des Kunden bei der konzeptionellen und architektonischen Vorbereitung der Extraktion von Daten aus einer externen API in ihren auf AWS basierenden Big Data Lake und das Redshift Data Warehouse.
- Die API gehört zu einer SaaS-Plattform für Kampagnenmanagement und Kundenanalyse mit Themen aus dem Bereich Natural Language Processing (z. B. Sentiment-Analyse und Erkennung von Phrasen und Keywords in Kundenkommentaren). Tätigkeiten:
- Anforderungserhebung bei Projektbeteiligten und Anforderungsanalyse.
- Klärung von Fragen zu NLP und API-Design mit einem Ansprechpartner der SaaS-Plattform und Stakeholdern.
- Erweiterung der Dokumentation in Confluence.
- Erstellung eines logischen Datenmodells und konzeptionelles Design der ETL-Pipeline.
- Vorbereitung eines Proof of Concept für Streaming-Daten von einem Kafka-Cluster in die S3-Schicht in der AWS-Cloud unter Verwendung des Delta Lake Frameworks von Databricks.
- Skills und Technologien:
- Programmiersprachen: Scala, SQL
- Big-Data-Verarbeitung und Analyse: Spark, Kafka, Delta Lake, Redshift, Natural Language Processing (NLP)
- Cloud-Services: AWS (S3)
Jan. 2019 - Bis heute
6 Jahren 9 MonatenFreiberuflicher Softwareentwickler
- Als Freelancer entwickle ich individuelle Lösungen mit Schwerpunkt auf Data- und Machine-Learning-Engineering.
Jan. 2019 - Jan. 2020
1 Jahr 1 MonateSoftware Developer
Europäisches Fashion- und Lifestyle-Unternehmen
- Als Softwareentwickler verantwortlich für den Aufbau eines auf AWS basierenden Cloud-Data-Lakes, unterteilt in mehrere Zonen, der auch für ein nachgelagertes Data Mart in Redshift genutzt wird. Endanwender greifen über Tableau auf Analysen und Abfragen zu. (Zeiträume: 01/2019–05/2019 und 08/2019–01/2020). Tätigkeiten:
- Einsatz von Apache NiFi in der Proof-of-Concept-Phase für Extraktion aus Quellsystemen zu S3 und Kinesis.
- Entwicklung mehrerer Software-Services mit Scala und Spark für die automatische Extraktion und Transformation (ETL) verschiedener Quellsysteme/Datenbanken in die AWS-Cloud.
- Umsetzung der Transformationslogik zur Erstellung von Fakt- und Dimensionstabellen (Datenmodellierung nach Kimball).
- Implementierung von ETL-Pipelines mit Spark und Scala basierend auf Vorgaben der Data-Analytics-Abteilung und bestehenden Tableau-Prep-Flows.
- Entwicklung, Anpassung und Deployment programmatischer Workflows zur Planung von Spark-Jobs auf EMR-Clustern via Apache Airflow.
- Wissensvermittlung und Mentoring zu Scala und Spark in der Teamprogrammierung.
- Entwicklung eines eigenen Mini-Frameworks in Scala für typensichere Arbeit mit Spark DataFrames (gemeinsam im Team entwickelt) zur Erleichterung von Entwicklung und Testing von Transformationsbausteinen innerhalb von ETL-Pipelines.
- Integration und Ablösung neuer und alter Datenquellen.
- Entwicklung von Integrations- und Unit-Tests, Debugging und Durchführung von Ausführungstests.
- Skills und Technologien:
- Programmiersprachen: Python, Scala, SQL
- Build- und Abhängigkeitsmanagement: Poetry, SBT
- Datenverarbeitung und Analyse: PySpark, Spark, GraphX
- Cloud-Services: AWS (EMR, S3, SSM, Kinesis, Redshift)
- Datenintegration und Workflow-Orchestrierung: Airflow, NiFi
- Datenbanken: MS SQL Server, SAP HANA
- Containerisierung & Orchestrierung: Docker, Kubernetes
- Versionsverwaltung & CI/CD: GitHub, Jenkins, Bitbucket
- Artefaktmanagement: JFrog Artifactory
Aug. 2015 - März 2018
2 Jahren 8 MonatenHamburg, Deutschland
Data Engineer
codecentric AG
- codecentric AG ist ein deutscher IT-Dienstleister mit 15 Standorten in Deutschland und weiteren europäischen Ländern mit Hauptsitz in Solingen. Das Unternehmen entwickelt kundenspezifische Softwarelösungen und beschäftigt rund 450+ Experten im Bereich agile Softwareentwicklung.
- Bei codecentric habe ich als Engineer in einer Business Unit für Data Science und Machine Learning gearbeitet und zu Kunden- und Inhouse-Projekten beigetragen.
Nov. 2014 - Mai 2015
7 MonatenHamburg, Deutschland
Scala Developer
DIGITEC GmbH
- DIGITEC GmbH ist ein deutscher Softwareanbieter mit Sitz in Hamburg. Das Unternehmen entwickelt, vertreibt und betreut Software für Kunden aus der Finanz- und Bankenbranche für den Handel auf Geld- und Devisenmärkten.
- Als Entwickler in einem Scrum-Team habe ich Features für die kommende Version der firmeneigenen Desktop-Software-Suite umgesetzt.
Zusammenfassung
Software Engineer mit über 5 Jahren Erfahrung in der Entwicklung datengetriebener Bildungssoftwarelösungen. Ich habe Unternehmen dabei unterstützt, ihre Daten optimal zu nutzen – von der Entwicklung von Machine-Learning-Services zur Optimierung ihrer Werbeeinnahmen bis hin zum Aufbau eines Data Lakes, der verschiedene Datenquellen integriert und eine unternehmensweite 360-Grad-Sicht auf die wichtigsten Daten in der Cloud ermöglicht, um umsetzbare Erkenntnisse zu gewinnen.
Sprachen
Deutsch
MutterspracheEnglisch
VerhandlungssicherFranzösisch
GrundkenntnisseAusbildung
Georg August Universität Göttingen
Promotion · Mathematik · Göttingen, Deutschland
Universität Wuppertal
Diplom · Mathematik und Informatik (Nebenfach) · Wuppertal, Deutschland
Zertifikate & Bescheinigungen
AWS Certified Cloud Practitioner
AWS
Confluent Developer Training: Building Kafka Solutions
Confluent
Amazon Detective Deep Dive
A Cloud Guru
Applied AI with Deep Learning
Coursera
BerkeleyX – CS190.1x: Scalable Machine Learning
edX
Building Machine Learning Pipelines on AWS
A Cloud Guru
Cluster Analysis in Data Mining
Coursera
Data Streaming Nanodegree
Udacity
Databricks Lakehouse Fundamentals
Databricks Academy
Deploying Applications with AWS CDK
A Cloud Guru
Developing Data Products
Coursera
Exploratory Data Analysis
Coursera
Functional Programming Principles in Scala
Coursera
Getting Started with Google Kubernetes Engine
Coursera
Introduction to Big Data with Apache Spark
edX
Kotlin for Java Developers
Coursera
Pattern Discovery in Data Mining
Coursera
Practical Event-Driven Security with AWS
A Cloud Guru
R Programming
Coursera
Statistical Inference
Coursera
Terraform Basics
Coursera
Text Mining and Analytics
Coursera
Sie suchen Freelancer?Passende Kandidaten in Sekunden!
FRATCH GPT testenWeitere Aktionen
Ähnliche Freelancer
Entdecken Sie andere Experten mit ähnlichen Qualifikationen und Erfahrungen.
- English
- Deutsch
2025 © FRATCH.IO GmbH. All rights reserved.