Paul M.
Dateningenieur
Erfahrungen
März 2023 - Nov. 2025
2 Jahren 9 MonatenDateningenieur
Luxoft
- Erstellte und rollte eine End-to-End-Plattform zur Datenintegration im Unternehmen aus, mit CloverDX-ETL-Pipelines, Python, PostgreSQL und AWS-Services, um rohe Analysedatasets zu laden, zu prüfen und zu strukturieren und so KI-basierte Automatisierung für Finanzprozesse und digitale Bankabläufe zu ermöglichen.
- Entwarf Connectoren zur Datenerfassung, die fragmentierte strukturierte und semi-strukturierte Eingabequellen sammeln und auf vereinheitlichte Schemadefinitionen für nachgelagerte Analyse-Workflows abstimmen.
- Erstellte automatisierte Lade- und Verteilungsjobs für Multi-Region-Speicher in S3, RDS und Redshift, um sichere Datenverfügbarkeit für Risikoanalysen, Betrugserkennungsmodelle, Kreditscoring und skalierbares Finanzreporting zu gewährleisten.
- Arbeitete eng mit Produktverantwortlichen zusammen, um neue Integrationswege zu bewerten und schnelle Prototyp-Connectoren für prioritäre Datenpartner zu entwickeln.
- Leistete Bereitschaftssupport zur Fehlerbehebung bei Ladeausfällen, Datenlatenz und beschädigten Finanzdateien und führte Ursachenanalysen durch Transaktionswiederholungen und kontrollierte Replikation im Testumfeld durch.
- Pflegte automatisierte Datenqualitätsprofile, Validierungsregeln und Fehlerbehandlungsprozesse, um Konsistenz sicherzustellen und manuelle Abstimmungen zwischen Systemen zu reduzieren.
- Erstellte interne technische Dokumentationen, darunter Data Lineage, Felddefinitionen, Abgleichsregeln, Diagramme des Finanzzyklus und Mapping-Spezifikationen, die in den Bereichen Engineering, Compliance und Support verwendet werden.
Okt. 2021 - Feb. 2023
1 Jahr 5 MonatenDateningenieur
Unicage
- Entwickelte ein cloudbasiertes ETL-Ingestions-Framework mit Airflow, Python, Aurora PostgreSQL und AWS Lambda zur Integration mehrerer Partnerdatenanbieter in Finanz-Webanwendungen.
- Entwickelte individuelle SQL-Transformationsskripte mit feldbasierter Validierungslogik zur Verarbeitung fehlerhafter Eingaben und Sonderfällen von Drittanbieter-Schnittstellen.
- Integrierte Data-Warehousing-Konzepte wie dimensionales Modellieren und inkrementelle Ladeverfahren, um skalierbare Analyse-Tools zu unterstützen.
- Arbeitete mit Sicherheitsteams zusammen, um Datenzugriffsabläufe an regulatorische Vorgaben und Audit-Dokumentationen anzupassen.
- Führte automatisierte Regressionstests für Daten ein, um Abweichungen in Mapping-Strukturen vor der Bereitstellung in Produktionssystemen zu erkennen.
Apr. 2019 - Okt. 2021
2 Jahren 7 MonatenDateningenieur
Biobot Analytics
- Baute großskalige COVID-19-Datenverarbeitungspipelines für den öffentlichen Gesundheitsbereich mit Databricks, Apache Spark, Snowflake und AWS, um Echtzeitfälle von Krankenhäusern, Laboren und nationalen Open-Data-Programmen in Public-Health-Intelligence-Plattformen einzulesen.
- Integrierte unterschiedliche Rohdatensätze wie Impffortschrittsverfolgung, Auslastung von Intensivbetten, Mortalitätskurven und Bevölkerungsdichtekennzahlen in gepflegte Data-Warehouse-Modelle für fortgeschrittene epidemiologische und operative Analysen.
- Entwarf automatisierte Datenvalidierungsregeln und Quality-Scoring-Frameworks mit Anomalieerkennung und schwellenwertbasierten Alarmen, die an Pipeline-Gesundheitsmetriken gekoppelt sind.
- Erstellte betriebliche Observability-Dashboards in Grafana und Cloud Monitoring zur Visualisierung von Pipeline-Latenz, Durchsatz und Auswirkungen von Schemaänderungen, um proaktive Fehlererkennung zu ermöglichen.
- Leistete schnelle Unterstützung während Notfallberichtszeiträumen und prüfte vor der Veröffentlichung die Korrektheit der Datensätze bei hoher Sichtbarkeit.
Feb. 2018 - März 2019
1 Jahr 2 MonatenPraktikant als Data Developer
Amazon
- Modernisierte veraltete ETL-Workflows durch Migration zu modularen, servicebasierten Pipelines, reduzierte den laufenden Wartungsaufwand und erhöhte die Zuverlässigkeit der Datensysteme.
- Erstellte automatisierte Ingestion-Frameworks für Partnerdaten-Feeds mit Datenbereinigung und Normalisierung, verkürzte die Verarbeitungszeiten und verbesserte die Datenqualität.
- Arbeitete mit Sicherheits- und Compliance-Teams zusammen, um geregelte Zugriffskontrollen und Audit-Mechanismen zu integrieren und die Übereinstimmung mit Unternehmensrichtlinien und gesetzlichen Vorgaben sicherzustellen.
Zusammenfassung
Cloud-orientierter Senior-Dateningenieur mit über acht Jahren praktischer Erfahrung in der Entwicklung und Bereitstellung hochzuverlässiger Datenverarbeitungssysteme, Enterprise-ETL-Pipelines und verteilter Integrationsplattformen in Finanz- und KI-Umgebungen. Fundierte Kenntnisse in der Integration komplexer Datenquellen, Optimierung großskaliger Pipelines und Gewährleistung der Datenintegrität für geschäftskritische Anwendungen. Enge Zusammenarbeit mit funktionsübergreifenden Teams, darunter Analysten, Architekten und Business-Stakeholder, in einem schnelllebigen Umfeld.
Sprachen
Englisch
VerhandlungssicherAusbildung
The University Of Tokyo
B.Sc. · Informatik · Japan
Sie suchen Freelancer?Passende Kandidaten in Sekunden!
FRATCH GPT testenWeitere Aktionen
Ähnliche Freelancer
Entdecken Sie andere Experten mit ähnlichen Qualifikationen und Erfahrungen.
- English
- Deutsch
2025 © FRATCH.IO GmbH. All rights reserved.