Paul Martins
Dateningenieur
Erfahrungen
Dateningenieur
Luxoft
- Aufbau und Einsatz einer End-to-End-Datenintegrationsplattform für Unternehmen mit CloverDX-ETL-Pipelines, Python, PostgreSQL und AWS-Services zur Aufnahme, Validierung und Strukturierung von Rohdatensätzen für Analysen, die KI-gestützte Automatisierung für Finanzprozesse und digitale Banking-Workflows unterstützen.
- Entwurf von Datenextraktions-Connectors, die fragmentierte strukturierte und semi-strukturierte Eingabequellen sammeln und an einheitliche Schemadefinitionen anpassen, die für nachgelagerte Analyse-Workflows erforderlich sind.
- Erstellung automatisierter Datenlade- und Verteilungsjobs für Multi-Region-Speicher in S3, RDS und Redshift, um eine sichere Datenverfügbarkeit für Risikoanalysen, Betrugserkennungsmodelle, Bonitätsbewertungen und skalierbares Finanzreporting zu gewährleisten.
- Enge Zusammenarbeit mit Produktverantwortlichen im Business-Bereich zur Bewertung neuer Integrationswege und zum Prototyping schneller Connectoren für wichtige Datenpartner.
- Bereitstellung von Bereitschaftsunterstützung zur Behebung von Ingestionsfehlern, Datenlatenz-Engpässen und beschädigten Finanzdateien durch Root-Cause-Analyse mittels Transaktionsreplay und Replikation in kontrollierten Umgebungen.
- Pflege automatisierter Datenqualitätsprofile, Validierungsregelwerke und Fehlerbehandlungsabläufe zur Sicherstellung von Konsistenz und Reduzierung manueller Abgleiche zwischen Systemen.
- Erstellung interner technischer Dokumentation, einschließlich Datenherkunft (Data Lineage), Felddefinitionen, Abgleichregeln, Finanzlebenszyklusdiagrammen und Mappingspezifikationen, die in Engineering-, Compliance- und Support-Teams verwendet werden.
Dateningenieur
Unicage
- Aufbau eines cloudbasierten ETL-Ingestions-Frameworks mit Airflow, Python, Aurora PostgreSQL und AWS Lambda zur Integration mehrerer Partnerdatenanbieter in Finanzanwendungen.
- Entwicklung kundenspezifischer SQL-Transformscripte mit feldgenauer Validierungslogik zum Umgang mit fehlerhaften Eingaben und Randfallverhalten von Schnittstellen Dritter.
- Integration von Data-Warehousing-Konzepten, einschließlich dimensionalem Modellieren und inkrementellen Ladeverfahren, zur Unterstützung skalierbarer Analyse-Tools.
- Zusammenarbeit mit Sicherheitsteams zur Abstimmung von Datenzugriffsprozessen auf regulatorische Vorgaben und Prüfungsdokumentation.
- Einführung automatisierter Regressionstests für Daten, um Mapping-Drift vor dem Rollout in Produktionssysteme zu erkennen.
Dateningenieur
Biobot Analytics
- Aufbau groß angelegter COVID-19-Datenverarbeitungspipelines im Gesundheitswesen mit Databricks, Apache Spark, Snowflake und AWS zur Aufnahme von Echtzeit-Fallmeldungen aus Krankenhäusern, Diagnostiklaboren und nationalen Open-Data-Programmen zur Unterstützung öffentlicher Gesundheits-Intelligence-Plattformen.
- Integration verschiedener Rohdatensätze wie Impfungsfortschritt, ICU-Bettenauslastung, Sterblichkeitskurven und Bevölkerungsdichte-Metriken in kuratierte Warehouse-Modelle für fortgeschrittene epidemiologische und operationale Analysen.
- Entwurf automatisierter Datenvalidierungsregeln und Qualitätsbewertungsframeworks unter Verwendung von Anomalieerkennung und schwellengesteuerten Alarmen basierend auf Pipeline-Health-Metriken.
- Erstellung von Observability-Dashboards in Grafana und Cloud Monitoring zur Visualisierung von Pipeline-Latenz, Durchsatz und Auswirkungen von Schemaveränderungen zur Unterstützung proaktiver Problemerkennung.
- Bereitstellung schneller Supportreaktionen während dringender Meldezeiträume zur Prüfung der Korrektheit veröffentlichter Datensätze vor der breit angelegten Verteilung.
Praktikant im Bereich Datenentwicklung
Amazon
- Modernisierung von Legacy-ETL-Workflows durch Migration zu modularen, servicebasierten Pipelines, was den operativen Aufwand reduziert und die Zuverlässigkeit der Datensysteme verbessert hat.
- Aufbau automatisierter Ingestions-Frameworks für Partnerdatenfeeds mit Bereinigung und Normalisierung, wodurch die Verarbeitungsgeschwindigkeit erhöht und die Datenqualität verbessert wurde.
- Zusammenarbeit mit Security- und Compliance-Teams zur Integration regulierter Zugriffskontrollen und Audit-Mechanismen, um die Einhaltung der Unternehmensrichtlinien und gesetzlichen Vorgaben sicherzustellen.
Industrie Erfahrung
Sehen Sie, wo dieser Freiberufler den Großteil seiner beruflichen Laufbahn verbracht hat. Längere Linien stehen für umfangreichere praktische Erfahrung, während kürzere Linien auf gezielte oder projektbezogene Arbeit hindeuten.
Erfahren in Informationstechnologie (5 Jahre), Bank- und Finanzwesen (4 Jahre) und Gesundheitswesen (2.5 Jahre).
Geschäftsbereich Erfahrung
Die folgende Grafik bietet einen Überblick über die Erfahrungen des Freiberuflers in verschiedenen Geschäftsbereichen, berechnet anhand abgeschlossener und aktiver Aufträge. Sie zeigt die Bereiche, in denen der Freiberufler am häufigsten zur Planung, Umsetzung und Erzielung von Geschäftsergebnissen beigetragen hat.
Erfahren in Business Intelligence (8 Jahre), Informationstechnologie (5 Jahre), Qualitätssicherung (4 Jahre) und Forschung und Entwicklung (2.5 Jahre).
Zusammenfassung
Cloud-fokussierter Senior Data Engineer mit mehr als acht Jahren praktischer Erfahrung beim Entwerfen und Bereitstellen hochzuverlässiger Datenverarbeitungssysteme, unternehmensweiter ETL-Pipelines und verteilter Integrationsplattformen in Finanz- und KI-Umgebungen. Umfangreicher Hintergrund in der Integration komplexer Datenquellen, Optimierung großskaliger Pipelines und Sicherstellung der Datenintegrität für geschäftskritische Anwendungen. Enge Zusammenarbeit mit funktionsübergreifenden Teams wie Analysten, Architekten und Stakeholdern im Business-Bereich in schnelllebigen Umgebungen.
Fähigkeiten
- Cloud & Infrastruktur: Aws (Lambda, S3, Ec2, Rds, Cloudwatch, Emr), Azure, Docker, Kubernetes
- Etl & Datenpipelines: Cloverdx, Apache Nifi, Airflow, Informatica, Talend, Ssis, Glue, Kafka
- Datenbanken & Data Warehousing: Postgresql, Mysql, Oracle, Redshift, Bigquery, Snowflake
- Programmiersprachen & Scripting: Python, Typescript/javascript, Java, Sql, Bash
- Architektur: Datenmodellierung, Batch- & Streaming-pipelines, Microservices, Ddd, Eventgetriebene Integration
- Tools: Git, Ci/cd, Terraform, Jira, Confluence
Sprachen
Ausbildung
The University of Tokyo
B.Sc., Informatik · Informatik · Japan
Profil
Frequently asked questions
Sie haben Fragen? Hier finden Sie weitere Informationen.
Wo ist Paul ansässig?
Welche Sprachen spricht Paul?
Wie viele Jahre Erfahrung hat Paul?
Für welche Rollen wäre Paul am besten geeignet?
Was ist das neueste Projekt von Paul?
Für welche Unternehmen hat Paul in den letzten Jahren gearbeitet?
In welchen Industrien hat Paul die meiste Erfahrung?
In welchen Bereichen hat Paul die meiste Erfahrung?
In welchen Industrien hat Paul kürzlich gearbeitet?
In welchen Bereichen hat Paul kürzlich gearbeitet?
Was ist die Ausbildung von Paul?
Wie ist die Verfügbarkeit von Paul?
Wie hoch ist der Stundensatz von Paul?
Wie kann man Paul beauftragen?
Durchschnittlicher Tagessatz für ähnliche Positionen
Die Tagessätze basieren auf aktuellen Projekten und enthalten keine FRATCH-Marge.
Ähnliche Freelancer
Entdecken Sie andere Experten mit ähnlichen Qualifikationen und Erfahrungen
Experten, die kürzlich an ähnlichen Projekten gearbeitet haben
Freelancer mit praktischer Erfahrung in vergleichbaren Projekten als Dateningenieur
Freelancer in der Nähe
Fachkräfte, die in oder in der Nähe von Warschau, Polen arbeiten