Services Solution-Architekt

• Analysierte die Standardaufbewahrungsrichtlinie von Eloqua und erkannte das Risiko von Datenverlusten bei Datensätzen, die älter als zwei Jahre sind.
• Entwarf und implementierte eine Strategie zur historischen Datensicherung, indem transformierte Tabellen im Data Warehouse erstellt wurden, um ältere Daten zu archivieren und gleichzeitig die Datenqualität sicherzustellen.
• Arbeitete mit dem Power BI-Team zusammen, um Dashboards von den Rohimporten aus Eloqua auf die neu erstellten Datentabellen umzuleiten.
• Nutzte Jira, um Data-Engineering-Aufgaben, Fehler und Funktionsanfragen über Agile-Sprints hinweg zu verfolgen und zu verwalten.
• Koordinierte die Priorisierung des Backlogs und die Zuweisung von Aufgaben in Jira, um die Entwicklung der Datenpipeline an den Geschäftsanforderungen auszurichten.
• Arbeitete eng mit den Fachbereichen zusammen, um Reporting-Anforderungen für das Reverse Data Warehouse zu bewerten und zu verstehen.
• Entwarf und implementierte Incremental Refresh in Power BI, um tägliche Dashboard-Aktualisierungen ohne vollständige Datenneuladung zu ermöglichen.
• Kooperierte mit dem Group Data Office und dem Technology Office, um Datenmodellierungs- und Engineering-Standards abzustimmen.
• Ermöglichte die Kommunikation mit Stakeholdern und präsentierte Status-Updates in wöchentlichen Meetings in Deutschland, Polen und Indien.
• Erstellte eine End-to-End-Dokumentation mit technischem Design, Datenflussdiagrammen und Power BI-Audit für die spätere Nutzung.
• Nahm an UAT-Sitzungen mit Geschäftsanwendern teil, um Daten und Berichte zu validieren.

Projekt #1: AWS Athena ersetzt PostgreSQL

• Leitete das Entwicklungsteam bei der Konzeption cloudbasierter AWS-Lösungen.
• Entwickelte Lösungen gemäß den AWS-Kompetenzen und verwaltete Cloud-Services.
• Implementierte eine Customer-Data-Plattform zur Unterstützung komplexer Datenerfassung, -verarbeitung und -analyse im großen Umfang.
• Wendete die Agile-Methodik an, um technische Abläufe zu überwachen.
• Erstellte Webseiten zur Datenanalyse mit umfassenden technischen Informationen.
• Erstellte User Stories und führte Anforderungsanalysen durch.
• Bewertete interne Systeme und entwickelte Schulungsmaßnahmen zur Behebung bestehender Probleme.

Projekt #2: Automatisierte Policenerneuerung

• Erstellte und pflegte vollständig automatisierte CI/CD-Pipelines für Code-Deployments mit Octopus Deploy und PowerShell.
• Verwaltete und überwachte AWS-Infrastruktur (EC2, S3, RDS), einschließlich Backups, Patches und Skalierung.
• Erzielte eine monatliche Kostenreduktion von 3.000 $ durch Abschaffung unnötiger Server und Konsolidierung von Datenbanken.
• Erstellte Kubernetes-Cluster und setzte Docker-Container ein, um monolithische Anwendungen in Microservices zu zerlegen.
• Reduzierte die Bereitstellungszeit für kritische Infrastruktur von einem Monat auf wenige Tage.
• Verwaltete GitHub-Repositories, Branching und Tagging.

• Arbeitete mit zwei Datensätzen unter Einsatz von HiveQL und Pig Latin.
• Verwendete Apache NiFi, um Datenflüsse in Echtzeit zu verschieben und zu automatisieren.
• Schrieb Python-MapReduce-Code zur Behebung von Sicherheitsproblemen.
• Synchronisierte unstrukturierte und strukturierte Daten mit Pig und Hive.
• Importierte Daten von RDBMS nach HDFS mit Sqoop, erstellte externe Tabellen und führte Subabfragen durch.
• Implementierte dynamische Partitionierung und Bucketing in HiveQL.
• Plante Workflows mit Oozie und verwaltete Neuplanung von Jobs sowie Fehlerbehandlung.
• Verwaltete Daten über die Hive-Weboberfläche der Cloudera-Hadoop-Distribution UI.
• Stellte Big-Data-Hadoop-Anwendung auf Talend Cloud AWS und Microsoft Azure bereit.
• Trug zur Gestaltung und Entwicklung von Erweiterungsfunktionen bei.

• Mit internen und externen Kunden zusammengearbeitet, um Nutzeranforderungen zu erfassen.
• Projektanforderungen analysiert und den Code kontinuierlich implementiert.
• Änderungen in Datenbanktabellen auf prozeduraler, modularer und Datenbankebene vorgenommen.