Services Solution Architect

Globale Marketing-Analysen für Hitachi Energy im Rahmen einer globalen Datenmodernisierungsinitiative, die darauf abzielt, die Datenspeicherung und Verfügbarkeit historischer Daten zu verbessern und Eloquas 2-jährige Aufbewahrung für Remote-Interaktionsberichte und Analysen bereitzustellen.

Analyse der Standardaufbewahrungsrichtlinie von Eloqua und Identifizierung des Risikos von Datenverlusten für Datensätze, die älter als zwei Jahre sind.

Entwurf und Implementierung einer Strategie zur historischen Datenaufbewahrung durch Erstellung transformierter Tabellen in der Ziel-Datenplattform, um ältere Daten zu archivieren und gleichzeitig Dashboards zur Datenqualität sicherzustellen.

Zusammenarbeit mit dem Power BI-Team, um Dashboards von Rohdaten aus Eloqua-Importen auf die neu erstellte Archivschicht umzustellen.

Nutzung von Jira zur Verfolgung und Verwaltung von Data-Engineering-Aufgaben, Fehlern und Feature-Requests in agilen Sprints; Koordination der Backlog-Priorisierung und Aufgabenverteilung, um die Entwicklung der Datenpipelines an den Geschäftsanforderungen auszurichten.

Optimierung von Power BI-Dashboards:

Enge Zusammenarbeit mit Stakeholdern, um Berichtserfordernisse für Bestandskunden zu bewerten und zu verstehen.

Entwurf und Implementierung eines inkrementellen Aktualisierungsprozesses in Power BI, um tägliche Updates ohne vollständiges Neuladen zu gewährleisten.

Zusammenarbeit mit Azure-Dateningenieuren zur Optimierung von Datenverarbeitungs- und Veröffentlichungsprozessen.

Kommunikation mit Stakeholdern & Datenmodellierung:

Vermittlung zwischen Group Data Office und Technology Office, um Standards für Datenmodellierung abzustimmen.

Anforderungserhebung im Data-Engineering-Team und Teilnahme an wöchentlichen Statusmeetings, um Implementierungsupdates zu geben und Blocker in Teams in Deutschland, Polen und Indien zu lösen.

Dokumentation & Qualitätssicherung:

Erstellung von technischen End-to-End-Design-Dokumentationen, Datenflussdiagrammen und Power BI-Audit-Leitfäden für die Zukunft.

Teilnahme an UAT-Sessions mit Fachanwendern, um Datenoutputs und Berichtgenauigkeit zu validieren.

Projekt 1: AWS Athena ersetzt PostgreSQL für Autodesk, um komplexe Datenaufnahmen, Verarbeitung und Analysen in großem Maßstab zu unterstützen.

Leitung des Entwicklerteams beim Entwurf von AWS-Cloud-Lösungen gemäß AWS-Competencies und allgemeinen Cloud-Managed Services.

Implementierung der Agile-Methodik für eine effiziente technische Betriebsführung.

Entwicklung einer Customer Data Platform (CDP) für komplexe Datenaufnahmen und Analysen.

Erstellung von Datenanalyse-Webseiten in einem Portal mit umfassenden technischen Informationen.

Erstellung von User Stories und Anforderungsanalysen; Bewertung interner Systeme und Entwicklung von Schulungsinitiativen.

Projekt 2: Automatisierte Policenerneuerung mit AWS-Diensten (EC2, S3, RDS), CI/CD-Pipelines, Kubernetes, Docker.

Erstellung und Pflege vollständig automatisierter CI/CD-Pipelines für Codebereitstellungen mit Octopus Deploy und PowerShell.

Verwaltung und Überwachung der AWS-Infrastruktur inklusive Backups, Patches und Skalierung; Erzielung einer monatlichen Kostensenkung von $3.000 durch Eliminierung unnötiger Server und Konsolidierung von Datenbanken.

Aufbau von Kubernetes-Clustern und Bereitstellung von Docker-Containern zur Umwandlung monolithischer Anwendungen in Microservices, was den Entwickler-Workflow und die Skalierbarkeit verbesserte.

Reduzierung der Bereitstellungszeit für kritische Agil-Infrastruktur von einem Monat auf wenige Tage.

Verwaltung von GitHub-Repositories und Berechtigungen einschließlich Branching und Tagging.

Predictive Model CSAA für AAA mit Hadoop, Scala, HDFS, MapReduce, Hive, Sqoop, Oozie.

Entwicklung von Predictive Models für Betrugserkennung und Subrogation im Schadenfall mit Machine-Learning-Algorithmen.

Einsatz von Oozie zur Orchestrierung von Workflows mit REST-API-Aufrufen und R-Schicht-Kommunikation.

Arbeit mit zwei Datensätzen unter Einsatz von HiveQL und Pig Latin; Nutzung von Apache NiFi zur Automatisierung und Nachverfolgung von Datenflüssen.

Erstellung von Python-MapReduce-Code für Sicherheitsprozesse; Synchronisierung strukturierter und unstrukturierter Daten mit Pig und Hive.

Import von Daten aus RDBMS in HDFS mit Sqoop; Erstellung externer Tabellen und Durchführung von Hive-Subqueries; Implementierung dynamischer Partitionierung und Bucketing.

Planung und Verwaltung von Oozie-Jobs, Fehlersuche und Neuplanung.

Datenverwaltung über die Hive-Weboberfläche auf Cloudera Hadoop; Bereitstellung von Anwendungen auf Talend Cloud AWS und Azure.

Intellect Payment Service Hub (PSH) mit Core Java, JSP, Servlet, JavaScript und WebSphere.

Zentralisierte Zahlungsflussverarbeitung für Kunden, implementierte automatisierte Kontrollen gemäß Zahlungsrichtlinien.

Arbeitete mit internen und externen Kunden zusammen, um Nutzeranforderungen zu erfassen; analysierte und implementierte Code im gesamten Entwicklungsprozess.

Modifizierte Datenbanktabellen auf prozeduraler, modularer und Datenbankebene.