Datenexperte

• Entwicklung und Umsetzung einer standardisierten Big-Data-Architektur für konzernweite Plattformdienste im Bereich Transport & Logistik auf Azure
• Automatisierte Lösungen mittels Infrastruktur als Code (Terraform, Ansible)
• Vorstellung und Diskussion von Teilprojektarchitekturen auf Azure
• Implementierung von Echtzeit-Daten-Streaming mit Apache Kafka und Monitoring-Lösungen
• Beratung zur Azure-Plattformstrategie und zu Referenzarchitekturen
• Entwicklung von Mechanismen zur proaktiven Beseitigung von Schwachstellen in Azure- und Kubernetes-Clustern
• Konzeption von Container-Orchestrierungsplattformen mit Kubernetes CI/CD
• Erstellung von Benutzer- und Berechtigungskonzepten gemäß Konzernvorgaben
• Verwaltung von Betriebsdiensten in einem agilen Team

Dienste: Azure Purview, Azure Synapse Analytics, Azure Data Factory, Azure Databricks, Terraform, GitLab Runner, Azure DevOps

• Betreuung interner E-Commerce-Produktteams bei der Entwicklung, Implementierung und Wartung leistungsstarker Systeme zur Datenverarbeitung und -integration
• Migration bestehender Datenservices, Pipelines und Assets in eine neue ereignisbasierte serverlose Architektur
• Entwicklung und Ausführung von Lambda-Funktionen und PySpark-Jobs
• Entwurf von Architektur und Integration mit Kafka für Echtzeit-Verarbeitung und -Analyse von Event-Daten
• Implementierung von PySpark-Transformationen, Filterungen und Aggregationen
• Sicherstellung einer effizienten und zuverlässigen Anbindung an Kafka, Konfiguration der Sicherheitseinstellungen und Integration mit anderen Komponenten
• Etablierung umfangreicher Test- und Monitoring-Mechanismen
• Bereitstellung eines leistungsstarken, skalierbaren Event-Systems, das datengetriebene Entscheidungsfindung ermöglicht

Dienste: AWS Glue, Apache Spark, Data Catalog, S3, Athena, Redshift, Lambda, ECS, Step Functions

• Leitete die Entwicklung einer robusten Datenstrategie und eines Governance-Frameworks, um die Datenverarbeitungskapazitäten zu optimieren und zu verbessern
• Erstellte eine ausgefeilte Datenmanagement-Plattform auf Databricks
• Entwarf und implementierte eine effiziente Ingestion-Plattform für den Daten-Hub
• Führte die Gestaltung und Einführung einer unternehmensweiten Datenstrategie im Einklang mit den Geschäftszielen
• Entwickelte ein umfassendes Data-Governance-Framework zur Sicherstellung von Datenintegrität, Datenschutz und Compliance
• Überwachte die Bereitstellung und Anpassung der Datenmanagement-Plattform auf Databricks
• Verbesserte die Datenverarbeitung, Analyse und Berichtsfunktionen mit Power BI
• Entwickelte einen robusten Daten-Hub mit fortschrittlichen Ingestion-Pipelines auf Basis von AWS EventBridge
• Optimierte den Datenfluss aus verschiedenen Quellen zu zentralen Speichersystemen (Data Lake House auf Azure)
• Arbeitete mit funktionsübergreifenden Teams zusammen, um die Datenmanagement-Plattform in die bestehende IT-Infrastruktur zu integrieren
• Führte Schulungen und Workshops durch, um eine datengesteuerte Kultur zu fördern und die Datenkompetenz zu erhöhen

Dienste: Azure Databricks, Databricks Data Catalog, AWS EventBridge, Kinesis, Event Hub, Structured Streaming, Apache Spark