Gestaltung und Aufbau einer modernen Datenplattform in der Azure Cloud für ein E-Commerce-Unternehmen. Implementierung skalierbarer Datenpipelines und einer Lakehouse-Architektur.
- Typische Aufgabenfelder:
- Design und Implementierung von ETL/ELT-Prozessen mit Azure Data Factory/Databricks.
- Aufbau und Management der Dateninfrastruktur (Data Lake, Synapse).
- Entwicklung von Datenmodellen und Sicherstellung der Datenqualität.
- Automatisierung von Deployments mittels IaC (Terraform).
- Performance-Tuning und Abstimmung mit Stakeholdern.
- Relevante Technologien, Tools & Methoden:
- Azure Data Factory, Synapse, Databricks, Data Lake Storage.
- Apache Spark, Delta Lake.
- Python (PySpark), SQL.
- Terraform, Azure DevOps.
- Typische KPIs & Erfolgsmetriken:
- Data Latency, Pipeline Uptime (>99.9%), Query Performance, Cost Efficiency.
- Besondere Herausforderungen & Risiken:
- Hohe Datenvolumina, DSGVO-Konformität, Vermeidung von Datensilos.
- Deliverables:
- Betriebsbereite Datenpipelines, strukturiertes Data Lake/Warehouse, IaC-Skripte, technische Dokumentation.