Microsoft Azure Senior Data Engineer / Senior Data Scientist

• Beratung bei der Nutzung von Analyse- und BI-Tools und Diensten im Microsoft Azure-Stack (z. B. MS Fabric, Synapse Workspaces und dedizierte SQL-Pools, SQL Database, PostgreSQL, Snowflake, Databricks, Data Factory, SSIS, Analysis Services, Function Apps, Power BI, ML)
• Selbstständiger Entwurf von Analyselösungen mit Python, SQL etc.
• Entwurf und Implementierung von ETLs und Datenpipelines
• Erstellung und Pflege von APIs
• Selbstständige Anwendung von CI/CD, Testing und Versionskontrolle
• Modellierung von Daten
• Modellentwicklung und Modelloptimierung
• Anomalieerkennung mit KI
• Predictive Analytics

Verwendete Technologien:

• Snowflake
• Fabric
• Azure Synapse Analytics
• Azure DataFactory
• Azure Data Lake
• Azure DevOps
• Databricks
• Spark
• CI/CD
• SQL Database
• Python
• Power Platform

• Data Governance im CDP
• Datenklassifizierung und Katalogisierung (z. B. PII-Erkennung)
• Metadaten-Management und Dateninventarisierung
• Zugriffskontrollen und Berechtigungsverwaltung (Access Management)
• Sicherstellung der DSGVO- und Datenschutz-Compliance
• Überwachung der Datenqualität und Datenintegrität
• Durchführung von Audits sowie Lifecycle-Management (Archivierung/Löschung)
• Planung, Organisation und Durchführung des Projekts
• Integration von Daten aus HTTP-Clients, Azure Blob Storage und Azure Data Lake Gen2 mit Azure Data Factory
• Verzweigung und Verkettung von Aktivitäten in Azure Data Factory Pipelines unter Verwendung von Kontrollflussaktivitäten
• Implementierung von Datenpipelines zur Extraktion von Daten aus verschiedenen Quellen
• Transformation der Daten mit ADF
• Entwurf und Implementierung von ETLs und Datenpipelines

Verwendete Technologien:

• Cloudera
• Hadoop
• Spark
• Airflow
• Hive
• Kafka
• NiFi
• Python
• Azure
• CI/CD
• Power BI
• AWS

• Aufbau einer Architektur mit Databricks, PySpark und Delta Lake für SAP-Daten
• Integration von Datenqualitätsregeln in Delta Lake über Blob Storage mit PySpark
• Entwicklung von PySpark-Skripten in Databricks Notebooks zur Validierung von SAP-Daten
• Implementierung von Datenqualitätsregeln mit PySpark und Delta Lake
• Fehleranalyse in Datenflüssen mit Databricks-Tools und Spark-Logs
• Erstellung von Databricks-Workflows für automatisierte Datenqualitätsprüfungen
• Überwachung von Datenqualitäts-Pipelines mit Benachrichtigungen in Databricks
• Erstellung von Datenqualitätsberichten mit Databricks SQL und Power BI
• Sicherstellung der SAP-Datenqualität mit Delta Lake und Governance-Berichten

Verwendete Technologien:

• Snowflake
• Azure
• Databricks
• PySpark
• Delta Lake
• Blob Storage
• Power BI
• CI/CD
• DevOps

• Einführung in maschinelles Lernen
• Computergestützte Signalverarbeitung
• Mechanik und Thermodynamik
• Nukleare Astrophysik
• Forschungs- und Laborpraktikum