Jan Krol
Senior Data Engineer & Architect
Erfahrungen
Intralogistik
Entwicklung einer umfassenden Datenstrategie und eines Governance-Frameworks für eine Datenmanagementplattform auf Databricks. In diesem Projekt leitete ich die Entwicklung einer robusten Datenstrategie und eines Governance-Frameworks zur Optimierung und Verbesserung der Datenverarbeitungskapazitäten der Organisation. Kern des Projekts war der Aufbau einer hochperformanten Datenmanagementplattform auf Databricks, ergänzt durch das Design und die Implementierung einer effizienten Data-Hub-Ingest-Plattform.
- Leitung des Designs und der Etablierung einer unternehmensweiten Datenstrategie
- Entwicklung eines umfassenden Daten-Governance-Frameworks
- Überwachung der Bereitstellung und Anpassung der Datenmanagementplattform auf Databricks
- Verbesserung der Datenverarbeitung, Analyse und Reportingfähigkeiten mit Power BI
- Entwicklung eines robusten Data-Hubs mit AWS EventBridge
- Zusammenarbeit mit funktionsübergreifenden Teams
- Durchführung von Schulungen und Workshops
Services: Azure Databricks, Databricks Data Catalog, AWS EventBridge, Kinesis, Event Hub, Structured Streaming (Apache Spark)
Logistik
Innovative Integration und Analyse von Logistikdatenströmen mit PySpark Structured Streaming und Data Mesh-Implementierung. Das Projekt konzentrierte sich auf die Integration von Logistikdatenströmen mit Event Hub und Kafka unter Verwendung von PySpark Structured Streaming.
- Integration eines Logistikdatenstroms mit Kafka
- Robuste und effiziente Integration des Logistikdatenstroms mit Event Hubs
- Echtzeitnutzung von Logistikdaten
- Entwurf und Implementierung von Pipelines zur Erfassung, Verarbeitung und Weiterleitung
- Effiziente Datenverarbeitung mit PySpark Structured Streaming
Services: Azure Synapse Analytics, Purview Data Catalog, Event Hub, GraphFrame, PowerBI
E-Commerce
Migration bestehender Datendienste und -pipelines zu einer neuen Architektur. Das Projekt unterstützte E-Commerce-Teams bei der Implementierung von Datenverarbeitungssystemen basierend auf serverlosen Technologien und Big-Data-Frameworks.
- Unterstützung und Anleitung bei der Migration
- Entwicklung eines eventbasierten Systems
- Verwendung von Lambda-Funktionen und PySpark
- Integration mit Kafka
- Design- und Architekturplanung
- Hochperformantes und skalierbares Event-System
Services: AWS Glue, Apache Spark, Data Catalog, Athena, Redshift, Lambda, ECS, Step Functions
E-Commerce
Verbesserung und Migration der Analytics-Datenpipelines zu einer Data Lakehouse-Architektur. Das Projekt fokussierte auf die Gewährleistung strenger Datenqualitäts- und Compliance-Standards, insbesondere DSGVO.
- Weiterentwicklung der Big Data Lake Umgebung
- Umsetzung eines Data Lakehouse
- Entwicklung von Data Pipelines, ETL-Jobs
- Umsetzung von automatisierten Deployments
Services: AWS Glue, Spark, Lambda, AWS Codebuild, GitHub Actions, AWS CDK
Transport & Logistik
Entwicklung einer Architektur und Implementierung einer Big-Data-Umgebung für Plattformdienste. Das Projekt umfasste die Integration von Datentransparenz, Datenqualität und die Implementierung agiler Methodologien.
- Lösungen in Projekten zu Azure und Automatisierung
- Infrastructure as Code mit Terraform und Ansible
- Echtzeit-Datenübertragung mit Apache Kafka
- Beratung zu Azure Plattformstrategie
Services: Azure Data Catalogue, Azure Synapse Analytics, Azure Data Factory, Azure Databricks, Docker, Terraform
Transport & Logistik
Implementierung einer AWS-Infrastruktur zur Unterstützung internationaler Anwendungen im Transport- und Logistiksektor. Das Projekt umfasste die Identifizierung und Implementierung von Optimierungen.
- Bereitstellung und Betrieb von Servern in AWS
- Implementierung von Optimierungen
- Administration der bereitgestellten Systeme
- Beratung zu Architekturen und Betriebskonzepten
Deployment mittels Terraform
Anwendungsmigration für einen Geschäftsbereich inkl. Aufbau AD. Bereitstellung von AWS Infrastruktur und Infrastructure-as-Code. Realisierung einer Web-Applikation zur Verwaltung des Zertifizierungsprozesses.
- Infrastruktur auf AWS
- Front End Entwicklung in React.js
- CI/CD mit Jenkins
Aufbau einer Marktplatzplattform basierend auf Microsoft Azure Services
- Erstellung User Management
- Security Engineering
- Prozessautomatisierung
Implementierung von Python-Logik in AWS Lambda
- Bereitstellung der Infrastruktur durch AWS Cloudformation
Zusammenfassung
Big data specialist schwerpunkt: big data cloud-architektur, datenmanagement-plattformen
Berufserfahrung: Deutsche Bahn Jungheinrich Lufthansa Technik Fielmann BMW Group
Fähigkeiten spezialist in big data plattformen auf Amazon Web Services & Microsoft Azure ETL-prozesse/pipelines & data-engineering architektur von datenmanagement-plattformen in großen unternehmen aufbau von data lakes & data lakehouse anwendungsmigrationen unter verwendung von cloud-services beratung & implementierung von automatisierungskonzepten, insbesondere DataOps & DevOps integration von Active Directory sicherheitskonzepten und compliance-anforderungen Python, SQL, TypeScript, Golang
Technische und methodische fähigkeiten big data cloud architekturen (AWS & Microsoft Azure) data engineering (Databricks, Synapse Analytics, Fabric, Apache Spark, AWS Glue, Athena, Redshift & EMR) infrastructure as code (Terraform, Pulumi, AWS CDK, ARM)
Sprachen
Zertifikate & Bescheinigungen
AWS Certified Cloud Practitioner
AWS
AWS Certified Machine Learning – Specialty
AWS
AWS Certified Solutions Architect – Associate
AWS
Azure Solutions Architect Expert
Microsoft
Databricks Certified Associate Developer for Apache Spark 3.0
Databricks
HashiCorp Certified: Terraform Associate
HashiCorp
Ähnliche Freelancer
Entdecken Sie andere Experten mit ähnlichen Qualifikationen und Erfahrungen.