Jan Krol
Datenexperte
Erfahrungen
Datenexperte
Manufacturing
Datenexperte
Intralogistics
- Beratung und Implementierung der AWS-Infrastruktur zur Unterstützung globaler Prozessabläufe im Bereich Transport & Logistik
- Bereitstellung und Betrieb von Servern, Betriebssystem-Umgebungen und Datenbanken in AWS
- Identifizierung und Präsentation von Optimierungspotenzialen aus kaufmännischer und technischer Sicht
- Administration und Wartung der bereitgestellten Systeme
- Entwicklung von Wartungs- und Überwachungskonzepten
- Beratung von Entwicklungsprojekten zu Systemeinsatz, Konfiguration und Optimierung
- Beratung zu Architekturen und Betriebskonzepten mit AWS Cloud
- Schulung interner Mitarbeiter zu neuen AWS-Services und Arbeitsweisen
Dienste: AWS Glue, Redshift, EMR, SageMaker, Python
Datenexperte
Logistics
- Entwicklung und Umsetzung einer standardisierten Big-Data-Architektur für konzernweite Plattformdienste im Bereich Transport & Logistik auf Azure
- Automatisierte Lösungen mittels Infrastruktur als Code (Terraform, Ansible)
- Vorstellung und Diskussion von Teilprojektarchitekturen auf Azure
- Implementierung von Echtzeit-Daten-Streaming mit Apache Kafka und Monitoring-Lösungen
- Beratung zur Azure-Plattformstrategie und zu Referenzarchitekturen
- Entwicklung von Mechanismen zur proaktiven Beseitigung von Schwachstellen in Azure- und Kubernetes-Clustern
- Konzeption von Container-Orchestrierungsplattformen mit Kubernetes CI/CD
- Erstellung von Benutzer- und Berechtigungskonzepten gemäß Konzernvorgaben
- Verwaltung von Betriebsdiensten in einem agilen Team
Dienste: Azure Purview, Azure Synapse Analytics, Azure Data Factory, Azure Databricks, Terraform, GitLab Runner, Azure DevOps
Datenexperte
E-Commerce
- Strategische Entwicklung und Migration von Analytics-Datenpipelines in eine Data Lakehouse-Architektur auf AWS
- Verbesserung der Big Data Lake-Umgebung und Sicherstellung strenger Datenqualität und DSGVO-Konformität
- Durchführung explorativer Analysen und Algorithmusentwicklung durch Datenbereitstellung und -aufbereitung (AWS Glue, Spark, Lambda)
- Entwicklung von ETL-Jobs und Datenpipelines, um verbrauchsfertige Datenquellen bereitzustellen (AWS Glue, Redshift, Spark, PySpark)
- Durchführung von Regressionstests und Qualitätsprüfungen in Datenpipelines und im Data Lake
- Implementierung einer leistungsstarken Streaming-Datenverarbeitung mit Kinesis, Kafka und Lambda
- Orchestrierung und Anbindung mehrerer Datenquellen
- Automatisierung von Deployments mithilfe von DevOps-Best-Practices (CodeBuild, CodePipeline, GitHub Actions)
- Aufbau der Infrastruktur mit IaC (AWS CDK)
- Überwachung der Datenqualität, Compliance und Kosten
Dienste: AWS Glue, Kinesis, Kafka, Apache Spark, Data Catalog, S3, Athena, Redshift, Lambda, ECS, Step Functions
Datenexperte
E-Commerce
- Betreuung interner E-Commerce-Produktteams bei der Entwicklung, Implementierung und Wartung leistungsstarker Systeme zur Datenverarbeitung und -integration
- Migration bestehender Datenservices, Pipelines und Assets in eine neue ereignisbasierte serverlose Architektur
- Entwicklung und Ausführung von Lambda-Funktionen und PySpark-Jobs
- Entwurf von Architektur und Integration mit Kafka für Echtzeit-Verarbeitung und -Analyse von Event-Daten
- Implementierung von PySpark-Transformationen, Filterungen und Aggregationen
- Sicherstellung einer effizienten und zuverlässigen Anbindung an Kafka, Konfiguration der Sicherheitseinstellungen und Integration mit anderen Komponenten
- Etablierung umfangreicher Test- und Monitoring-Mechanismen
- Bereitstellung eines leistungsstarken, skalierbaren Event-Systems, das datengetriebene Entscheidungsfindung ermöglicht
Dienste: AWS Glue, Apache Spark, Data Catalog, S3, Athena, Redshift, Lambda, ECS, Step Functions
Datenexperte
Transport & Logistics
- Integrierte Logistik-Datenströme mit Event Hub und Kafka mit PySpark Structured Streaming
- Entwickelte und implementierte eine Pipeline zum Erfassen, Verarbeiten und Weiterleiten von Datenströmen
- Verwendete PySpark Structured Streaming für eine effiziente Echtzeit-Datenverarbeitung
- Konfigurierte und initialisierte PySpark-Streaming-Jobs und definierte die notwendigen Datenstrukturen
- Führte umfassende Tests und Überwachung durch, um eine reibungslose Datenübertragung und hohe Datenqualität sicherzustellen
- Ermöglichte eine robuste und effiziente Integration von Logistik-Datenströmen mit Event Hubs
- Stellte die Echtzeit-Nutzung von Logistikdaten für Analysen und weitere Verarbeitung bereit
Dienste: Azure Synapse Analytics, Purview Data Catalog, Apache Spark, Event Hub, Structured Streaming, GraphFrame, Azure Storage v2, Power BI
Datenexperte
Transport & Logistics
- Leitete die Entwicklung einer robusten Datenstrategie und eines Governance-Frameworks, um die Datenverarbeitungskapazitäten zu optimieren und zu verbessern
- Erstellte eine ausgefeilte Datenmanagement-Plattform auf Databricks
- Entwarf und implementierte eine effiziente Ingestion-Plattform für den Daten-Hub
- Führte die Gestaltung und Einführung einer unternehmensweiten Datenstrategie im Einklang mit den Geschäftszielen
- Entwickelte ein umfassendes Data-Governance-Framework zur Sicherstellung von Datenintegrität, Datenschutz und Compliance
- Überwachte die Bereitstellung und Anpassung der Datenmanagement-Plattform auf Databricks
- Verbesserte die Datenverarbeitung, Analyse und Berichtsfunktionen mit Power BI
- Entwickelte einen robusten Daten-Hub mit fortschrittlichen Ingestion-Pipelines auf Basis von AWS EventBridge
- Optimierte den Datenfluss aus verschiedenen Quellen zu zentralen Speichersystemen (Data Lake House auf Azure)
- Arbeitete mit funktionsübergreifenden Teams zusammen, um die Datenmanagement-Plattform in die bestehende IT-Infrastruktur zu integrieren
- Führte Schulungen und Workshops durch, um eine datengesteuerte Kultur zu fördern und die Datenkompetenz zu erhöhen
Dienste: Azure Databricks, Databricks Data Catalog, AWS EventBridge, Kinesis, Event Hub, Structured Streaming, Apache Spark
Datenexperte
Transport & Logistics
- War technischer Leiter eines Teams von drei Offshore-Entwicklern und implementierte skalierbare, robuste Datenlösungen in Azure Databricks
- Führte Databricks Live Tables für das Schema- und Tabellenmanagement ein
- Implementierte Databricks Asset Bundle nach dem Infrastructure-as-Code-Ansatz
- Entwarf und verfeinerte die Medallion-Datenarchitektur, um Datenverarbeitungs-Workflows zu optimieren
- Arbeitete eng mit mehreren Fachbereichen zusammen, um sicherzustellen, dass die Datenlösungen deren spezifische Anforderungen erfüllten
- Etablierte Coding-Standards und Best Practices für das Entwicklungsteam
- Führte Code Reviews durch und gab technische Anleitung
- Ermöglichte den Wissenstransfer und organisierte technische Trainings
- Entwickelte skalierbare ETL-Pipelines in Azure Databricks
- Erstellte optimierte Datenspeicherlösungen unter Berücksichtigung zukünftiger Skalierbarkeit
- Etablierte einen vollständigen IaC-Workflow für Komponenten der Datenplattform
- Integrierte Versionskontrolle und CI/CD für Databricks Asset Bundles
- Automatisierte die Bereitstellung von Tabellenschemata, Jobs und Notebooks
- Implementierte Strategien für die Promotion zwischen Entwicklungs-, Test- und Produktionsumgebung (Dev/Test/Prod)
- Verwaltete Konfigurationen zur umgebungsübergreifenden Konsistenz
Dienste: Azure Databricks, Databricks Live Tables, Databricks Asset Bundle, Azure Data Factory, Delta Lake, Spark SQL, Azure Key Vault, Azure Storage, Power BI
Industrie Erfahrung
Sehen Sie, wo dieser Freiberufler den Großteil seiner beruflichen Laufbahn verbracht hat. Längere Linien stehen für umfangreichere praktische Erfahrung, während kürzere Linien auf gezielte oder projektbezogene Arbeit hindeuten.
Erfahren in Transport (4 Jahre), Fertigung (2 Jahre) und Einzelhandel (2 Jahre).
Geschäftsbereich Erfahrung
Die folgende Grafik bietet einen Überblick über die Erfahrungen des Freiberuflers in verschiedenen Geschäftsbereichen, berechnet anhand abgeschlossener und aktiver Aufträge. Sie zeigt die Bereiche, in denen der Freiberufler am häufigsten zur Planung, Umsetzung und Erzielung von Geschäftsergebnissen beigetragen hat.
Erfahren in Business Intelligence (7.5 Jahre), Informationstechnologie (5.5 Jahre) und Qualitätssicherung (0.5 Jahre).
Zusammenfassung
Big Data-Spezialist, Schwerpunkt: Big Data, Cloud-Architektur, Datenmanagement-Plattformen
Fähigkeiten
Spezialist Für Big-data-plattformen Mit Schwerpunkt Auf Amazon Web Services & Microsoft Azure
Etl-prozesse/-pipelines & Datenengineering
Architektur Von Datenmanagement-plattformen In Unternehmen
Aufbau Von Data Lakes & Data Lakehouses
Anwendungs-migrationen Mit Cloud-services
Beratung & Implementierung Von Automatisierungskonzepten, Insbesondere Devops
Integration Von Active Directory, Sicherheitskonzepten Und Compliance-anforderungen
Monitoring Und Logging
Sicher Im Umgang Mit Python, Sql, Typescript, Golang
Big-data-cloud-architektur (Aws & Microsoft Azure)
Datenengineering (Databricks, Synapse Analytics, Fabric, Apache Spark, Aws Glue, Athena, Redshift & Emr)
Infrastruktur Als Code (Terraform, Pulumi, Aws Cdk, Arm)
Sprachen
Zertifikate & Bescheinigungen
AWS Business Professional
AWS Certified Cloud Practitioner
AWS Certified Machine Learning – Specialty
AWS Certified Solutions Architect – Associate
AWS Technical Professional
Azure Solutions Architect Expert: AZ-300: Microsoft Azure Architect Technologies AZ-301: Microsoft Azure Architect Design
Databricks Certified Associate Developer For Apache Spark 3.0
HashiCorp Certified: Terraform Associate
Profil
Frequently asked questions
Sie haben Fragen? Hier finden Sie weitere Informationen.
Wo ist Jan ansässig?
Welche Sprachen spricht Jan?
Wie viele Jahre Erfahrung hat Jan?
Für welche Rollen wäre Jan am besten geeignet?
Was ist das neueste Projekt von Jan?
Für welche Unternehmen hat Jan in den letzten Jahren gearbeitet?
In welchen Industrien hat Jan die meiste Erfahrung?
In welchen Bereichen hat Jan die meiste Erfahrung?
In welchen Industrien hat Jan kürzlich gearbeitet?
In welchen Bereichen hat Jan kürzlich gearbeitet?
Ist Jan zertifiziert?
Wie ist die Verfügbarkeit von Jan?
Wie hoch ist der Stundensatz von Jan?
Wie kann man Jan beauftragen?
Durchschnittlicher Tagessatz für ähnliche Positionen
Die Tagessätze basieren auf aktuellen Projekten und enthalten keine FRATCH-Marge.
Ähnliche Freelancer
Entdecken Sie andere Experten mit ähnlichen Qualifikationen und Erfahrungen
Freelancer in der Nähe
Fachkräfte, die in oder in der Nähe von Berlin, Deutschland arbeiten