Jorge Machado - Datenarchitekt

Würzburg, Deutschland

Erfahrungen

März 2025 - Bis heute

11 Monaten

Datenarchitekt

Deutsche Bahn

Entwurf und Bereitstellung von Best Practices für Data Modeling mit dbt, einschließlich sich ändernder Dimensionen, Umgang mit verspätet eingehenden Daten und Tests
Entwurf des Datenladeflusses von anderen Systemen nach S3 und Redshift
Entwurf und Implementierung neuer Partitionen für Dagster und inkrementelles Laden mit dbt
Abbildung fachlicher Anforderungen auf technische Architekturen
Anleitung von Junior-Teammitgliedern

Sept. 2024 - März 2025

7 Monaten

Datenarchitekt-Experte

SAP AG

Leitung des Architekturdesigns und der Umsetzung des Kafka Tiered Storage Rollouts auf mehr als 30 Kubernetes-Clustern in Multi-Cloud-Umgebungen (Azure, AWS, GCP)
Definition und Implementierung der Infrastruktur-Provisionierung mit Crossplane für deklarative und konsistente Bereitstellung über verschiedene Cloud-Anbieter hinweg
Entwicklung eines maßgeschneiderten, in Golang geschriebenen Kafka Operators zur Standardisierung der Aktivierung von Tiered Storage für Datenpipelines
Entwurf und Automatisierung von GitOps-basierten Deployment-Strategien mit Flux und Helm für sichere und wiederholbare Rollouts
Optimierung der Gardener-Shoot-Konfigurationen zur Anpassung der Cluster-Ressourcen an Kafka-Arbeitslasten und Anforderungen an Kosteneffizienz

Mai 2024 - Nov. 2024

7 Monaten

Datenarchitekt-Experte

s.Oliver GmbH

Entwurf einer Medallion-Architektur auf Databricks für skalierbare, modulare Datenaufnahme, -transformation und -nutzung
Implementierung inkrementeller ETL-Pipelines mit PySpark zur effizienten Extraktion und Verarbeitung von SAP-Daten
Entwurf und Implementierung von dbt-basierten semantischen Schichten mit dimensionaler Modellierung für Fakt- und Dimensionstabellen
Einrichtung von Dev-to-Prod-CI/CD-Pipelines zur Standardisierung von Deployments und Durchsetzung von Governance
Definition von rollenbasiertem Zugriffskontroll- und Sicherheitskonzepten gemäß den Azure-Standards des Unternehmens
Ermöglichung der Echtzeit-Datenintegration durch Verbindung von Kafka-Streams mit Databricks für erweiterte Analysen
Einführung von KI/ML-Anwendungsfällen, darunter FP-Growth für Warenkorbanalysen und Zeitreihen-Forecasting-Modelle
Betreuung von Junior-Entwicklern in Databricks-Best Practices zur Sicherstellung einer langfristigen Plattformakzeptanz

Jan. 2023 - Aug. 2023

8 Monaten

Datenarchitekt-Experte

ias Gruppe

Architektur und Implementierung einer End-to-End Azure Data Lakehouse-Lösung unter Einsatz von Azure Synapse, Delta Lake und Azure Data Lake Storage Gen2 für skalierbaren Speicher und Abfrageleistung
Entwurf und Implementierung von Streaming-Ingestion-Pipelines mit Azure IoT Hub, Event Hub und Service Bus zur Echtzeit-Erfassung von Telemetriedaten tausender IoT-Geräte
Entwicklung von Datenintegrations- und Transformationsabläufen mit Airbyte für ELT und dbt für Geschäftslogik-Modellierung, dimensionales Design und Lineage-Tracking
Orchestrierung komplexer Datenworkflows mit Azure Data Factory unter Einbindung von Batch- und Streaming-Prozessen
Implementierung von Delta Lake-basiertem Time Travel und ACID-Transaktionen für Datenzuverlässigkeit und Nachverfolgbarkeit
Entwurf von RBAC- und Ressourcentagging-Strategien sowie Monitoring mit Azure Monitor und Log Analytics für operative Transparenz und Sicherheit
Ermöglichung der Power BI-Integration für nahezu Echtzeit-Business-Dashboards und Zusammenarbeit mit Produkt- und Betriebsteams bei der Übersetzung von Anforderungen

Sept. 2022 - Mai 2024

1 Jahr 9 Monaten

Frankfurt, Deutschland

Datenarchitekt-Experte

Deutsche Bahn

Entwurf und Implementierung von Echtzeit-Streaming-Architekturen mit AWS Kinesis, Lambda und Apache Spark für zeitkritische Analysefälle
Architektur und Implementierung von Delta-Ingestion-Pipelines auf AWS Glue und Apache Hudi für effiziente Kompaktierung kleiner Dateien und Time-Travel-Analysen
Bereitstellung unternehmenskritischer KPIs und Dashboards mit End-to-End-Datenherkunft und Auditierbarkeit über S3, PostgreSQL und CloudWatch
Definition und Durchsetzung von Infrastructure-as-Code-Prinzipien mit AWS CDK für skalierbare, reproduzierbare Umgebungen
Einführung und Rollout von dbt für semantische Modellierung und wiederverwendbare Geschäftslogik, integriert in GitLab-CI/CD-Workflows
Durchführung architektonischer Bewertungen von Databricks, Snowflake und AWS Athena zur Unterstützung von Entscheidungen zur zukünftigen Plattformstrategie
Betreuung eines Entwicklerteams, Optimierung von Entwicklungszyklen und Sicherstellung von Best Practices im Cloud Data Engineering
Implementierung von IoT-4.0-Pipelines zur Erfassung von Telemetriedaten und Unterstützung von Predictive-Analytics-Initiativen

Sept. 2021 - Sept. 2022

1 Jahr 1 Monate

Rottendorf, Deutschland

Kafka-Experte

S.Oliver GmbH

Entwickelte Spring-Boot-Kafka-Streams-Anwendungen
Erstellte individuelle Kafka-Source-Connectoren für SAP-Systeme und individuelle Sink-Connectoren zum Zurückschreiben in SAP
Setzte Kafka-Connect-Connectoren mit Überwachung auf dem Azure Kubernetes Service ein
Entwickelte Datenpipelines mit Airflow und Azure Cloud
Entwarf Datenpipelines zwischen On-Premise und Azure Cloud
Schrieb Spark-Jobs zum Säubern und Aggregieren von Daten

Feb. 2021 - Aug. 2022

1 Jahr 7 Monaten

Deutschland

Softwareentwickler

RTL Deutschland

Entwarf und implementierte eine Lakehouse-Architektur mit Azure Databricks, Delta Lake und Azure Synapse für Batch- und Echtzeit-Workloads mit ACID-Konformität
Erstellte RESTful Data-APIs mit FastAPI und stellte sie über Azure App Services als kontrollierte Zugangsschicht bereit
Entwickelte inkrementelle ETL-Pipelines mit PySpark und dbt und implementierte Star-Schema-Modelle für semantische Konsistenz und historische Nachverfolgung
Ermöglichte interaktive Berichte und visuelle Analysen mit in Azure integriertem Power BI
Implementierte strenge Datenzugriffskontrollen, Audit-Protokollierung und Ressourcenüberwachung für DSGVO-Konformität und Governance
Etablierte automatisierte CI/CD-Pipelines für die Dateninfrastruktur mit Azure-nativen Tools

Sept. 2020 - Juni 2021

10 Monaten

München, Deutschland

Cloud-Lösungsarchitekt

Allianz Technology

Migrierte Data Lakes in die Azure Cloud mit hoher Automatisierung unter Einsatz von ArgoCD, Jenkins, Helm-Charts und Terraform
Entwickelte Spark-Jobs für die Data-Lake-Migration
Erstellte Helm-Charts für die Azure AKS-Automatisierung
Refaktorierte Anwendungsdesigns zu Cloud-Native und integrierte interne Kunden in Azure
Implementierte Spring-Boot-Kafka-Streams-Anwendungen und Argo-Workflow-Pipelines

März 2020 - Mai 2020

3 Monaten

München, Deutschland

Big Data-Architekt, Datenarchitekt

BMW AG

Entwickelte Datenpipelines mit Spark und Airflow für Daten autonomer Fahrzeuge
Erstellte Metriken für geospatiale Anwendungen
Überführte Daten mit Apache Spark in Elasticsearch
Wandte Prinzipien der funktionalen Programmierung mit Scala an

Jan. 2020 - Mai 2020

5 Monaten

Stuttgart, Deutschland

Big Data-Entwickler

DXC

Automatisierte Bereitstellungen von Azure Kubernetes-Clustern
Erstellte und setzte Deep-Learning-Spark-Jobs mit PyTorch und GPUs auf Kubernetes ein
Führte GPU-Inferenz auf Terabyte-Daten durch

Sept. 2017 - Juni 2018

10 Monaten

Nürnberg, Deutschland

Big Data Entwickler, Spark/Kafka Entwickler, Datenarchitekt

GfK

Entwickelte Kafka-Connectoren, um Daten in Accumulo in einer kerberisierten Umgebung
Kerberisierte Anwendungen für Hadoop, Kafka und Kafka Connect
Erstellte Statistikpläne für RDF4J-Abfragen auf Accumulo
Entwickelte Apache NiFi Workflows
Führte Git-Flow, CI/CD und Docker-Automatisierung ein
Setzte Kafka Connect mit Kerberos auf Google Kubernetes auf
Schrieb Java-Anwendungen basierend auf RDF und Web-Semantik

Apr. 2017 - Sept. 2017

6 Monaten

Frankfurt, Deutschland

Big Data Architekt

Deutsche Bahn

Dimensionierte und konfigurierte Hadoop-Cluster mit Kerberos und Active Directory
Migrierte Daten mit Sqoop und verwaltete Workflows mit Oozie
Implementierte Datenpipelines mit Kylo, Apache NiFi und Talend
Setzte Hortonworks Cloud Break auf AWS ein und stellte Apache Storm Streaming-Anwendungen bereit
Unterstützte interne Kunden bei Streaming- und Datenbereinigungsprozessen

Okt. 2016 - März 2017

6 Monaten

Dresden, Deutschland

Big Data Entwickler und Architekt

Kiwigrid

Erstellte Spark-Jobs für historische Datenberichte
Entwickelte benutzerdefinierte Spark-Datenquellen für HBase und Aggregationen zur Datenerkundung
Konzipierte ein Alarmierungs- und Rechenframework basierend auf Spark Streaming
Setzte Anwendungen mit Docker ein

Fähigkeiten

Allgemeine Fähigkeiten:

Apache Spark
Java Mapreduce
Scala
Java
Python
Perl
Tornado
Rest-apis
Jira
Etl
Docker
Maven
Gradle
Kubernetes
Jenkins
Cloud Build
Azure Cosmos Db
S3
Neo4j
Azure Kubernetes Service
Aks
Flask
Spring Boot
Data Vault 2.0
Pytorch
Tensorflow
Azure Iot
Modbus
Mqtt
Opc
Sps
Azure Data Factory
Azure Synapse
Llm

Betriebssystem-kenntnisse:

Aix
Ubuntu
Centos
Macos
Windows Server 2008 R2
Flexframe
Routing
Git
Ibm Hadr
Ibm Tsm
Aws S3
Apache Mesos

Sap-kenntnisse:

Rfc
Snc
Charm
Kernel-upgrades
Ehp-upgrade
Ssfs
Sso
Hana

Datenbanken:

Oracle 11
Db2
Sap Maxdb
Mysql
Aws Redshift
Postgresql

Cloud-technologien:

Aws Emr
Aws Glue
Aws Ecs
Aws S3
Google App Engine
Azure Kubernetes
Azure-container

Sprachen

Deutsch

Verhandlungssicher

Englisch

Verhandlungssicher

Erfahrungen

Datenarchitekt

Deutsche Bahn

Datenarchitekt-Experte

SAP AG

Datenarchitekt-Experte

s.Oliver GmbH

Datenarchitekt-Experte

ias Gruppe

Datenarchitekt-Experte

Deutsche Bahn

Kafka-Experte

S.Oliver GmbH

Softwareentwickler

RTL Deutschland

Cloud-Lösungsarchitekt

Allianz Technology

Big Data-Architekt, Datenarchitekt

BMW AG

Big Data-Entwickler

DXC

Big Data Entwickler, Spark/Kafka Entwickler, Datenarchitekt

GfK

Big Data Architekt

Deutsche Bahn

Big Data Entwickler und Architekt

Kiwigrid

Fähigkeiten

Sprachen

Zertifikate & Bescheinigungen

Databricks Lakehouse Platform Akkreditierung

Confluent-zertifizierter Entwickler für Apache Kafka

Generative KI mit großen Sprachmodellen (LLM)

CKAD: Zertifizierter Kubernetes-Anwendungsentwickler

Microsoft-zertifiziert: Azure-Grundlagen

Data Engineering Nanodegree

Grundlagen der funktionalen Programmierung in Scala auf Coursera

Big Data Analytics Fraunhofer IAIS

Big Data Analytics der University of California, San Diego auf Coursera

Databricks-Entwicklerschulung für Apache Spark

Hadoop-Plattform und Anwendungsframework der University of California auf Coursera

Maschinelles Lernen mit Big Data der University of California, San Diego auf Coursera

SAP OS- und DB-Migration (TADM70)

SAP Datenbankadministration I (Oracle) (ADM 505)

SAP Datenbankadministration II (Oracle) (ADM 506)

SAP NetWeaver AS Implementierung und Betrieb I (SAP TADM10)

SAP NetWeaver Portal - Implementierung und Betrieb (TEP10)

ITL Foundation V4

Ähnliche Freelancer

Microsoft Azure Senior Data Engineer / Senior Data Scientist

MLOps (Machine-Learning-Betrieb)

Data Engineer und Gründer

Senior Data/ML-Berater & Technischer Leiter

Senior Data-Architekt & Dateningenieur

Cloud (AWS) | KI | DevOps | Daten

Datenberater & Technischer Leiter DataVerse

Leiter der technischen Gesamtintegration NSC / Entwicklung von Hadoop Cloud

Leiter Workshop „Einführung von KI Entwicklungstools“

Senior Dateningenieur

Daten-Lösungsarchitekt, Gründer

Data Scientist/AI-Ingenieur

SSIS Entwicklung

Freiberuflicher Datenarchitekt

Sabbatical, Weiterbildung

Freiberuflicher Dateningenieur / Architekt

Freiberuflicher Solutions Architect und Machine Learning Engineer

AR/VR/XR-Architekt

Senior Dateningenieur

Senior MLOps- und DevOps-Engineer

BI-Berater

Dozent

Senior Cloud-Berater (AWS-Dienste und Beratung)

Data Scientist und Data Engineer

Product Owner für AI-Lernplattform

Architekt & Technischer Teamleiter & Senior Entwickler

Freelancer, Solution-Architekt

Principal (Datenwissenschaftler/Dateningenieur/Gen-AI-Ingenieur)

inkl. CI/CD, Automatisierung

Cloud-Architekt & KI-Ingenieur