Jorge Machado
Datenarchitekt
Erfahrungen
Datenarchitekt
Deutsche Bahn
- Entwurf und Bereitstellung von Best Practices für Data Modeling mit dbt, einschließlich sich ändernder Dimensionen, Umgang mit verspätet eingehenden Daten und Tests
- Entwurf des Datenladeflusses von anderen Systemen nach S3 und Redshift
- Entwurf und Implementierung neuer Partitionen für Dagster und inkrementelles Laden mit dbt
- Abbildung fachlicher Anforderungen auf technische Architekturen
- Anleitung von Junior-Teammitgliedern
Datenarchitekt-Experte
SAP AG
- Leitung des Architekturdesigns und der Umsetzung des Kafka Tiered Storage Rollouts auf mehr als 30 Kubernetes-Clustern in Multi-Cloud-Umgebungen (Azure, AWS, GCP)
- Definition und Implementierung der Infrastruktur-Provisionierung mit Crossplane für deklarative und konsistente Bereitstellung über verschiedene Cloud-Anbieter hinweg
- Entwicklung eines maßgeschneiderten, in Golang geschriebenen Kafka Operators zur Standardisierung der Aktivierung von Tiered Storage für Datenpipelines
- Entwurf und Automatisierung von GitOps-basierten Deployment-Strategien mit Flux und Helm für sichere und wiederholbare Rollouts
- Optimierung der Gardener-Shoot-Konfigurationen zur Anpassung der Cluster-Ressourcen an Kafka-Arbeitslasten und Anforderungen an Kosteneffizienz
Datenarchitekt-Experte
s.Oliver GmbH
- Entwurf einer Medallion-Architektur auf Databricks für skalierbare, modulare Datenaufnahme, -transformation und -nutzung
- Implementierung inkrementeller ETL-Pipelines mit PySpark zur effizienten Extraktion und Verarbeitung von SAP-Daten
- Entwurf und Implementierung von dbt-basierten semantischen Schichten mit dimensionaler Modellierung für Fakt- und Dimensionstabellen
- Einrichtung von Dev-to-Prod-CI/CD-Pipelines zur Standardisierung von Deployments und Durchsetzung von Governance
- Definition von rollenbasiertem Zugriffskontroll- und Sicherheitskonzepten gemäß den Azure-Standards des Unternehmens
- Ermöglichung der Echtzeit-Datenintegration durch Verbindung von Kafka-Streams mit Databricks für erweiterte Analysen
- Einführung von KI/ML-Anwendungsfällen, darunter FP-Growth für Warenkorbanalysen und Zeitreihen-Forecasting-Modelle
- Betreuung von Junior-Entwicklern in Databricks-Best Practices zur Sicherstellung einer langfristigen Plattformakzeptanz
Datenarchitekt-Experte
ias Gruppe
- Architektur und Implementierung einer End-to-End Azure Data Lakehouse-Lösung unter Einsatz von Azure Synapse, Delta Lake und Azure Data Lake Storage Gen2 für skalierbaren Speicher und Abfrageleistung
- Entwurf und Implementierung von Streaming-Ingestion-Pipelines mit Azure IoT Hub, Event Hub und Service Bus zur Echtzeit-Erfassung von Telemetriedaten tausender IoT-Geräte
- Entwicklung von Datenintegrations- und Transformationsabläufen mit Airbyte für ELT und dbt für Geschäftslogik-Modellierung, dimensionales Design und Lineage-Tracking
- Orchestrierung komplexer Datenworkflows mit Azure Data Factory unter Einbindung von Batch- und Streaming-Prozessen
- Implementierung von Delta Lake-basiertem Time Travel und ACID-Transaktionen für Datenzuverlässigkeit und Nachverfolgbarkeit
- Entwurf von RBAC- und Ressourcentagging-Strategien sowie Monitoring mit Azure Monitor und Log Analytics für operative Transparenz und Sicherheit
- Ermöglichung der Power BI-Integration für nahezu Echtzeit-Business-Dashboards und Zusammenarbeit mit Produkt- und Betriebsteams bei der Übersetzung von Anforderungen
Datenarchitekt-Experte
Deutsche Bahn
- Entwurf und Implementierung von Echtzeit-Streaming-Architekturen mit AWS Kinesis, Lambda und Apache Spark für zeitkritische Analysefälle
- Architektur und Implementierung von Delta-Ingestion-Pipelines auf AWS Glue und Apache Hudi für effiziente Kompaktierung kleiner Dateien und Time-Travel-Analysen
- Bereitstellung unternehmenskritischer KPIs und Dashboards mit End-to-End-Datenherkunft und Auditierbarkeit über S3, PostgreSQL und CloudWatch
- Definition und Durchsetzung von Infrastructure-as-Code-Prinzipien mit AWS CDK für skalierbare, reproduzierbare Umgebungen
- Einführung und Rollout von dbt für semantische Modellierung und wiederverwendbare Geschäftslogik, integriert in GitLab-CI/CD-Workflows
- Durchführung architektonischer Bewertungen von Databricks, Snowflake und AWS Athena zur Unterstützung von Entscheidungen zur zukünftigen Plattformstrategie
- Betreuung eines Entwicklerteams, Optimierung von Entwicklungszyklen und Sicherstellung von Best Practices im Cloud Data Engineering
- Implementierung von IoT-4.0-Pipelines zur Erfassung von Telemetriedaten und Unterstützung von Predictive-Analytics-Initiativen
Kafka-Experte
S.Oliver GmbH
- Entwickelte Spring-Boot-Kafka-Streams-Anwendungen
- Erstellte individuelle Kafka-Source-Connectoren für SAP-Systeme und individuelle Sink-Connectoren zum Zurückschreiben in SAP
- Setzte Kafka-Connect-Connectoren mit Überwachung auf dem Azure Kubernetes Service ein
- Entwickelte Datenpipelines mit Airflow und Azure Cloud
- Entwarf Datenpipelines zwischen On-Premise und Azure Cloud
- Schrieb Spark-Jobs zum Säubern und Aggregieren von Daten
Softwareentwickler
RTL Deutschland
- Entwarf und implementierte eine Lakehouse-Architektur mit Azure Databricks, Delta Lake und Azure Synapse für Batch- und Echtzeit-Workloads mit ACID-Konformität
- Erstellte RESTful Data-APIs mit FastAPI und stellte sie über Azure App Services als kontrollierte Zugangsschicht bereit
- Entwickelte inkrementelle ETL-Pipelines mit PySpark und dbt und implementierte Star-Schema-Modelle für semantische Konsistenz und historische Nachverfolgung
- Ermöglichte interaktive Berichte und visuelle Analysen mit in Azure integriertem Power BI
- Implementierte strenge Datenzugriffskontrollen, Audit-Protokollierung und Ressourcenüberwachung für DSGVO-Konformität und Governance
- Etablierte automatisierte CI/CD-Pipelines für die Dateninfrastruktur mit Azure-nativen Tools
Cloud-Lösungsarchitekt
Allianz Technology
- Migrierte Data Lakes in die Azure Cloud mit hoher Automatisierung unter Einsatz von ArgoCD, Jenkins, Helm-Charts und Terraform
- Entwickelte Spark-Jobs für die Data-Lake-Migration
- Erstellte Helm-Charts für die Azure AKS-Automatisierung
- Refaktorierte Anwendungsdesigns zu Cloud-Native und integrierte interne Kunden in Azure
- Implementierte Spring-Boot-Kafka-Streams-Anwendungen und Argo-Workflow-Pipelines
Big Data-Architekt, Datenarchitekt
BMW AG
- Entwickelte Datenpipelines mit Spark und Airflow für Daten autonomer Fahrzeuge
- Erstellte Metriken für geospatiale Anwendungen
- Überführte Daten mit Apache Spark in Elasticsearch
- Wandte Prinzipien der funktionalen Programmierung mit Scala an
Big Data-Entwickler
DXC
- Automatisierte Bereitstellungen von Azure Kubernetes-Clustern
- Erstellte und setzte Deep-Learning-Spark-Jobs mit PyTorch und GPUs auf Kubernetes ein
- Führte GPU-Inferenz auf Terabyte-Daten durch
Big Data Entwickler, Spark/Kafka Entwickler, Datenarchitekt
GfK
- Entwickelte Kafka-Connectoren, um Daten in Accumulo in einer kerberisierten Umgebung
- Kerberisierte Anwendungen für Hadoop, Kafka und Kafka Connect
- Erstellte Statistikpläne für RDF4J-Abfragen auf Accumulo
- Entwickelte Apache NiFi Workflows
- Führte Git-Flow, CI/CD und Docker-Automatisierung ein
- Setzte Kafka Connect mit Kerberos auf Google Kubernetes auf
- Schrieb Java-Anwendungen basierend auf RDF und Web-Semantik
Big Data Architekt
Deutsche Bahn
- Dimensionierte und konfigurierte Hadoop-Cluster mit Kerberos und Active Directory
- Migrierte Daten mit Sqoop und verwaltete Workflows mit Oozie
- Implementierte Datenpipelines mit Kylo, Apache NiFi und Talend
- Setzte Hortonworks Cloud Break auf AWS ein und stellte Apache Storm Streaming-Anwendungen bereit
- Unterstützte interne Kunden bei Streaming- und Datenbereinigungsprozessen
Big Data Entwickler und Architekt
Kiwigrid
- Erstellte Spark-Jobs für historische Datenberichte
- Entwickelte benutzerdefinierte Spark-Datenquellen für HBase und Aggregationen zur Datenerkundung
- Konzipierte ein Alarmierungs- und Rechenframework basierend auf Spark Streaming
- Setzte Anwendungen mit Docker ein
Industrie Erfahrung
Sehen Sie, wo dieser Freiberufler den Großteil seiner beruflichen Laufbahn verbracht hat. Längere Linien stehen für umfangreichere praktische Erfahrung, während kürzere Linien auf gezielte oder projektbezogene Arbeit hindeuten.
Erfahren in Transport (3 Jahre), Informationstechnologie (2 Jahre), Mode (1.5 Jahre), Einzelhandel (1.5 Jahre), Medien und Unterhaltung (1.5 Jahre) und Versicherung (1 Jahr).
Geschäftsbereich Erfahrung
Die folgende Grafik bietet einen Überblick über die Erfahrungen des Freiberuflers in verschiedenen Geschäftsbereichen, berechnet anhand abgeschlossener und aktiver Aufträge. Sie zeigt die Bereiche, in denen der Freiberufler am häufigsten zur Planung, Umsetzung und Erzielung von Geschäftsergebnissen beigetragen hat.
Erfahren in Informationstechnologie (7.5 Jahre), Business Intelligence (5.5 Jahre) und Produktentwicklung (0.5 Jahre).
Fähigkeiten
Allgemeine Fähigkeiten:
- Apache Spark
- Java Mapreduce
- Scala
- Java
- Python
- Perl
- Tornado
- Rest-apis
- Jira
- Etl
- Docker
- Maven
- Gradle
- Kubernetes
- Jenkins
- Cloud Build
- Azure Cosmos Db
- S3
- Neo4j
- Azure Kubernetes Service
- Aks
- Flask
- Spring Boot
- Data Vault 2.0
- Pytorch
- Tensorflow
- Azure Iot
- Modbus
- Mqtt
- Opc
- Sps
- Azure Data Factory
- Azure Synapse
- Llm
Betriebssystem-kenntnisse:
- Aix
- Ubuntu
- Centos
- Macos
- Windows Server 2008 R2
- Flexframe
- Routing
- Git
- Ibm Hadr
- Ibm Tsm
- Aws S3
- Apache Mesos
Sap-kenntnisse:
- Rfc
- Snc
- Charm
- Kernel-upgrades
- Ehp-upgrade
- Ssfs
- Sso
- Hana
Datenbanken:
- Oracle 11
- Db2
- Sap Maxdb
- Mysql
- Aws Redshift
- Postgresql
Cloud-technologien:
- Aws Emr
- Aws Glue
- Aws Ecs
- Aws S3
- Google App Engine
- Azure Kubernetes
- Azure-container
Sprachen
Zertifikate & Bescheinigungen
Databricks Lakehouse Platform Akkreditierung
Confluent-zertifizierter Entwickler für Apache Kafka
Generative KI mit großen Sprachmodellen (LLM)
CKAD: Zertifizierter Kubernetes-Anwendungsentwickler
Microsoft-zertifiziert: Azure-Grundlagen
Data Engineering Nanodegree
Grundlagen der funktionalen Programmierung in Scala auf Coursera
Big Data Analytics Fraunhofer IAIS
Big Data Analytics der University of California, San Diego auf Coursera
Databricks-Entwicklerschulung für Apache Spark
Hadoop-Plattform und Anwendungsframework der University of California auf Coursera
Maschinelles Lernen mit Big Data der University of California, San Diego auf Coursera
SAP OS- und DB-Migration (TADM70)
SAP Datenbankadministration I (Oracle) (ADM 505)
SAP Datenbankadministration II (Oracle) (ADM 506)
SAP NetWeaver AS Implementierung und Betrieb I (SAP TADM10)
SAP NetWeaver Portal - Implementierung und Betrieb (TEP10)
ITL Foundation V4
Profil
Frequently asked questions
Sie haben Fragen? Hier finden Sie weitere Informationen.
Wo ist Jorge ansässig?
Welche Sprachen spricht Jorge?
Wie viele Jahre Erfahrung hat Jorge?
Für welche Rollen wäre Jorge am besten geeignet?
Was ist das neueste Projekt von Jorge?
Für welche Unternehmen hat Jorge in den letzten Jahren gearbeitet?
In welchen Industrien hat Jorge die meiste Erfahrung?
In welchen Bereichen hat Jorge die meiste Erfahrung?
In welchen Industrien hat Jorge kürzlich gearbeitet?
In welchen Bereichen hat Jorge kürzlich gearbeitet?
Ist Jorge zertifiziert?
Wie ist die Verfügbarkeit von Jorge?
Wie hoch ist der Stundensatz von Jorge?
Wie kann man Jorge beauftragen?
Durchschnittlicher Tagessatz für ähnliche Positionen
Die Tagessätze basieren auf aktuellen Projekten und enthalten keine FRATCH-Marge.
Ähnliche Freelancer
Entdecken Sie andere Experten mit ähnlichen Qualifikationen und Erfahrungen
Experten, die kürzlich an ähnlichen Projekten gearbeitet haben
Freelancer mit praktischer Erfahrung in vergleichbaren Projekten als Datenarchitekt
Freelancer in der Nähe
Fachkräfte, die in oder in der Nähe von Würzburg, Deutschland arbeiten