Guilherme M.
Dateningenieur
Erfahrungen
Juni 2024 - Bis heute
1 Jahr 7 MonatenDateningenieur
Globo
- Entwerfen und implementieren von Datenlösungen hauptsächlich auf der Google Cloud Platform (GCP) mit Schwerpunkt auf Dataform für Datenumwandlung.
- Entwickeln und Warten von Cloud Functions für verschiedene Automatisierungsaufgaben, unter Verwendung von Python für Backend-Prozesse.
- Erstellen und Verwalten von Datenspeicherlösungen wie Sinks und Buckets für effiziente Datenabfrage und -verarbeitung.
- Einsatz von Terraform als Infrastructure as Code, um eine skalierbare und zuverlässige Bereitstellung von Ressourcen sicherzustellen.
- Implementieren von CI/CD-Pipelines mit GitLab CI und Einbindung automatisierter Tests in CI-Prozesse und Dataform.
- Überwachen von Datenflüssen aus verschiedenen Quellen und Konfigurieren von Alarmen zur Sicherstellung der Systemzuverlässigkeit und -leistung.
- Automatisieren des Berechtigungsmanagements zur Straffung der Zugriffskontrolle für verschiedene Datenprodukte.
- Zusammenarbeit mit funktionsübergreifenden Teams in einer Umgebung zur Erstellung von Datenprodukten unter Anwendung von Data Mesh-Prinzipien zur Verbesserung der Datenzugänglichkeit und -nutzbarkeit.
Jan. 2023 - Dez. 2023
1 JahrDateningenieur
Maxxidata - Bayer
- Entwicklung neuer Pipelines mit AWS Lambda und Docker-Images zur effizienten Datenverarbeitung.
- Entwurf und Implementierung von Data-Warehousing-Lösungen in AWS S3 für skalierbare Datenspeicherung und -abfrage.
- Einsatz von Terraform für Infrastrukturwartung zur Optimierung von Cloud-Ressourcen und Kostenmanagement.
- Nutzung von BigQuery und Apache Airflow für ETL- und Datenorchestrierungsaufgaben in AWS EMR (Spark).
- Einsatz von Datadog für das Monitoring der AWS-Infrastruktur.
Juni 2022 - Dez. 2022
7 MonatenDateningenieur
EVT - BRK
- Erstellung von ETL-Workflows in Azure Databricks zur Unterstützung von Datenmanipulation und -transformation.
- Entwicklung benutzerdefinierter Makros zum Import von Oracle-Daten in ein neues Data Warehouse in Databricks.
- Umsetzung von Best Practices und Datenmustern in allen Datenprozessen zur Erhöhung der Effizienz.
- Zusammenarbeit im Team, um eine nahtlose Integration mit Apache Airflow für das Workflow-Management sicherzustellen.
Zusammenfassung
Ergebnisorientierter Dateningenieur mit umfangreicher Erfahrung in Cloud-Technologien, einschließlich AWS, Google Cloud Platform (GCP) und Azure. Versiert in der Konzeption und Umsetzung von ETL-Workflows mit Tools wie Apache Airflow und Dataform sowie starken Fähigkeiten in der Big-Data-Verarbeitung mit Apache Spark. Erfahren im Einsatz von Infrastructure as Code (IaC) mit Terraform zur effizienten Verwaltung von Ressourcen. Nachweisliche Fähigkeit, wirkungsvolle Datenlösungen in kollaborativen Teamumgebungen zu liefern und die Datenzugänglichkeit und -nutzbarkeit in Organisationen zu verbessern.
Sprachen
Portugiesisch
MutterspracheEnglisch
VerhandlungssicherSpanisch
FortgeschrittenSie suchen Freelancer?Passende Kandidaten in Sekunden!
FRATCH GPT testenWeitere Aktionen
Ähnliche Freelancer
Entdecken Sie andere Experten mit ähnlichen Qualifikationen und Erfahrungen.
- English
- Deutsch
2025 © FRATCH.IO GmbH. All rights reserved.