Ben (R.) Spouse
Dateningenieur
Erfahrungen
Sept. 2023 - Bis heute
1 Jahr 11 Monaten Bremerhaven, Deutschland
Dateningenieur
Deutsche See
- In meiner Rolle war ich verantwortlich für den EDI-Import und das Mapping der Daten aus dem Auftragsdatensystem, was das Importieren von flachen ASCII-Dateien in Oracle 12c mit ODI umfasste.
- Einige Linux-Skripte wurden genutzt, um die Dateien zu manipulieren, für den Import vorzubereiten und sie von einem SFTP-Server abzurufen.
- Anschließend habe ich die Mappings im Data Integrator entwickelt, um die Flüsse für die verschiedenen Schnittstellen aufzuteilen und zu verarbeiten. Das beinhaltete komplexe Logik zur Normalisierung der Daten in den Tabellen der Staging-Schicht.
- Entwicklung der Datenextraktion aus flachen ASCII-Dateien in Raw-Data-Tabellen in der Datenbank.
- Entwicklung des Aufteilens und Mappings der Daten im ODI-ETL-Tool für die Staging-Schicht im DWH.
- Entwicklung komplexer DWH-Mappings für die Auftragsdatenverarbeitung.
- DWH-Entwicklung in Oracle mit Oracle Data Integration ETL-Tool.
- Migration von Linux-basierter Data Integration zu einer vollständig autonomen Oracle-Datenbank.
- Extraktion von Daten aus fest getrennten ASCII-Dateien in Raw Data.
- Entwicklung von Flows und Daten-Mappings in die Staging-Umgebung.
Apr. 2023 - Juli 2023
4 Monaten Frankfurt, Deutschland
Dateningenieur
Deutsche Bahn
- In meiner Rolle war ich verantwortlich für die Entwicklung einer neuen Smart-HR-Lösung: Dazu gehörte das Extrahieren von Blob-Daten aus einem Azure-Container mit Python und das Transformieren in DataFrames. Anschließend wurden die Daten in die Oracle-Staging-Schicht importiert.
- Weiterentwicklung der Daten im DWH mit dem bestehenden SAP BODS ETL-Tool und Abschluss der Migration für valide Mitarbeiterdaten.
- Entwicklung der neuen Smart-HR-Lösung durch Extraktion von Blob-Daten aus Azure Container mit Python.
- Transformation der extrahierten Daten in DataFrames zur weiteren Verarbeitung.
- Import der transformierten Daten in die Oracle-Staging-Schicht.
- Nutzung des SAP BODS ETL-Tools zur weiteren Datenintegration.
- DWH-Entwicklung in Oracle mit Python und SAP BODS ETL-Tool.
- Datenextraktion aus Azure Container mit Python in DataFrames für Staging.
- SAP BODS ETL-Tool Entwicklung von Daten von Staging in Core und Data Mart.
März 2023 - Bis heute
2 Jahren 5 Monaten Leipzig, Deutschland
Dateningenieur/ETL-Entwickler
Deutsche Bahn
- Als Mitglied des VDM-ETL-Teams arbeitete ich am 3DV-Projekt der Deutschen Bahn, bei dem ich mehrere komplexe ETL-Jobs für das Mapping der Tarifdaten in SQLite-Dateien für den Input Pool erstellte und aktualisierte.
- Die Quelldaten aus PostgreSQL wurden extrahiert, über eine H2-Datenbank transformiert und mit Talend ETL in eine SQLite-DB für DB’s MT- und Fahrkartenautomaten gemappt.
- Enge Zusammenarbeit mit Requirements Engineers und Data Managern zur erfolgreichen Umsetzung in einer agilen Umgebung.
- Entwicklung der Datenextraktion aus PostgreSQL mit Talend ETL.
- Erstellung von SQL/PL-SQL-Skripten und Views für den ETL-Prozess.
- Nutzung des GIT-Repositorys gemeinsam mit dem bestehenden CI/CD-Prozess für Test- und Produktions-Deployments.
- Entwicklung von Tarifdaten im DB mit Talend ETL.
- SQL-Entwicklung in PostgreSQL im Zusammenhang mit DB’s IPP DWH.
- Extraktion, Transformation und Laden von Daten mit komplexen ETL-Jobs.
- Migration von Talend 7.3 zu Talend Enterprise Cloud Edition 8.
Aug. 2021 - März 2023
1 Jahr 8 Monaten Hagen, Deutschland
Talend-Snowflake-Entwickler
Douglas GmbH
- Als Mitglied des Data-Analytics-Teams bei Douglas war meine Hauptaufgabe die Entwicklung und Implementierung von Talend-Jobs mit modernen Snowflake-Komponenten für ELT. Ich war hauptsächlich dafür zuständig, große Datenmengen effizient aus der Staging-Umgebung in den Data Lake und die Core-DWH-Schicht von Snowflake zu übertragen.
- Während meiner Zeit habe ich verschiedene Data-Engineering-Aufgaben durchgeführt, darunter Deduplizierung und Historisierung, um Datenintegrität und -zuverlässigkeit sicherzustellen. Ich habe die Azure Data Factory konfiguriert, um die Daten für die Snowflake-Integration vorzubereiten. Außerdem nutzte ich Talend SAP BAPI-Connectoren für eine SAP-HANA-Schnittstelle und wandte komplexe Geschäftslogik an, um Daten aus RFCs zu extrahieren und erfolgreich in Snowflake zu mappen.
- Entwicklung und Implementierung von Talend-Jobs mit Snowflake-Komponenten für effizientes ELT.
- Übertragung großer Datenmengen aus der Staging-Umgebung in Data Lake und Core-Schicht des Snowflake-DWH.
- Durchführung von Data-Engineering-Aufgaben wie Deduplizierung und Historisierung mit Data Vault 2.0.
- Nutzung von Talend-Connectoren und Anwendung komplexer Geschäftslogik zur Extraktion aus Upstream-Schnittstellen.
- DWH-Entwicklung in Snowflake mit Talend ELT und Data Vault 2.0.
- Erstellung komplexer Views für Data Mart.
- Deduplizierung und Historisierung zur Sicherstellung der Stammdatenqualität.
- SAP-RFC-Schnittstelle mit Talend BAPI-Connector und Datenextraktion/Mapping.
Nov. 2020 - Juli 2021
9 Monaten Stuttgart, Deutschland
Talend-ETL/Tableau-Reporting-Entwickler
Daimler TSS
- Entwicklung von ETL-Jobs für das DWH mit Talend ESB zur Migration von HP ALM zu STARC. Zudem Erstellung von ETL-Tabellen zur Vorbereitung der Daten für Data Engineering aus STARC mit Rest-API-Komponenten in Talend zur Extraktion der JSON-Daten.
- Entwicklung von Jobs zur Transformation und zum Parsen der Daten in eine PostgreSQL-DB. Verantwortlich für wöchentliche Change-Meetings mit dem Business und dem Jira-Board.
- Entwicklung von Talend-Jobs und Data Engineering.
- Tableau-Berichterstellung und Datenvisualisierung auf Basis der Daten in PostgreSQL und weiteren Daimler-Datenquellen.
- Zusammenarbeit mit dem Team, das für das Testen der Prototypen der Daimler-Automobilbranche zuständig war.
Juni 2020 - Sept. 2020
4 Monaten Vereinigte Staaten
QA-/Datenmodellierungs-Berater
Prospect 33
- Verantwortlich für QA der Anwendung und den Betrieb nach Go-Live. Ich habe Testdesign und Testfälle erstellt, um alle Szenarien abzudecken und die Stabilität der Website sicherzustellen.
- Mitarbeit im Datenmodellierungsteam mit Ridge-Regression-Bibliotheken aus Python SKLearn für ein COVID-19-Predictive-Tool, das Infektionsfälle und RT-Werte für US-Counties vorhersagt und das Modell im Tagesbetrieb verbessert.
- Unterstützung des QA- und Final-Developments des Modells für die Python-Website mit Dash-Bibliotheken im Frontend.
- Verantwortlich für das tägliche Issue-Logging und Management mit GitLab.
- Tägliche Dev-Team-Meetings via Zoom und Kommunikation über Slack mit der US-Niederlassung in New York.
- Zuständig für Issue-Tracking mit GitLab und QA für wöchentliche Releases. Beratung zu Automatisierungsoptionen mit AWS Lambda, Katalon Studio und Erstellung von Pytest-Unit-Tests.
- Test und Entwicklung des Datenmodells mit Python SKLearn.
- Beratung und Fehlerbehebung im Tagesgeschäft.
- Verantwortlich für QA und Testing des Frontends.
März 2020 - Mai 2020
3 Monaten Frankfurt, Deutschland
DevOps-Talend-ETL-Entwickler
Helaba Invest
- Entwicklung von ETL-Jobs für Asset-Management-Daten. 7-wöchiger Proof of Concept für die Migration eines komplexen ETL-Systems zu Talend. Präsentation des Talend-ETL-Tools für Helaba-Entwicklungsteams.
- Java-Scripting kombiniert mit einer Vielzahl von Talend-Komponenten, darunter ESB mit JMS-Queue und Performance-Optimierung.
- Etwa 10 % des DMS-DWH-Systems wurden in Talend entwickelt, um die Flexibilität als ETL-Tool zu demonstrieren. Das Projekt stand unter hohem Zeitdruck, da zwei weitere Tools parallel konkurriert wurden.
- SQL-Entwicklung für komplexe Lookups für Oracle DWH.
- Talend ESB (JMS-basierte Architektur) für Daten-Mapping.
Mai 2018 - Jan. 2020
1 Jahr 9 Monaten Köln, Deutschland
DevOps-Berater/Talend-ETL-Entwickler
Unitymedia
- DevOps-ETL-Entwicklung mit Talend/PostgreSQL und Dateitransfers der Boundary-Systeme von Unitymedia mittels Java-ETL-Tools.
- Schnittstellen zu Oracle, PostgreSQL und DB2. Entwicklung im OSS/BSS-System, Analyse vorhandener Schnittstellen und Optimierung bestehender Jobs und Framework.
- Entwicklung mit Talend, Rest-Services und SOAP-Calls sowie ETL-Jobs für Vodafones Data-Lake-Schnittstelle, automatisiert mit Airflow.
- Bugfixing und Troubleshooting in der Live-Umgebung. Nutzung von FTP-Komponenten für Dateitransfers von Linux- und Windows-Shares sowie File-to-DB-Transfers und umgekehrt.
- Entwicklung von Dateitransfer-Jobs für Talend.
- Entwicklung von Talend-Jobs für Data Engineering.
- Troubleshooting und Bugfixing in Produktions-Data-Transfer-Jobs.
- Automatisierung von ETL-Prozessen mit Airflow.
- Applikationspflege und Optimierung bestehender Anwendungen.
- Erstellung und Wartung von DWH-Jobs mit Talend und Oracle/DB2/PostgreSQL.
Okt. 2016 - Apr. 2018
1 Jahr 7 Monaten München, Deutschland
ETL-BI-Operations-DWH-Berater
Consors Finanz
- Mitarbeit im Projektteam für Dokumentationsaufgaben der Big-Data-Ladevorgänge ins DWH der gesamten CFG.
- Arbeit im Operations-Team in agiler Umgebung: Bugfixes bei Produktionsvorfällen, Monitoring und Erstellung von Workarounds für die Produktivdatenbank.
- 3rd-Level-Support mit Talend-ETL, Unterstützung der Schnittstellen für die Migration von Legacy-System zu SAP ECC.
- Migrationsunterstützung von 10/2017 bis 04/2018.
- Nach dem Split von Commerz Finanz und Commerzbank und Umbenennung zu Consors Finanz Abschluss des Rebranding-Projekts Gemini.
- Aufteilung meiner Aufgaben zwischen Dateitransfer-Operationen und Entwicklung von Änderungen im SOS-Job-Scheduler mit Java-Parametern.
- Monatliche Compliance-Datenlieferungen und Problemmanagement.
- BI-Operations für Consors Finanz Talend-ETL-System.
- Tägliche Behebung von Produktionsvorfällen und Support.
- Nutzung von Oracle 11g, SQL, Citrix, UNIX-Skripten, Talend, Job-Scheduler.
- Migration von Legacy-System zu SAP ECC mit Talend.
- Entwicklung und Konfiguration des Dateitransfertools SOS-Job-Scheduler.
- Projektarbeit in agiler Umgebung, Problem- und Incident-Management.
Okt. 2012 - Sept. 2016
4 Jahren München, Deutschland
Billing-Applikations-Operations-DevOps
Telefonica o2
- Einstieg in BASFs Operations-Gruppe im hektischen Vorweihnachtsgeschäft des Partner-Billing-Teams von Telefonica o2 mit großer OCS-Migration für Fonic, Lidl und Multibrands im OSS/BSS-System.
- Aufgrund meiner früheren o2-Erfahrung schnelle Behebung von Incidents und Installation von Workarounds.
- Arbeiten auf Terminal- und Batch-Servern: SQL und Skripting zur täglichen Fehlerbehebung, Erstellung von Remedy-Tickets, Problemanalyse und Operations-Support für alle o2-Partnermarken.
- Mitarbeit im Projektteam für den Fonic Secure 8-Release, Deployments des Selfcare-Websystems mit Jenkins, Installation von Hotfixes und Releases auf der Datenbank.
- DevOps-Umgebung: Bugfixes bei Produktionsvorfällen, Monitoring, 3rd-Level-Support mit PL/SQL und Skripterstellung.
- Seit Mitte 2015 Teamlead und Mentoring: Kanban-Meetings, Organisation von Problem-Tickets, Ansprechpartner für Schnittstellen und andere Teams.
- Billing-Operations für das gesamte o2-Partnernetz.
- Tägliche Behebung von Produktionsvorfällen und Support.
- Nutzung von Oracle 11g, PL/SQL, SQL, Citrix, UNIX-Skripten.
- Monitoring-Engines, Bugfixing, Skripterstellung.
- Projektarbeit in agiler Umgebung, Reporting für Stabi-Meetings.
- Web- und Content-Deployments mit Jenkins auf verschiedenen Umgebungen.
Feb. 2012 - Okt. 2012
9 Monaten Düsseldorf, Deutschland
Test-Automatisierung Agile
Vodafone
- Start mit sehr kurzer Vorlaufzeit im schnellen Projekt für Vodafones Egarage-Websystem bei Infosys. Schnelles Einarbeiten in den Kernstack und sofortige Ausführung der FitNesse-Automatisierungssuites in Java/Eclipse unter hohem Zeitdruck.
- Anwendung meiner Unix- und SQL-Datenbank-Kenntnisse für die Übernahme von Testfällen, die mit Servern und Datenbank interagieren, und schnelle Ergebnisse.
- Testen von Apache- und Shop-Servern, Log-Analyse, Defect-Reporting in HP Quality Center und Aktualisierung der FitNesse-Tests zur Verbesserung der Automatisierung.
- Nach Stabilisierung konnten Offshore-Teams die Testausführung übernehmen.
- Durchführung von Non-Functional-Tests für Vodafones Egarage.
- FitNesse-Automatisierungssuiten in Java/Eclipse.
- Testanalyse und Updates der FitNesse-Tests.
- Testen mit Oracle-Tools, SQL Developer, SQL, UNIX-Skripten.
- Aktualisierung und Ausführung von Shell-Skripten auf Linux-Backend-Servern.
- System- und Integrationstests mit Vodafones Shop-Websystemen.
Jan. 2008 - Dez. 2011
4 Jahren Bern, Schweiz
Senior Test Analyst/Test Manager
Swisscom
- Mitarbeit im Billing-Team auf Oracle 11g/Linux/Java-System für Invoice- und CDR-Traffic im XML-Format, Mapping in die Datenbank, Layout-Engine bis PDF/Print-Street-Ausgabe.
- Analyse von Change Requests und neuen Arbeitspaketen.
- Erstellung von Use Cases und Testfällen in HP Quality Center.
- Erstellung von Testplänen und Mentoring juniorer Teammitglieder.
- Erstellung und Beschaffung von Testdaten.
- Ausführung von Testfällen und Verarbeitung der Daten im System.
- Verifikation von DB-Mappings und Outputs der verschiedenen Handler.
- Reporting, Retests und Defect-Processing in HP Quality Center.
- Installation und Verwaltung von Java-, Linux- und Oracle-DB-Umgebungen.
- Regression-Automatisierung mit Perl-Skripten, Bugfixes und Updates.
- Verwendung von Toad und eigener SQL-/PL-SQL-Skripte.
- 2-Wochen-Release-Zyklus in enger Zusammenarbeit mit Entwicklern und Testern, fast agil.
- Sehr gute Kommunikation mit Business-Kollegen bei Defects und Änderungen.
- Component Test Analyst für Swisscom Docforms Bill-Layout-System.
- Voller Test-Lifecycle bis E2E in HP Quality Center.
- Beratung in agiler Umgebung eng mit Entwicklern.
- Testen mit Oracle-Tools, Toad, PL-SQL, UNIX-Skripten und Perl.
- Erstellung und Ausführung detaillierter Funktionstests.
- System- und Integrationstests mit Upstream- und Downstream-Systemen.
Mai 2006 - Okt. 2007
1 Jahr 6 Monaten München, Deutschland
Senior Test/DWH-Berater
o2 Germany
- Einstieg ins CT-Testteam zwei Wochen vor Release 16 für intensiven Wissenstransfer in die GDF (General Data Facility) DWH-Anwendung zur Datensteuerung in o2s Systemumgebung.
- Erstellung von Testplandokumentation basierend auf Requirements und Change Requests.
- Erstellung von Komponententestfällen in Rational Requisite Pro.
- Aufbau von Testumgebungen und Skripten zur Simulation von Produktionsbedingungen.
- Erzeugung von Testdaten, einschließlich Input-Dateien für alle Datenfeeds zur GDF.
- Ausführung von Testfällen, Defect-Reporting und Abstimmung mit Entwicklung bei Diskrepanzen.
- Regressionstests und Dokumentation der Ergebnisse.
- Schulung und Mentoring weiterer Teammitglieder.
- Intensive Nutzung von Oracle mit TOAD und SQL*Plus, Ausführung von PL-SQL-Skripten und Datenanalyse.
- Aktualisierung von Perl- und PL-SQL-Skripten zur Erweiterung bestehender Testtools.
- Simulation von Datenfeeds per Binärdatei-FTP in mehreren UNIX-Umgebungen.
- Erstellung mehrerer Schemas und DB-Links zur Simulation separater Anwendungen im o2-Stack.
- Qualitätsverbesserung von Release 15 (30/70% nach CT) zu Release 18 (95/5%).
- Datawarehouse-Tests für o2s Middleware-Oracle-Datenbank.
- Beratung mit Entwicklung zu Erweiterungen und Design.
- Voller Test-Lifecycle bis E2E mit o2s Rational-Testtools.
- Komponententests mit Oracle-Tools, PL-SQL und UNIX.
- Erstellung von Testschemas und Skripten zur Live-Umgebungssimulation.
- Integrationstests mit o2s Middleware-Anwendungen.
März 2003 - Mai 2006
3 Jahren 3 Monaten Salzburg, Österreich
Senior Tester/Test Team Lead
Sony NetServices
- QA-Team: Testen von Mobiltelefonanwendungen und Frontend-Webseiten für einen Online-Musik-Streaming-Service von Vodafone.
- Beteiligung an allen Testphasen: Planung, Testfallerstellung basierend auf Use Cases, bis zum Release.
- Automatisierung von Testschritten mit Mercury Quick TestPro (VBScript). Defektanalyse und Reporting während der Ausführung.
- Umfangreiche Nutzung von GPRS und Bluetooth, Einrichten von GPRS-Access-Points für WAP- und Internetanwendungen.
- Feldtests mit SIM-Karten und Backend-Überprüfung der Mobilfunkzellen-Daten.
- Erfahrung in Billing und Testing machte mich zum wertvollen Teammitglied. Als einziger aus vier Testern wurde mein Vertrag um weitere vier Wochen verlängert, später drei Mal um je drei Monate für Release 1.2 und Pamina (bis April 2005).
- Ab Mai 2005 Senior Test Analyst für Vorbereitung und Ausführung des neuen Produkts Vodafone Radio DJ (UMTS-Smartphones Nokia 6630, 6680, N70, N91).
- Verantwortung für alle Testfälle des Frontend-Mobile-Clients in Mercury TestDirector, Analyse der Spezifikation und CRs, Testplanung bis ins Testlabor.
- Systemtest-Spezialist für Vodafones Radio-DJ-Projekt.
- Komponententests auf verschiedenen Mobilgeräten und Backend-Systemen.
- Feldtests und Backend-Datenbanktests (Linux/Oracle).
- Bereitstellung von Testdaten via Oracle/Toad.
- Planung, Erstellung und Ausführung aller Tests in HP Quality Center.
- Senior Tester für Sony Pamina Release.
März 1998 - Jan. 2002
3 Jahren 11 Monaten München, Deutschland
Kenan-Billing-Business-Analyst
o2 Germany
- Mitarbeit im OSS/BSS-Team als Business Analyst und Datenbuild-Support mit dem Kenan Arbor-Datenmodell.
- Arbeiten in einem Team mit häufigen Releases und engen Zeitplänen.
- Umfangreiche Tests der neuen Arbor-OM-Schnittstelle: Erstellung von Testkonten und Replikation in die BP-Datenbank.
- Unterstützung anderer Testteams bei CDRs und Arbor Process Control.
- Schulung neuer Teammitglieder.
- Testing von Bill Runs für Festnetz und Mobil, inkl. Vertragsrabatten.
- Gute Kenntnisse des Rating-Modells, eigene Datenbuilds zur Machbarkeitsprüfung mit SQL.
- Festanstellung nach einem Jahr bei VIAG Interkom, Vertiefung im Mobile Transferred Account Procedure (TAP).
- Vertretung von VIAG auf GSM Association Konferenzen in Wien, Athen und London.
- Mitarbeit am TAP 3-Projekt mit 60% Testing-Aufwand.
- Analyse bestehender Billing-Systeme bei neuen Produkteinführungen.
- Abstimmung mit internen Abteilungen zum Produktdesign.
- Repräsentation von VIAG europaweit im GSM-Roaming-TAP3-Projekt.
- Technischer Support für das Datenbuild-Team.
- Komponententests und Systemtests bis UI-Level.
Dez. 1997 - März 1998
4 Monaten Barcelona, Spanien
Test-Berater
Pricewaterhouse & Coopers
- Mitarbeit im Retevision-Telco-Startup-Projekt. Phase 1.0: Erfolgreiche Lieferung des Indirect-Access-Abonnentenservice in nur zwei Monaten.
- Nutzung meiner BMP-Erfahrung bei Telfort für Unit-Tests des EHPT BMP 3.0 zur Account-Mediation und CDR-Verarbeitung von Lucent-Switches.
- Erstellung von Testfällen für Bill Runs in der System-Testumgebung und Sicherstellung der korrekten Einrichtung der Testumgebung, oft über die Weihnachtszeit hinaus.
- Durchführung von Testläufen für die standortspezifische Vantive-to-BP-Verbindung mit zwei Skripten für den Account-Datentransfer.
- Alleinige Erstellung und Dokumentation der CDRs mit Access und Excel.
- Nach Phase 1.0 Mitarbeit im Integrationstestteam für End-to-End-Tests.
- Systemtest-Spezialist für das Billing-System-Redesign zum Service-Launch.
- Beratung für EHPT- und BMP-Netzwerksysteme.
- Erstellung von Systemtestdokumentation und Qualitätssicherung.
Sprachen
Englisch
Muttersprache
Deutsch
Verhandlungssicher
Ausbildung
Sept. 1985 - Juni 1990
Ardingly College
Vereinigtes Königreich
Ähnliche Freelancer
Entdecken Sie andere Experten mit ähnlichen Qualifikationen und Erfahrungen.