Siddharth N.
Leitender Berater
Erfahrungen
Juli 2021 - Bis heute
4 Jahren 6 MonatenLeitender Berater
StatusNeo Consulting
- Beratung von CXO-Stakeholdern zu Datenstrategie, Architekturüberprüfungen und Modernisierungs-Roadmaps in den Bereichen Gastgewerbe, Finanzen, Einzelhandel, Sport und Telekommunikation.
- Leitung eines achtköpfigen Data-, Analytics- & AI-Teams, das groß angelegte Data-Engineering- und Data-Warehouse-Lösungen lieferte, Junioren betreute und nahtlos mit funktionsübergreifenden Teams zusammenarbeitete.
- Entwurf und Implementierung einer End-to-End-Medallion-Architektur auf Microsoft Fabric mit Integration von Opera-APIs, ReviewPro, SFTP und lokalen Quellen.
- Implementierung von Direct-Lake-Modellen in Power BI, wodurch sich die Ladezeiten von Dashboards von über 1 Minute auf unter 10 Sekunden reduzierten.
- Einführung eines KI-basierten Data Agent, der CXOs konversationelle Abfragen ermöglicht.
- Umsetzung von RBAC, Governance und Data Lineage zur Sicherstellung von Compliance und Sicherheit.
- Migration von Pipelines von Azure Data Factory zu Databricks mit Orchestrierung der Transformationen via dbt und Delta Lake.
- Integration von Salesforce- und RDBMS-Quellen mit wiederverwendbaren ETL-Frameworks und SCD1- sowie SCD2-Handling.
- Anwendung von DataOps-Praktiken wie CI/CD, Monitoring und Qualitätsprüfungen zur Gewährleistung der Zuverlässigkeit.
- Erfolgreiche Stilllegung des Legacy-Data-Warehouse und Senkung der täglichen Kosten von 250 auf 50 USD durch Kostenoptimierung.
- Automatisierung des P&L-Reportings mit Alteryx-Workflows und Power-BI-Dashboards, wodurch der manuelle Aufwand um 80 % reduziert wurde.
- Entwicklung fortgeschrittener Transformationen mit Crew Macros zur Verbesserung der Reporting-Genauigkeit.
- Aufbau von DataOps-Pipelines für automatisierte Validierung und CI/CD.
- Entwicklung einer Echtzeit-Cricket-Data-Analytics-Plattform, die hochfrequente JS-Events in Cassandra einspeist.
- Entwicklung von Flask/OpenAPI-Microservices auf AKS für Web- und Mobile-APIs.
- Bereitstellung von Echtzeit-Streaming- und Batch-Processing-Pipelines mit ausgewogenem Verhältnis von niedriger Latenz und Skalierbarkeit.
- Ermöglichung sofortiger Spiel- und Event-Updates via FCM-Push-Benachrichtigungen mit SSL-Pinning und parametrisierten Abfragen für mehr Sicherheit.
- Aufbau von Vorverarbeitungspipelines für Katalogdaten mit Einrichtung von Elasticsearch-Indizes und einer Redis-Serving-Schicht.
- Entwicklung von FastAPI-Suggest-APIs für performante Suche und Deployment als Microservices auf AKS mit CI/CD.
Nov. 2020 - Juli 2021
9 MonatenBerater
Deloitte USI
- Entwurf und Bereitstellung skalierbarer ETL-Pipelines mit Azure Data Factory und Databricks, wodurch die ETL-Laufzeiten um 50 % reduziert wurden.
- Erstellung wiederverwendbarer Dimension- und Fact-Frameworks mit SCD1- und SCD2-Handling auf Delta Lake, was die Wartbarkeit und historische Genauigkeit verbesserte.
- Implementierung von Dynamic Data Masking in Azure Synapse zum Schutz von PII und zur Einhaltung gesetzlicher Vorschriften.
- Zusammenarbeit mit fachübergreifenden Business-Teams, um Anforderungen in skalierbare technische Lösungen umzusetzen, wodurch Reporting-Effizienz und Datenvertrauen gesteigert wurden.
Jan. 2020 - Nov. 2020
11 MonatenBig-Data-Ingenieur
Reddoorz
- Aufbau von AWS-ETL-Pipelines mit Apache NiFi, Step Functions und Redshift, Optimierung von SQL-Abfragen und Reduzierung der Ladezeiten um 40 %.
- Entwicklung Python-basierter Validierungs- und SCD-Frameworks für Redshift, mit automatisiertem Monitoring und Orchestrierung per CloudWatch und Lambda.
- Ablösung des Legacy-Reporting-Tools “Holistic” durch Implementierung automatisierter Pipelines, wodurch sich die Erstellung von CXO-Berichten von Stunden auf Minuten verkürzte.
- Verbesserung der Datenqualität und -konsistenz in den Pipeline-Ergebnissen zur Gewährleistung zuverlässiger Berichte auf Management-Ebene.
Juli 2017 - Dez. 2019
2 Jahren 6 MonatenTechnischer Mitarbeiter
Genpact India Pvt. Ltd.
- Entwicklung wiederverwendbarer ETL- und Validierungs-Frameworks in Python und Spark mit SCD1- und SCD2-Logik, wodurch die Datenkonsistenz in den Ingestion-Jobs verbessert wurde.
- Automatisierung groß angelegter Batch-Processing-Pipelines (>100 TB) mit AWS Data Pipeline, Step Functions, Lambda, CloudWatch und EMR, wodurch die manuelle Überwachung reduziert und die Zuverlässigkeit erhöht wurde.
- Optimierung des Amazon-Redshift-Schemas und der Abfragen zur Verbesserung der Performance und Reduzierung der Speicher- und Compute-Kosten.
- Einrichtung von Monitoring und Alerting mit CloudWatch und Integration der Workflows über CloudFormation für bessere Orchestrierung.
- Zusammenarbeit mit Onshore- und Offshore-Teams zur Umsetzung von Datenmigrations- und Modernisierungsprojekten unter strengen SLAs.
Zusammenfassung
Erfahrener Datenarchitekt mit über 8 Jahren Erfahrung darin, Organisationen zu unterstützen, ihre Daten in strategische Assets zu verwandeln. Nachweisliche Fähigkeit, Geschäft und Technik zu verbinden, indem ich Stakeholder berate, Unternehmensarchitekturen gestalte und moderne Cloud-native Plattformen bereitstelle. Erfahren in der Leitung leistungsstarker Teams und in der Beratung von Kunden aus den Branchen Gastgewerbe, Finanzen, Telekommunikation, Sport, Energie und Einzelhandel.
Praktischer Umgang mit AWS, Azure, Microsoft Fabric und GCP, verbunden mit einem ganzheitlichen Ansatz für Data Engineering, Governance und Analytics, der Innovation und Wettbewerbsvorteile fördert.
Sprachen
Hindi
MutterspracheEnglisch
VerhandlungssicherDeutsch
GrundkenntnisseAusbildung
Okt. 2013 - Juni 2017
AKTU
B.Tech, Computertechnik und Informatik · Computertechnik und Informatik · Lucknow, Indien
Sie suchen Freelancer?Passende Kandidaten in Sekunden!
FRATCH GPT testenWeitere Aktionen
Ähnliche Freelancer
Entdecken Sie andere Experten mit ähnlichen Qualifikationen und Erfahrungen.
- English
- Deutsch
2025 © FRATCH.IO GmbH. All rights reserved.