Amandeep Singh
Dateningenieur/Analyst
Erfahrungen
Dateningenieur/Analyst
Advance Delivery Consulting
Phase 1 des Migrationsprojekts umfasste das Archivieren und Löschen von Daten aus der HAMBS-Datenbank (einer SQL-Server-Datenbank) basierend auf den Daten zu Mitgliedschaften und Schadenfällen, um den australischen GDPR-Grundsätzen zu entsprechen. Archivierungs- und Lösch-SQL-Skripte erstellt.
Phase 2 war die Migration der Daten von der HAMBS-Datenbank in die CIVICA-Datenbank (beide SQL-Server-Datenbanken).
Durchführung von Datenanalysen an den Tabellen der HAMBS SQL-Server-Datenbank zur Datenentdeckung und Identifikation möglicher Datenqualitätsprobleme vor der Migration.
Ermittlung der Datenherkunft zwischen CIVICA- und HAMBS-Tabellen und Zusammenarbeit mit Business-Analysten zur Erstellung von Zuordnungstabellen.
Erstellung und Ausführung von SSIS-ETL-Paketen zur Migration der Daten von HAMBS- zu CIVICA-Tabellen.
Performance-Optimierungen in SQL-Abfragen durchgeführt.
Unterstützung und Behebung von Jira-Tickets, die von Fachanwendern nach der Datenmigration gemeldet wurden.
Onshore – ETL-Entwickler
Infosys Technologies
Zusammenarbeit mit Business-Analysten und Designern, um Geschäftsanforderungen zu verstehen und datengetriebene ETL-Pipelines in Azure Data Factory und Python zu erstellen.
Erstellung von Mapping-Datenflüssen in Azure Data Factory und von Triggern zur Planung der Pipelines.
Integration und Transformation von Daten aus verschiedenen Quellen und Laden in die Azure SQL-Datenbank.
Optimierung der Pipeline-Ausführungsleistung.
Entwicklung von Anwendungen für die Code-Freigabe in höhere Umgebungen und Unterstützung bei Produktionsvorfällen und -fehlern.
Durchführung der Codeausrollung in höhere Umgebungen.
Durchführung eines Proof of Concept (POC) für die Migration bestehender Anwendungen in die Azure Cloud durch Erstellung von Datenpipelines mit Azure Data Factory.
Erstellung selbst gehosteter Integration Runtime-Services zum Kopieren/Verschieben von Daten zwischen Azure Cloud und On-Premise-Datenbanken.
Implementierung von CI/CD-Pipelines in Azure DevOps.
Offshore – Informatica BDM Lead Developer
Infosys Technologies
Erstellung von Datenmodellen in SAP PowerDesigner entsprechend den Geschäftsanforderungen.
Entwicklung von ETL-Mappings, Workflows und Anwendungen auf Informatica BDM.
Bereitstellung von DDLs des Datenmodells auf Hive.
Erstellung von Skripten für das Data-Audit-Framework zur Bereitstellung in höheren Umgebungen und zur Erstellung von Batch-Plänen.
Durchführung von Unit-Tests und Erstellung der Unit-Test-Dokumentation für ETLs sowie Zusammenarbeit mit Testern bei ELT-FAT-Korrekturen.
Durchführung eines POCs zur Erkundung verschiedener Tabellen- und Kompressionsformate auf Hive zur Performance-Optimierung.
Umstellung älterer ETL-Mappings von der nativen Informatica-Engine auf die Hadoop-Spark-Engine zur Leistungssteigerung.
Durchführung von Performance-Tuning und Optimierung.
Offshore – SQL- und SSIS-Entwickler, Datenanalyst
Infosys Technologies
Phase 1 des Migrationsprojekts umfasste das Archivieren und Löschen von Daten aus der HAMBS-Datenbank (einer SQL-Server-Datenbank) basierend auf den Daten zu Mitgliedschaften und Schadenfällen, um den australischen GDPR-Grundsätzen zu entsprechen. Archivierungs- und Lösch-SQL-Skripte erstellt.
Phase 2 war die Migration der Daten von der HAMBS-Datenbank in die CIVICA-Datenbank (beide SQL-Server-Datenbanken).
Durchführung von Datenanalysen an den Tabellen der HAMBS SQL-Server-Datenbank zur Datenentdeckung und Identifikation möglicher Datenqualitätsprobleme vor der Migration.
Ermittlung der Datenherkunft zwischen CIVICA- und HAMBS-Tabellen und Zusammenarbeit mit Business-Analysten zur Erstellung von Zuordnungstabellen.
Erstellung und Ausführung von SSIS-ETL-Paketen zur Migration der Daten von HAMBS- zu CIVICA-Tabellen.
Performance-Optimierungen in SQL-Abfragen durchgeführt.
Unterstützung und Behebung von Problemen, die von Anwendungsnutzern nach der Migration gemeldet wurden.
Informatica Offshore Lead
Infosys Technologies
Entwicklung von ETL-Mappings, Sessions und Workflows in Informatica PowerCenter für CIDA-Datentransfers zur Befüllung des auf einer Oracle-Datenbank implementierten Data Warehouse.
Enge Zusammenarbeit mit Datenarchitekten bei Designaspekten.
Durchführung von Performance-Tuning und Optimierungen.
Durchführung von Unit-Tests sowie Erstellung von Testfällen und Testdaten.
Integration neuer Datenquellen und Geschäftslogik in bestehende Informatica-Mappings.
Bearbeitung und Schließung von in Quality Center gemeldeten Defekten.
Bearbeitung von Fachanfragen und Durchführung von Datenanalysen.
Führung eines Teams von fünf Informatica-Entwicklern im Offshore-Bereich.
Durchführung eines POCs zu Informatica BDM im Rahmen der CBL-Strategie zur Migration auf Informatica 10.1/BDM.
Informatica- und SAP-HANA-Entwickler
Infosys Technologies
Arbeitete an Änderungsanforderungen im Zusammenhang mit Informatica-ETL zur Aufbereitung von Vertriebs-, Bestell- und Lagerbestandsberichten.
Bearbeitete Geschäftsabfragen und Incidents, die von Endbenutzern erstellt wurden.
Migrierte bestehende Berichte von Informatica zu SAP HANA, indem ich den Code neu schrieb und die bestehende Logik in SAP HANA implementierte.
Erstellte ETL-Mappings und Workflows und entwickelte äquivalente Informationsmodelle in SAP HANA.
Plan te Informatica-Jobs für Batch-Ladevorgänge.
Führte Performance-Tuning durch und setzte Code-Pushdown in Quell- und Zieldatenbanken (einschließlich Teradata) ein.
Erstellte und pflegte aggregierte Tabellen in Teradata, die über ETL befüllt wurden und die Grundlage für Abschlussberichte bildeten.
SQL-Entwickler
Infosys Technologies
Bearbeitete Produktionsvorfälle und Änderungsanforderungen für die SQL Server-basierte CAW-Reporting-Plattform bei Nationwide.
Überwachte und unterstützte tägliche Batch-Ladevorgänge.
Analysierte Daten und beantwortete Geschäftsabfragen.
Erstellte SQL Stored Procedures zum Befüllen von Arbeits- und Abschlusstabellen.
Unterstützte Bereitstellungsaktivitäten.
Analysierte protokollierte Datenfehler im Quality Centre.
Plan te tägliche Batch-Ladevorgänge und erstellte DDL für Tabellen in SQL Server.
Zusammenfassung
Über 13 Jahre Berufserfahrung im Data Engineering und ETL mit ausgeprägter praktischer Erfahrung in Informatica BDM, Azure Data Factory und SSIS.
Beteiligung an verschiedenen Aspekten der Entwicklung von Data Warehouses und Data Lakes, einschließlich Anforderungserhebung, Design, Entwicklung, Test, Deployment, Wartung usw.
Fundiertes Wissen und Erfahrung im gesamten Lebenszyklus von Data-Warehouse- und Data-Lake-Projekten. End-to-End-Management von Data Engineering und Datenarchitektur.
Aufbau datengetriebener ETL-Pipelines und Datenflüsse in der Azure Cloud. Gutes Verständnis von Azure DevOps und CI/CD-Pipelines.
Erfahrung in agilen Projekten und mit Big-Data-Umgebungen.
Umfangreiche Erfahrung in der Arbeit mit SQL und im Erstellen von SQL-Abfragen.
Fähigkeiten
- Etl - Informatica Bdm, Informatica Powercenter, Ssis, Azure Data Factory
- Sql-datenbanken - Sql Server, Oracle, Teradata, Sap Hana, Informix Db
- Nosql-datenbanken - Mongodb
- Cloud-technologien - Microsoft Azure Cloud (Azure Sql-datenbank, Azure Data Lake, Azure Data Factory, Azure Databricks, Azure Devops, Azure Synapse)
- Starke Sql- Und Fortgeschrittene Sql-kenntnisse
- Datenvisualisierung - Power Bi, Sap Business Objects
- Programmiersprachen - Python (Mit Pyspark)
- Sonstiges - Hive, Jira, Confluence, Unix
Sprachen
Ausbildung
Panjab University
Bachelor of Engineering, Informatik und Ingenieurwesen · Informatik und Ingenieurwesen · Chandigarh, Indien
Zertifikate & Bescheinigungen
Infosys Certified Agile Developer
Microsoft Certified: Azure Data Engineer Associate (DP-203)
Microsoft Certified: Power BI Data Analyst Associate (PL-300)
Ähnliche Freelancer
Entdecken Sie andere Experten mit ähnlichen Qualifikationen und Erfahrungen.
Senior AWS Dateningenieur
Manager für Datenbankverbesserung und -anreicherung - IT
Principal-Berater
Globaler Data-Analytics- und Business-Intelligence-Berater
Full-Stack-KI- und Produktberater
Senior Datenwissenschaftler
SAC-Architekt
Microsoft BI-Spezialist
Data Engineer und Gründer
Inhaber / Gründer, IT-Berater
Senior Security-Technologe
SSIS Entwicklung
Senior Softwareentwickler
Spezialist für die Bewertung von KI-Agenten
Senior Dateningenieur
Microsoft Fabric & Power BI-Entwickler
MLOps (Machine-Learning-Betrieb)
Leiter Workshop „Einführung von KI Entwicklungstools“
Senior Data-Architekt & Dateningenieur
Data Scientist/AI-Ingenieur
ServiceNow-Berater
Qualitätssicherungverantwortliche (QSV)
BI-Berater
Senior Cloud-Berater (AWS-Dienste und Beratung)
Gründer und CEO
Senior Manager, Strategie & Analytik
Business Analyst, Data-Warehouse-Entwickler
Solutionsarchitekt
Microsoft Azure Senior Data Engineer / Senior Data Scientist
