Milos Nikolic
Senior KI/ML-Ingenieur
Erfahrungen
Senior AI/ML Engineer
Meta AI
- Agentic AI Plattform (V3-Architektur): Entwarf und implementierte ein produktionsreifes Multi-Agenten-System mit 5-stufiger Orchestrierung (Planner Actioner Executor Feedback Evaluator); erreichte 85% Erfolgsrate pro Aufgabe (+20% gegenüber V2) durch modulare Pipeline und selbstkorrigierende Feedback-Schleifen.
- RAG-Retrieval-System: Entwickelte eine End-to-End-Abruf-Pipeline mit Sliding-Window-Chunks (50 Zeilen + 10 Zeilen Überlappung), hybridem BM25 + Vektorsuche und paralleler LLM-Zusammenfassung; verbesserte die Treffergenauigkeit um 85% und reduzierte Halluzinationen um 35% durch semantische Indexierung.
- Enterprise-Connectoren: Entwickelte Confluence- und Jira-Integrationen mit vollständiger Authentifizierung, Webhook-Unterstützung und Fehlerbehandlung; ermöglichte Echtzeit-Updates der Wissensdatenbank und plattformübergreifende Datensynchronisation für den Agentenkontext.
- LLM-as-Judge-Bewertungsframework: Implementierte automatisiertes Bewertungssystem mit Goldstandard-Testfällen, Turnier-Scoring und Regressionstests; ging von subjektiven 'sieht gut aus'-Bewertungen zu quantitativer Auswertung mit über 15 Benchmark-Konfigurationen in 6 Aufgaben-Kategorien über.
- Ranking-Plattform im Web-Maßstab: Erstellte TensorFlow/JAX/TFX-Pipelines auf Vertex AI + Dataflow + BigQuery; steigerte die CTR um 18% bei über 100 Mio. Sitzungen/Monat; senkte die p95-Latenz um 35% (≈210ms→136ms) durch Redesign des Feature Stores und harte Negative.
- Datenschutzfreundliche Personalisierung: Einführung von föderiertem Lernen + DP für PT/ES/EN-Märkte; Gewährleistung der Offline-/Online-Parität (AUC/PR, Kalibrierung) und automatische Drift-Warnungen.
- Experimentierungssuite: Standardisierte A/B- und Interleaving-Tests; wiederverwendbare Metriken/Dashboards verkürzten die Entscheidungszeit von 2–3 Wochen auf <5 Tage.
- GenAI/RAG-Bewertung: Entwickelte einen Offline-Evaluator und Guardrails, die Halluzinationen um ~35% reduzierten und die Antwort-F1 um 7 Punkte steigerten, während die p95-Latenz um 20% sank.
- ML-Zuverlässigkeitsprogramm: Betrieb von Kubernetes/Docker-Microservices mit Modell-Registry, Shadow/Canary-Deployments und Rollbacks; Aufrechterhaltung eines Inferenz-SLO von 99,9%, MTTR <10 Min; Mentoring von 6 DS/ML-Ingenieuren und Zusammenarbeit mit 4 Produktteams (BR/US).
Data Scientist
Databricks
- SageMaker Churn- & Propensity-Plattform: Produktionsreife Modelle auf SageMaker mit Model Registry, CI/CD und Blue-Green-Deployment bereitgestellt, wodurch die Abwanderung um 22% bei drei Pilotkohorten (ca. 45k Nutzer) sank; inklusive Monitoring über MLflow und benutzerdefinierte Drift-Detektoren.
- Echtzeit-Lakehouse: Entwarf eine Datenpipeline mit S3, Glue, Athena und EMR, die über 10 TB pro Tag verarbeitete; implementierte Streaming-Features mit Kafka und Spark, um rund 1,8 k QPS Lambda/Fargate-Inferenz zu ermöglichen.
- LATAM-Regulierte Vorlagen: Lieferte Referenzarchitekturen, die die Time-to-Production von etwa 3 Wochen auf 6 Stunden verkürzten und die Infrastrukturkosten um 18% senkten durch verbesserte Observability.
- Model Governance: Implementierte Feature Lineage, PII-Schutzmaßnahmen und Modellkalibrierung (ECE, Brier), um eine konsistente und prüfbare Performance sicherzustellen.
Principal ML Consultant
Capgemini Invent
- Enterprise-Labeling-Plattform: Flask/React-System zum Training und Retraining von CV/NLP-Modellen; verkürzte die Durchlaufzeit für Datensätze um 50% (4 Wochen → 2 Wochen) für eine Tier-1-Bank und einen öffentlichen Auftraggeber.
- Anti-Spoofing & Fehlerüberwachung: Setzte scikit-learn/PyTorch-Modelle und eine zentrale Flask/DB2-Error-API ein; verringerte kritische Vorfälle um 23% QoQ.
- Serverless Identity: Entwickelte Nutzerverwaltung mit Cloud Functions + Cloud SQL; verkürzte die Bearbeitungszeit für Zugangstickets um 30% und vereinfachte Audits.
Zusammenfassung
Senior KI/ML-Ingenieur mit über 10 Jahren Erfahrung in der Bereitstellung produktionsreifer KI, die messbare Geschäftsergebnisse liefert.
Umfang: Agentic AI, GenAI/RAG, Ranking, NLP/CV und groß angelegte Experimente; Aufbau kalibrierter, überwachter und driftersicherer ML-Systeme (AUC/PR, ECE).
Plattformen: Python; TensorFlow/PyTorch; AWS (SageMaker) & GCP (Vertex AI); Kubernetes/Airflow/MLflow; Feature Stores; 99,9% SLO für Echtzeit-Inferenz.
Ergebnisse: +18% CTR im Web-Maßstab, -35% p95-Latenz, -22% Abwanderung, -18% Infrastrukturkosten.
Kern-Stack: Python (10+), TensorFlow (6+), PyTorch (5+), Scikit-learn (9+), XGBoost/LightGBM (7+), Transformers/HuggingFace (5+), LangChain/RAG (3+), Vektor-Datenbanken (FAISS, Pinecone, PostgreSQL) (3+), Airflow/MLflow/Kubernetes/Docker (6+), AWS (SageMaker, S3, Glue, Athena, EMR, Lambda, Fargate) (4+), GCP (Vertex AI, Dataflow, BigQuery) (3+), Spark/Kafka (5+), Feature Store/TFX (3+), SQL/Snowflake/BigQuery (7+), FastAPI/Flask (6+), REST/GraphQL (5+), CI/CD (Jenkins, GitHub Actions) (5+), NLP (8+), Computer Vision (7+), Föderiertes Lernen & verantwortungsvolle KI (2+).
Fähigkeiten
- Agentic Ai & Orchestrierung: Multi-agent (Planner Tools Critic)-tool-routing; Kurz-/langzeitspeicher; Selbstreflexion; Guardrails; Llm-as-judge
- Rag & Retrieval: Hybrid Bm25 + Dense; Cross-encoder-reranking; Query-intent-routing; Semantische Chunking; Vektorspeicher (Faiss, Pinecone)
- Serving & Systeme: Ray Serve; Nvidia Triton; Gpu-inferenz; Fastapi-microservices; Verteiltes Training; Api-design; Kubernetes/docker
- Mlops & Evaluation: Mlflow; Modell-registry; Ci/cd; Feature Stores; Monitoring & Drift/bias; Prometheus/opentelemetry
- Data & Streaming: Spark; Kafka; Redis; Sql; Hl7/fhir-pipelines
- Cloud & Infra: Aws (Sagemaker, Lambda, S3); Gcp (Vertex Ai, Bigquery); Azure (Azure Ml)
- Datenbanken & Data Warehouses: Postgresql; Azure Cosmos Db; Dynamodb; Snowflake; Bigquery
- Sprachen & Frameworks: Python, C++, Java, Javascript/typescript; React (Typescript); Fastapi; Flask; Rest/graphql
Sprachen
Ausbildung
Nanyang Technological University (NTU)
Master of Science in Informatik · Informatik · Singapur
Nanyang Technological University (NTU)
Bachelor of Science in Informatik · Informatik · Singapur
Ähnliche Freelancer
Entdecken Sie andere Experten mit ähnlichen Qualifikationen und Erfahrungen.