Martin Ratajczak - Senior LLM-Forschungswissenschaftler

Recommended expert

München, Deutschland

Erfahrungen

Mai 2025 - Bis heute

9 Monaten

Vereinigte Staaten

Senior LLM-Forschungswissenschaftler

BYO Inc.

Erforsche und entwickle Modelle für Chatbots, NLP und LLMs (z. B. Llama, Qwen, OpenAI)
Verbessere Chatbots mit RAG und In-Context-Learning
Überwachtes Fine-Tuning (PEFT, LoRA) mit Huggingface oder Unsloth
Fortgeschrittene Trainingsmethoden: Test-Time-Training, (transduktives) aktives Lernen, verstärkendes Lernen
High-Throughput-Serving mit vLLM
Anwenden von Embedding-Modellen (z. B. SentenceTransformers), Ähnlichkeits-/Vektorsuche, Vektor-Datenbanken oder Ranking (z. B. LlamaIndex, Faiss, LangChain)
Generieren und Filtern synthetischer Daten, Clustering
Erkennen von Halluzinationen
Evaluierung von Chatbot-Modellen (ROUGE, BLEU, F1-Score, Recall, Precision)
Visualisierung von Experimenten (matplotlib)

Jan. 2019 - Mai 2025

6 Jahren 5 Monaten

San Francisco, Vereinigte Staaten

Senior KI-Forschungswissenschaftler

Rev.com

Erforschung und Entwicklung von Modellarchitekturen für Spracherkennungssysteme (ASR), große Sprachmodelle (LLM), natürliche Sprachverarbeitung (NLP), Sprecherdiarisierung, Sprechererkennung, Textformatierung, Zusammenfassung und Chatbots
Training und Feinabstimmung neuronaler Netze und probabilistischer Modelle: CTC, Transducer, HMM, Segmental-CRF, Conformer, Transformer, CNNs, RNNs
Training auf Multi-GPU-Knoten und großen Datensätzen
Optimierung von Modellen für Genauigkeit, Größe (z. B. Quantisierung, Pruning) und Geschwindigkeit
Implementierung und Optimierung von Decodierungsalgorithmen
Datenaufbereitung: trainierter Tokenizer, erzwungene Ausrichtung, Skripte zur Datenbereinigung
Beratung zu Roadmaps und Quartalsplanung, Erstellen von Epics und Tickets, Betreuung von Junior Researchern und Entwicklern
Entwicklung eines Open-Source-ASR-Modells als Kernmitglied des Forschungsteams
Veröffentlichung als Erstautor auf der Interspeech 2025 zu Spracherkennung und Machine Learning

Nov. 2018 - Feb. 2019

4 Monaten

München, Deutschland

Machine-Learning-Ingenieur

e-bot7 - AI for Customer Service

Implementiert und trainiert Chatbots mit neuronalen Netzen und NLP-Methoden

März 2017 - Mai 2018

1 Jahr 3 Monaten

Graz, Österreich

Machine-Learning-Ingenieur

iTranslate

Implementiert und trainiert ein Spracherkennungssystem (ASR) für Mobiltelefone
Trainierte neuronale Netze auf einem Multi-GPU-System

März 2013 - Apr. 2017

4 Jahren 2 Monaten

Graz, Österreich

Wissenschaftlicher Projektassistent

Technische Universität Graz

Erforschung von neuronalen Netzen und probabilistischen Modellen für Sequenzen
Durchführung von Forschungen im Bereich Machine Learning (ML), Spracherkennung (ASR) und Sprachmodellierung (LM)
Innovation, Implementierung, Training und Veröffentlichung von Arbeiten zu rekurrenten neuronalen Netzen (RNNs), bedingten Zufallsfeldern (CRFs), Sum-Product-Netzwerken, neuen Regularisierungsmethoden und Verlustfunktionen, Berechnung und Codierung von Gradienten für benutzerdefinierte Modelle sowie segmentalen CRFs
Betreuung eines Masterstudentenprojekts in Machine Learning und ASR
Analyse von Ca-Imaging-Aufnahmen neuronaler Aktivität an anesthesierten und wachen Mäusen
Klassifizierung und Visualisierung von Gehirnzustandsverläufen mithilfe von Dimensionsreduktion (PCA, LDA), Support Vector Machines (SVM), Kalman-Filter/-Glätter, Clustering, Regression und Zeitreihenprognosen

Sept. 2008 - Dez. 2011

3 Jahren 4 Monaten

Aachen, Deutschland

Projektassistent Forschung

RWTH Aachen Universität

Implementierte und trainierte ein End-to-End-Maschinenübersetzungssystem basierend auf Conditional Random Fields (CRFs) von Grund auf inklusive Gradienten und Verlustfunktionen für ein verteiltes Multi-Node-CPU-Grid
Trainierte phrasenbasierte statistische Maschinenübersetzungssysteme inklusive Sprachmodelle (LM)
Trainierte und implementierte log-lineare Modelle für Textklassifikation, Wortartbestimmung, Named-Entity-Erkennung und Syntaxanalyse
Lehrte Seminar- und Übungskurse in maschinellem Lernen und Mustererkennung einschließlich neuronaler Netze, statistischer Maschinenübersetzung und Spracherkennung (ASR)

Sept. 2007 - Aug. 2008

1 Jahr

München, Deutschland

Softwareentwickler

GAF AG

Implementierte Software für Geoinformationssysteme, Backend-Server-Anwendungen und Webkartendienste

Dez. 2006 - Feb. 2007

3 Monaten

München, Deutschland

Wissenschaftliche Hilfskraft

Ludwig-Maximilians-Universität München

Analysierte und implementierte Online-Lernregeln in neuronalen Netzen

Feb. 2004 - Aug. 2004

7 Monaten

München, Deutschland

Praktikum als Softwareentwickler

Max-Planck-Institut für Physik

Implementierte eine Anwendung zur Visualisierung von Lernprozessen (Varianten der Hebb’schen Lernregel) und Selbstorganisation in neuronalen Netzen (Hopfield-Netzwerk, assoziatives Gedächtnis, Vektorquantisierung, Clustering, Boltzmann-Maschine) für Lehrzwecke
Implementierte Skripte in Fortran, Perl und C++, um Experimente des Large Hadron Collider (CERN) zu visualisieren

Aug. 2003 - Okt. 2003

3 Monaten

München, Deutschland

Praktikum als Softwareentwickler

Siemens

Implementierte ein Netzwerk biologisch inspirierter Spiking-Neuronen

Zusammenfassung

17 Jahre Erfahrung im Machine Learning (ML), davon 7,5 Jahre in Technologieunternehmen
Spezialisierung auf neuronale Netze und probabilistische Modelle für Sequenzen: Spracherkennung (ASR), Verarbeitung natürlicher Sprache (NLP), große Sprachmodelle (LLM) und generative KI, Zeitreihenprognosen, klassisches Machine Learning und Statistik, Regression, Klassifikation, Clustering, Sequence-to-Sequence-Modelle, überwachtes/unüberwachtes Lernen, Anomalieerkennung, Betrugserkennung
Löse komplexe algorithmische Probleme, entwickle neue Architekturen, erstelle Prototypen
Trainiere Modelle und führe Feinabstimmungen durch, optimiere Genauigkeit, Geschwindigkeit und Größe
Integriere und deploye in der Cloud oder lokal (CPU, GPU, auf Gerät, Embedded)
Entwickle in Python (15 J.), PyTorch (6,5 J.), TensorFlow (4 J.), Java, C++
Forschungserfahrung im Machine Learning in Universitätslabors und Tech-Unternehmen
Lass uns reden: als Freelancer, im Auftrag einer Firma oder als Angestellter arbeiten
Veröffentliche Fachartikel, halte Vorträge auf Konferenzen und präsentiere Poster