KI-Agent-Bewertungsanalyst (m/w/d)

Wir suchen einen freiberuflichen Bewertungsanalysten für Agenten, der die Verantwortung für Qualität, Struktur und Erkenntnisse im Projekt übernimmt. Diese Rolle geht weit über reine Aufgabenprüfung hinaus – es geht um kritisches Denken, systematische Analyse und darum, Klarheit, Zuverlässigkeit und Konsistenz im großen Maßstab sicherzustellen. Du arbeitest sowohl als praktischer Evaluator als auch als Analyst und arbeitest dabei mit Fachexperten, Delivery Managern und Ingenieuren zusammen. Neben der Überprüfung der Ergebnisse sollst du das „Warum“ hinter der Arbeit verstehen, logische Lücken oder Inkonsistenzen erkennen und sinnvolle Verbesserungen vorschlagen.

Dies ist eine flexible, wirkungsorientierte Rolle, in der du Raum hast, dich weiterzuentwickeln, Ideen einzubringen und mitzugestalten, wie Evaluation und Qualität im Projekt skaliert werden.

Diese Rolle eignet sich besonders für:

Analysten, Forscher oder Berater mit starken Strukturierungs- und Argumentationsfähigkeiten Junior-Produktmanager oder Strategen, die neugierig auf KI und Evaluation sind Schlaue Problemlöser (Studierende oder Berufseinsteiger), die gerne in Logik, Systeme und Randfälle eintauchen

Eine Programmerfahrung ist nicht nötig. Entscheidend sind Neugier, intellektuelle Strenge und die Fähigkeit, komplexe Strukturen präzise zu bewerten.

Was du tun wirst

• Eigenverantwortliche Betreuung der QA-Pipeline für Agentenbewertungsaufgaben;
• Überprüfung und Validierung von Aufgaben und Goldstandard-Pfaden, die von Szenario-Autoren und Experten erstellt wurden;
• Erkennen logischer Inkonsistenzen, vager Anforderungen, versteckter Risiken und unrealistischer Annahmen;
• Strukturierte Rückmeldungen geben und Qualität zwischen den Beteiligten abstimmen;
• Neue QA-Teammitglieder schulen, onboarden und betreuen;
• Zusammenarbeit mit Fachexperten, Delivery Managern und Ingenieuren zur Verbesserung von Testklarheit und Abdeckung;
• Pflege und Optimierung von QA-Checklisten, SOPs und Prüfrichtlinien;
• Mitwirkung bei Testplanung, Priorisierung und Qualitätsbenchmarks;
• Eigeninitiative zeigen und neue Ansätze, Werkzeuge und Prozesse vorschlagen, die Validierung und Analyse skalieren

Was du wissen solltest / können musst

• Ausgeprägte analytische und kritische Denkfähigkeiten;
• Auge fürs Detail und Zuverlässigkeit – auf deine Arbeit kann man ohne Nachprüfen vertrauen;
• Erfahrung in manueller QA, Szenario-Validierung oder ähnlicher analytischer Arbeit;
• Sicherer Umgang mit strukturierten Formaten (JSON/YAML);
• Klare schriftliche Kommunikation und Dokumentationsfähigkeiten;
• Fähigkeit, konstruktives Feedback zu geben und andere anzuleiten;
• Fähigkeit, mit einer breiten Palette von Stakeholdern zu arbeiten: von Ingenieuren bis hin zu Direktoren/VPs.

Nice to have

• Erfahrung im szenariobasierten Testen, Testdesign oder in Annotation-Workflows;
• Erfahrung mit KI/LLM-Evaluation, Prompt-Validierung oder Agenten-Verhaltenstests;
• gewisse technische Unabhängigkeit (z.B. Python-Kenntnisse);
• Vertrautheit mit MCP / werkzeuggestützter Aufgabenausführung;
• Erfahrung in interdisziplinären Teams aus Produkt, Delivery und Technik.

Wer du bist

• Detailverliebt, aber auch in der Lage, das große Ganze zu sehen;
• Proaktiv, eigenständig und übernimmst echte Verantwortung für deine Arbeit;
• Starker Kommunikator, der komplexe Erkenntnisse in umsetzbare Einsichten verwandeln kann;
• Flexibel und motiviert, in verschiedenen Aufgaben und Projekten mitzuarbeiten;
• Überzeugt, dass Qualität nicht nur aus der Kontrolle von Arbeit besteht, sondern das ganze Produkt besser macht.