KI-Agenten-Bewertungsanalyst (m/w/d)

Wir suchen einen freiberuflichen Bewertungsanalysten für KI-Agenten, der die Verantwortung für Qualität, Struktur und Erkenntnisse im Projekt übernimmt. Diese Rolle geht weit über die Prüfung von Aufgaben hinaus – es geht um kritisches Denken, systemische Analyse und darum, auf großer Skala Klarheit, Zuverlässigkeit und Konsistenz sicherzustellen. Du arbeitest sowohl als aktiver Gutachter als auch als Analyst und kooperierst mit Fachexperten, Delivery Managern und Ingenieuren. Neben der Überprüfung von Ergebnissen sollst du das „Warum“ hinter der Arbeit verstehen, logische Lücken oder Inkonsistenzen aufdecken und sinnvolle Verbesserungen vorschlagen.

Dies ist eine flexible, wirkungsorientierte Position, in der du Raum hast, dich weiterzuentwickeln, Ideen einzubringen und mitzuprägen, wie Evaluation und Qualität im Projekt skaliert werden.

Diese Rolle eignet sich besonders für:

• Analysten, Forscher oder Berater mit ausgeprägten Strukturierungs- und Argumentationsfähigkeiten
• Junior-Produktmanager oder Strategen, die an KI- und Evaluationsarbeit interessiert sind
• Clevere Problemlöser (Studierende oder Berufseinsteiger), die gerne in Logik, Systeme und Randfälle eintauchen

Du brauchst keinen Programmierhintergrund. Entscheidend sind Neugier, intellektuelle Genauigkeit und die Fähigkeit, komplexe Abläufe präzise zu bewerten.

Was du tun wirst

• Vollständige Verantwortung für die QA-Pipeline bei Agentenbewertungsaufgaben übernehmen;
• Aufgaben und "Golden Paths" überprüfen und validieren, die von Szenarioautoren und Experten erstellt wurden;
• Logische Inkonsistenzen, unklare Anforderungen, versteckte Risiken und unrealistische Annahmen erkennen;
• Strukturiertes Feedback geben und Qualitätsabstimmung zwischen den Beteiligten sicherstellen;
• Neue QA-Teammitglieder schulen, einarbeiten und betreuen;
• Mit Fachexperten, Delivery Managern und Ingenieuren zusammenarbeiten, um Testklarheit und -abdeckung zu verbessern;
• QA-Checklisten, SOPs und Überprüfungsrichtlinien pflegen und optimieren;
• Zur Testplanung, Priorisierung und Definition von Qualitätsmaßstäben beitragen;
• Eigeninitiativ neue Ansätze, Tools und Prozesse vorschlagen, die Validierung und Analyse skalierbar machen.

Was du wissen solltest / können solltest

• Starke analytische und kritische Denkfähigkeiten;
• Hohe Genauigkeit und Zuverlässigkeit – deine Arbeit kann ohne zweite Prüfung vertraut werden;
• Erfahrung in manueller QA, Szenariovalidierung oder ähnlicher analytischer Arbeit;
• Souveräner Umgang mit strukturierten Formaten (JSON/YAML);
• Klare schriftliche Kommunikations- und Dokumentationsfähigkeiten;
• Fähigkeit, konstruktives Feedback zu geben und andere anzuleiten;
• In der Lage, mit verschiedenen Stakeholdern zusammenzuarbeiten: von Ingenieuren bis hin zu Director/VP-Ebene.

Wünschenswert

• Erfahrung mit szenariobasiertem Testen, Testdesign oder Annotierungs-Workflows;
• Erfahrung mit AI/LLM-Evaluation, Prompt-Validierung oder Agentenverhaltenstests;
• Technische Eigenständigkeit (z. B. Python-Kenntnisse);
• Vertrautheit mit MCP / toolgestützter Aufgabenausführung;
• Erfahrung in funktionsübergreifenden Teams aus Produkt, Delivery und Engineering.

Wer du bist

• Detailverliebt, aber auch in der Lage, das große Ganze zu sehen;
• Proaktiv, eigenständig und übernimmst echte Verantwortung für deine Arbeit;
• Starke Kommunikationsfähigkeit, die komplexe Erkenntnisse in umsetzbare Einsichten verwandelt;
• Flexibel und motiviert, bei verschiedenen Aufgaben und Projekten mitzuwirken;
• Du bist überzeugt, dass Qualität nicht nur das Prüfen von Arbeit ist, sondern das ganze Produkt besser macht.