Für ein KI-Labor suchen wir einen KI-Agenten-Bewertungsanalysten, um ein KI-Modell (Large Language Model – LLM) zu trainieren.
Du hilfst der KI, die Welt zu verstehen. Als Berater wirst du möglicherweise eingeladen, an Online-Projekten teilzunehmen, um das Modell in deinem Fachgebiet zu trainieren.
Diese flexible Rolle eignet sich sowohl für Experten, die eine Teilzeit-Bindung (mindestens ein paar Stunden pro Woche) suchen, als auch für diejenigen, die an Vollzeitmöglichkeiten interessiert sind
- Überprüfung von Evaluierungsaufgaben und Szenarien auf Logik, Vollständigkeit und Realismus.
- Identifizieren von Inkonsistenzen, fehlenden Annahmen oder unklaren Entscheidungspunkten.
- Mithilfe bei der Definition klarer erwarteter Verhaltensweisen (Goldstandards) für KI-Agenten.
- Annotieren von Ursache-Wirkungs-Beziehungen, Denkpfaden und plausiblen Alternativen.
- Durchdenken komplexer Systeme und Richtlinien aus menschlicher Sicht, um sicherzustellen, dass Agenten richtig getestet werden.
- Enge Zusammenarbeit mit QA, Autoren oder Entwicklern, um Verbesserungen oder Abdeckung von Randfällen vorzuschlagen.