Für ein KI-Labor suchen wir einen KI-Agent Evaluationsanalysten, um ein KI-Modell (Large Language Model - LLM) zu trainieren.
Du hilfst der KI, die Welt zu verstehen. Als Berater:in wirst du möglicherweise eingeladen, an Online-Projekten teilzunehmen, um das Modell in deinem Fachgebiet zu trainieren.
Diese flexible Rolle richtet sich sowohl an Expert:innen, die eine Teilzeitbeschäftigung (mindestens einige Stunden/Woche) suchen, als auch an jene, die an einer Vollzeittätigkeit interessiert sind
- Überprüfung von Evaluierungsaufgaben und -szenarien auf Logik, Vollständigkeit und Realismus.
- Erkennen von Inkonsistenzen, fehlenden Annahmen oder unklaren Entscheidungspunkten.
- Mithilfe bei der Definition klarer erwarteter Verhaltensweisen (Goldstandards) für KI-Agenten.
- Annotieren von Ursache-Wirkungs-Beziehungen, Denkpfaden und plausiblen Alternativen.
- Durchdenken komplexer Systeme und Richtlinien aus menschlicher Perspektive, um sicherzustellen, dass Agenten richtig getestet werden.
- Enges Zusammenarbeiten mit QA, Autor:innen oder Entwickler:innen, um Verbesserungen oder Abdeckung von Randfällen vorzuschlagen.