Für ein KI-Labor suchen wir einen Analysten für die Bewertung von KI-Agenten, um ein KI-Modell (Large Language Model – LLM) zu trainieren.
Du hilfst der KI, die Welt zu verstehen. Als Berater:in wirst du möglicherweise eingeladen, an Online-Projekten teilzunehmen, um das Modell in deinem Fachgebiet zu trainieren.
Diese flexible Rolle richtet sich sowohl an Expert:innen, die eine Teilzeittätigkeit (mindestens ein paar Stunden pro Woche) suchen, als auch an alle, die an Vollzeiteinsätzen interessiert sind
- Überprüfung von Bewertungsaufgaben und Szenarien auf Logik, Vollständigkeit und Realismus.
- Erkennung von Widersprüchen, fehlenden Annahmen oder unklaren Entscheidungspunkten.
- Hilfe bei der Definition klarer erwarteter Verhaltensweisen (Goldstandards) für KI-Agenten.
- Annotationen von Ursache-Wirkungs-Beziehungen, Denkwegen und plausiblen Alternativen.
- Durchdenken komplexer Systeme und Richtlinien wie ein Mensch, um eine angemessene Prüfung der Agenten sicherzustellen.
- Enge Zusammenarbeit mit QA, Autor:innen oder Entwicklern, um Verfeinerungen oder Randfälle vorzuschlagen.