Für ein AI-Lab suchen wir einen KI-Agenten-Bewertungsanalysten, um ein KI-Modell (Large Language Model – LLM) zu trainieren.
Du hilfst der KI, die Welt zu verstehen. Als Berater*in wirst du möglicherweise eingeladen, an Online-Projekten teilzunehmen, um das Modell in deinem Fachgebiet zu trainieren.
Diese flexible Rolle eignet sich sowohl für Expert*innen, die eine Teilzeitbeschäftigung (mindestens einige Stunden pro Woche) suchen, als auch für diejenigen, die an Vollzeitmöglichkeiten interessiert sind
- Bewertung von Evaluierungsaufgaben und Szenarien hinsichtlich Logik, Vollständigkeit und Realismus.
- Identifizierung von Inkonsistenzen, fehlenden Annahmen oder unklaren Entscheidungspunkten.
- Mithilfe bei der Definition klarer erwarteter Verhaltensweisen (Goldstandards) für KI-Agenten.
- Markierung von Ursache-Wirkungs-Beziehungen, Denkpfaden und plausiblen Alternativen.
- Durchdenken komplexer Systeme und Richtlinien wie ein Mensch, um sicherzustellen, dass Agenten richtig getestet werden.
- Enge Zusammenarbeit mit QA, Autorinnen oder Entwicklerinnen, um Verbesserungen oder die Abdeckung von Randfällen vorzuschlagen.