Für ein KI-Labor suchen wir einen KI-Agent-Evaluationsanalyst, um ein KI-Modell (Large Language Model - LLM) zu trainieren.
Du hilfst der KI, die Welt zu verstehen. Als Berater könntest du eingeladen werden, an Online-Projekten teilzunehmen, um das Modell in deinem Fachgebiet zu trainieren.
Diese flexible Rolle richtet sich sowohl an Experten, die eine Teilzeitbeschäftigung (mindestens ein paar Stunden pro Woche) suchen, als auch an diejenigen, die an Vollzeitmöglichkeiten interessiert sind
- Überprüfung von Evaluierungsaufgaben und Szenarien auf Logik, Vollständigkeit und Realitätsnähe.
- Identifikation von Inkonsistenzen, fehlenden Annahmen oder unklaren Entscheidungsstellen.
- Hilfe bei der Definition klarer erwarteter Verhaltensweisen (Goldstandards) für KI-Agenten.
- Annotation von Ursache-Wirkungs-Beziehungen, Denkpfaden und plausiblen Alternativen.
- Durchdenken komplexer Systeme und Richtlinien wie ein Mensch, um sicherzustellen, dass Agenten richtig getestet werden.
- Enge Zusammenarbeit mit QA, Autoren oder Entwicklern, um Verfeinerungen oder Abdeckung von Randfällen vorzuschlagen.