Projektdetail
Empfohlene Projekte
Autor für Evaluierungsszenarien (m/w/d)
KI-Evaluationsberater (m/w/d)
Freiberuflicher Fahrzeugingenieur (mit Python) - Qualitätssicherung / KI-Trainer
Freiberuflicher Maschinenbauingenieur mit Python-Erfahrung (m/w/d)
KI-Berater - Machine Learning (m/w/d)
KI-Berater für Vibe Coding (m/w/d)
Freiberuflicher Cybersicherheitsberater für AI Red Teaming
KI-Berater - Data Science (m/w/d)
Freiberuflicher Redakteur (m/f/d)
Entwickler für Consent Management Implementierung (m/w/d)
Freiberuflicher Product Manager für Android-App (m/w/d)
Projektleiter Zeitschriften / Magazinerstellung (m/w/d)
Senior Projektmanager Kundeninteraktion
Entwicklung TM1 Planning Analytics Und Schnittstellen (m/w/d)
Data Engineer (m/w/d)
Senior Web Developer (m/f/d)
Fullstack-Entwickler (m/w/d)
Freiberuflicher Product Owner für Point-of-Sale-App
Adobe Experience Cloud Consultant (m/w/d)
IT Projektleiter ServiceNow (Senior)
Senior Faktor 10 Entwickler (IPS / IPM) (m/w/d)
ERP-Transformation Manager (m/w/d)
Senior Cloud Developer Typesript (m/w/d)
Sales Manager für ein Medienunternehmen (m/f/d)
Commissioning- und Qualifizierungsingenieur (m/w/d)
Account Manager B2B für ein Medienunternehmen (m/f/d)
Java IT-Architekt (m/w/d)
Freelance E-Ingenieur (m/w/d)
Projektmanager Brand Guardianship (m/w/d)
Freelance Post-Merger-Integration Berater mit starkem Tech- und Commercial-Fokus (m/w/d)
Managementberater (Senior) (m/w/d)
Frontend developer to HR platform with Angular experience
Autor für Evaluierungsszenarien (m/w/d)
Projekt Info
- Tagessatz290 - 640€
- Sprache
- Englisch(Verhandlungssicher)
- Englisch
- Remoteanteil100%
Beschreibung
Wir suchen jemanden, der realistische und strukturierte Evaluierungsszenarien für auf LLM basierende Agenten entwerfen kann. Du erstellst Testfälle, die menschliche Aufgaben simulieren, und definierst eine Gold-Standard-Verhaltensweise, mit der Agentenaktionen verglichen werden. Du sorgst dafür, dass jedes Szenario klar definiert, gut bewertet und einfach auszuführen sowie wiederzuverwenden ist. Du brauchst einen scharfen analytischen Verstand, Aufmerksamkeit fürs Detail und Interesse daran, wie KI-Agenten Entscheidungen treffen.
Obwohl jedes Projekt einzigartig ist, umfasst deine Arbeit typischerweise:
- Strukturierte Testszenarien basierend auf realen Aufgaben entwerfen
- Den goldenen Pfad und akzeptables Agentenverhalten festlegen
- Arbeitsschritte, erwartete Ausgaben und Randfälle annotieren
- Mit Entwicklern zusammenarbeiten, um deine Szenarien zu testen und zu verbessern
- Agentenausgaben überprüfen und Tests entsprechend anpassen
Anforderungen
- Bachelor- und/oder Masterabschluss in Informatik, Software Engineering, Data Science / Datenanalyse, Künstliche Intelligenz / Machine Learning, Computerlinguistik / Natural Language Processing (NLP), Informationssysteme oder anderen verwandten Bereichen.
- Erfahrung in QA, Softwaretests, Datenanalyse oder NLP-Annotation.
- Gutes Verständnis von Testdesign-Prinzipien (z. B. Reproduzierbarkeit, Abdeckung, Randfälle).
- Starke schriftliche Kommunikationsfähigkeiten in Englisch.
- Sicher im Umgang mit strukturierten Formaten wie JSON/YAML zur Szenariobeschreibung.
- Fähigkeit, erwartete Agentenverhalten (Gold-Pfade) und Bewertungslogik zu definieren.
- Grundkenntnisse in Python und JS.
- Neugierig und offen im Umgang mit KI-generierten Inhalten, Agenten-Logs und promptbasiertem Verhalten.
- Du bist bereit, neue Methoden zu lernen, kannst schnell zwischen Aufgaben und Themen wechseln und manchmal mit herausfordernden, komplexen Richtlinien arbeiten.
- Unser Freelance-Job ist vollständig remote, du brauchst nur Laptop, Internetverbindung, Zeit und Motivation für die Herausforderung.
Wünschenswert
- Erfahrung im Schreiben manueller oder automatisierter Testfälle.
- Vertrautheit mit LLM-Fähigkeiten und typischen Ausfallmodi.
- Verständnis von Bewertungsmetriken (Precision, Recall, Coverage, Reward-Funktionen).