Projektdetail
Empfohlene Projekte
Autor für Evaluierungsszenarien (m/w/d)
KI-Evaluierungsberater (m/w/d)
Freiberuflicher Automobilingenieur (mit Python) - Qualitätssicherung / KI-Trainer
Vibe Coding Web Scraping Experte (m/w/d)
Freiberuflicher Cybersecurity-Berater für AI Red Teaming
KI-Berater - Data Science (m/w/d)
Entwicklung TM1 Planning Analytics Und Schnittstellen (m/w/d)
Senior Projektmanager Customer Interaction
Data Engineer (m/w/d)
Freelance Product Owner für Point Of Sale App
Adobe Experience Cloud Consultant (m/w/d)
ERP-Transformation Manager (m/w/d)
Senior Cloud Developer Typesript (m/w/d)
Experte für Prozessautomatisierung in Kanzleiumgebungen (m/w/d)
Inbetriebnahme- und Qualifizierungsingenieur (C&Q) (m/w/d)
Java IT-Architekt (m/w/d)
Freelance E-Ingenieur (m/w/d)
Auditor für soziale Compliance (m/w/d)
Managementberater (Senior Level) (m/w/d)
Cyber Security Consultant – Product Security & Regulatory Compliance (m/w/d)
Interim Leiter Rechnungswesen / Head Of (m/w/d)
Bilanzbuchhalter (m/w/d)
Bauleiter nach LBO - Civil und TGA (m/w/d)
Auditor – FSC® und PEFC Chain of Custody (m/w/d)
ISO 20121 Auditor (w/m/d)
Interim Staff Product Manager (m/w/d)
Sicherheits- und Gesundheitsschutzkoordinator (SiGeKo) und Sicherheitsfachkraft (SiFa) (m/w/d)
Leittechniker / Leittechnik-Spezialist (m/w/d)
Beratung im Bereich Tax Strategy
IT-Projekt Manager ISO 27.001 - Gap Closure (m/w/d)
Infor AS Consultant (m/w/d)
Frontend developer to HR platform with Angular experience
Autor für Evaluierungsszenarien (m/w/d)
Projekt Info
- Tagessatz290 - 640€
- Sprache
- Englisch(Verhandlungssicher)
- Englisch
- Remoteanteil100%
Beschreibung
Wir suchen jemanden, der realistische und strukturierte Evaluierungsszenarien für auf LLM basierende Agenten entwerfen kann. Du erstellst Testfälle, die menschliche Aufgaben simulieren, und definierst eine Gold-Standard-Verhaltensweise, mit der Agentenaktionen verglichen werden. Du sorgst dafür, dass jedes Szenario klar definiert, gut bewertet und einfach auszuführen sowie wiederzuverwenden ist. Du brauchst einen scharfen analytischen Verstand, Aufmerksamkeit fürs Detail und Interesse daran, wie KI-Agenten Entscheidungen treffen.
Obwohl jedes Projekt einzigartig ist, umfasst deine Arbeit typischerweise:
- Strukturierte Testszenarien basierend auf realen Aufgaben entwerfen
- Den goldenen Pfad und akzeptables Agentenverhalten festlegen
- Arbeitsschritte, erwartete Ausgaben und Randfälle annotieren
- Mit Entwicklern zusammenarbeiten, um deine Szenarien zu testen und zu verbessern
- Agentenausgaben überprüfen und Tests entsprechend anpassen
Anforderungen
- Bachelor- und/oder Masterabschluss in Informatik, Software Engineering, Data Science / Datenanalyse, Künstliche Intelligenz / Machine Learning, Computerlinguistik / Natural Language Processing (NLP), Informationssysteme oder anderen verwandten Bereichen.
- Erfahrung in QA, Softwaretests, Datenanalyse oder NLP-Annotation.
- Gutes Verständnis von Testdesign-Prinzipien (z. B. Reproduzierbarkeit, Abdeckung, Randfälle).
- Starke schriftliche Kommunikationsfähigkeiten in Englisch.
- Sicher im Umgang mit strukturierten Formaten wie JSON/YAML zur Szenariobeschreibung.
- Fähigkeit, erwartete Agentenverhalten (Gold-Pfade) und Bewertungslogik zu definieren.
- Grundkenntnisse in Python und JS.
- Neugierig und offen im Umgang mit KI-generierten Inhalten, Agenten-Logs und promptbasiertem Verhalten.
- Du bist bereit, neue Methoden zu lernen, kannst schnell zwischen Aufgaben und Themen wechseln und manchmal mit herausfordernden, komplexen Richtlinien arbeiten.
- Unser Freelance-Job ist vollständig remote, du brauchst nur Laptop, Internetverbindung, Zeit und Motivation für die Herausforderung.
Wünschenswert
- Erfahrung im Schreiben manueller oder automatisierter Testfälle.
- Vertrautheit mit LLM-Fähigkeiten und typischen Ausfallmodi.
- Verständnis von Bewertungsmetriken (Precision, Recall, Coverage, Reward-Funktionen).