Projektdetail
Empfohlene Projekte
KI-Agenten-Evaluationsanalyst (m/w/d)
Wir suchen einen freiberuflichen Evaluationsanalysten für Agenten, der die Verantwortung für Qualität, Struktur und Erkenntnisse im gesamten Projekt übernimmt. Diese Rolle geht weit über das reine Überprüfen von Aufgaben hinaus – es geht um kritisches Denken, Systemanalyse und darum, Klarheit, Zuverlässigkeit und Konsistenz in großem Umfang sicherzustellen. Du arbeitest sowohl als praktischer Evaluator als auch als Analyst und kooperierst mit Fachexperten, Delivery Managern und Ingenieuren. Neben der Überprüfung der Ergebnisse sollst du das „Warum“ hinter der Arbeit verstehen, logische Lücken oder Inkonsistenzen erkennen und sinnvolle Verbesserungen vorschlagen.
Dies ist eine flexible, ergebnisorientierte Rolle, in der du Raum hast, dich weiterzuentwickeln, Ideen einzubringen und mitzugestalten, wie Evaluation und Qualität im Projekt skaliert werden.
Diese Rolle passt besonders gut zu:
- Analysten, Forschern oder Beratern mit starken Strukturierungs- und Argumentationsfähigkeiten
- Junior-Produktmanagern oder Strategen, die sich für KI und Evaluationsarbeit interessieren
- Smarten Problemlösern (Studierende oder Berufseinsteiger), die gerne in Logik, Systeme und Randfälle eintauchen
Du brauchst keinen Programmierhintergrund. Wichtig sind Neugier, intellektuelle Strenge und die Fähigkeit, komplexe Setups präzise zu bewerten.
Was dich erwartet
- Volle Verantwortung für die QA-Pipeline bei Agentenevaluationsaufgaben
- Überprüfung und Validierung von Aufgaben und Golden Paths, die von Szenario-Autoren und Experten erstellt wurden
- Erkennen von logischen Inkonsistenzen, vagen Anforderungen, versteckten Risiken und unrealistischen Annahmen
- Strukturierte Rückmeldungen geben und Qualität über alle Beteiligten hinweg sicherstellen
- Schulung, Einarbeitung und Mentoring neuer QA-Teammitglieder
- Zusammenarbeit mit Fachexperten, Delivery Managern und Ingenieuren zur Verbesserung von Testklarheit und -abdeckung
- Pflege und Verbesserung von QA-Checklisten, SOPs und Review-Richtlinien
- Beitrag zu Testplanung, Priorisierung und Qualitätskennzahlen
- Eigeninitiative bei Vorschlägen für neue Ansätze, Tools und Prozesse zur Skalierung von Validierung und Analyse
KI-Agent Evaluationsanalyst
Für ein KI-Labor suchen wir einen KI-Agent Evaluationsanalysten, um ein KI-Modell (Large Language Model - LLM) zu trainieren.
Du hilfst der KI, die Welt zu verstehen. Als Berater:in wirst du möglicherweise eingeladen, an Online-Projekten teilzunehmen, um das Modell in deinem Fachgebiet zu trainieren.
Diese flexible Rolle richtet sich sowohl an Expert:innen, die eine Teilzeitbeschäftigung (mindestens einige Stunden/Woche) suchen, als auch an jene, die an einer Vollzeittätigkeit interessiert sind
- Überprüfung von Evaluierungsaufgaben und -szenarien auf Logik, Vollständigkeit und Realismus.
- Erkennen von Inkonsistenzen, fehlenden Annahmen oder unklaren Entscheidungspunkten.
- Mithilfe bei der Definition klarer erwarteter Verhaltensweisen (Goldstandards) für KI-Agenten.
- Annotieren von Ursache-Wirkungs-Beziehungen, Denkpfaden und plausiblen Alternativen.
- Durchdenken komplexer Systeme und Richtlinien aus menschlicher Perspektive, um sicherzustellen, dass Agenten richtig getestet werden.
- Enges Zusammenarbeiten mit QA, Autor:innen oder Entwickler:innen, um Verbesserungen oder Abdeckung von Randfällen vorzuschlagen.
Neu
KI-Evaluationsberater (m/w/d)
Wir suchen eine analytisch und technisch orientierte Fachkraft, um:
- KI-Ergebnisse und -Prozesse zu bewerten
- Qualität, Genauigkeit und Zuverlässigkeit sicherzustellen
- Logische Fehler, Risiken und strukturelle Inkonsistenzen zu identifizieren
- Umsetzbare Erkenntnisse und Empfehlungen für das Team zu liefern
Ideale Kandidaten:
- Berater, Auditoren, Analysten, Datenforscher oder Business-/technische Analysten mit starkem logischem Denkvermögen
- Fachleute mit Neugier für KI, Prozessverbesserung und Qualitätsevaluation
- Problemlöser, die Spaß an der Analyse komplexer Systeme, Logik und Szenarien haben
Hauptverantwortlichkeiten:
- Leitung der Bewertung von KI-Ergebnissen und zugehörigen Prozessen
- Überprüfung von Aufgaben anhand erwarteter/idealer Szenarien; Erkennung von Lücken und Risiken
- Lieferung strukturierter, umsetzbarer Empfehlungen für Entwickler, Fachexperten und Manager
- Pflege und Verbesserung von Bewertungsrichtlinien, Checklisten und SOPs
- Vorschlag neuer Ansätze, Tools und Prozesse zur Verbesserung der KI-Bewertung
Freiberuflicher KI-Berater (Japanisch) (m/w/d)
Für unseren Kunden suchen wir einen japanischsprachigen KI-Berater:
Als Berater werden Sie möglicherweise eingeladen, an Online-Projekten teilzunehmen, um das Modell in Ihrem Fachgebiet zu trainieren.
Diese flexible Rolle richtet sich sowohl an Experten, die eine Teilzeittätigkeit (mindestens wenige Stunden pro Woche) suchen, als auch an Interessierte in Vollzeit.
Aufgaben:
- Sorgfältige Überprüfung der bereitgestellten Daten (Texte, Bilder oder Videos).
- Überprüfung der vom Entwicklerteam eingereichten Aufgaben und Sicherstellung der Qualitätssicherung/-kontrolle.
- Kennzeichnung oder Klassifizierung von Inhalten gemäß Projektvorgaben.
- Erkennen und Markieren von sachlich falschem, sensiblen, unangemessenen oder unklaren Material.
Freiberuflicher KI-Berater (Deutsch) (m/w/d)
Für unseren Kunden suchen wir einen deutschsprachigen KI-Berater:
Als Berater wirst du möglicherweise eingeladen, an Online-Projekten teilzunehmen, um das Modell in deinem Fachgebiet zu schulen.
Diese flexible Rolle richtet sich sowohl an Experten, die eine Teilzeittätigkeit (mindestens einige Stunden pro Woche) suchen, als auch an diejenigen, die an einer Vollzeitstelle interessiert sind.
Aufgaben:
- Überprüfen der bereitgestellten Daten (Text, Bilder oder Videos) sorgfältig.
- Prüfen der Aufgaben, die vom Entwicklerteam eingereicht werden, und Sicherstellung von Qualitätssicherung/-kontrolle.
- Kennzeichnen oder Klassifizieren von Inhalten nach Projektvorgaben.
- Erkennen und Markieren von sachlich falschem, sensiblen, unangemessenen oder unklaren Material.
Freiberuflicher Berater - KI-Schulung (portugiesischsprachig)
Für ein KI-Labor suchen wir portugiesischsprachige freiberufliche Berater, um ein KI-Modell (Large Language Model – LLM) in verschiedenen Bereichen zu trainieren:
Du hilfst der KI, die Welt zu verstehen. Als Berater wirst du möglicherweise in Online-Projekten eingeladen, das Modell in deinem Fachgebiet zu trainieren.
Diese flexible Rolle richtet sich sowohl an Expert:innen, die eine Teilzeitbeschäftigung (mindestens ein paar Stunden pro Woche) anstreben, als auch an diejenigen, die an Vollzeitchancen interessiert sind
Verantwortlichkeiten:
- Analysiere sorgfältig die vom KI bereitgestellten Daten in deinem Fachgebiet.
- Verbessere das Modell in deinem Fachgebiet.
- Überprüfe KI-Ergebnisse und stelle Qualitätssicherung/Qualitätskontrolle sicher.
- Kennzeichne oder klassifiziere Inhalte gemäß den Projektvorgaben.
Freiberuflicher KI-Berater (Koreanisch) (m/w/d)
Für unseren Kunden suchen wir einen Koreanisch sprechenden KI-Berater:
Als Berater wirst du möglicherweise zu Online-Projekten eingeladen, um das Modell in deinem Fachgebiet zu trainieren.
Diese flexible Rolle ermöglicht sowohl Experten, die eine Teilzeittätigkeit (mindestens wenige Stunden pro Woche) suchen, als auch solche, die an einer Vollzeitstelle interessiert sind.
Aufgaben:
- Überprüfe sorgfältig die bereitgestellten Daten (Text, Bilder oder Videos).
- Prüfe die vom Entwicklerteam eingereichten Aufgaben und stelle die Qualitätssicherung/-kontrolle sicher.
- Kennzeichne oder klassifiziere Inhalte gemäß den Projektvorgaben.
- Identifiziere und markiere sachlich falsche, sensible, unangemessene oder unklare Inhalte.
Testmanager (m/w/d)
Die Entwicklung und Qualitätssicherung des Data Layers umfasst dessen vollständige Bereitstellung durch die jeweilige Webanwendung. Der Data Layer bildet die zentrale Datengrundlage für die Analyse des Nutzerverhaltens sowie für personalisierte Inhalte während des Webseitenbesuchs. Zur Erhöhung von Zuverlässigkeit und Stabilität sollen automatisierte Tests eingesetzt werden, um manuelle Regressionstests deutlich zu reduzieren. Für diese Aufgabe wird ein Test Automation Engineer mit Schwerpunkt Playwright (Elastic) benötigt.
- Entwicklung und Implementierung von automatisierten End-to-End-Tests mit dem npm Paket @elastic/synthetics (Playwright) für Data Layer Tests.
- Analyse bestehender Testprozesse, Identifikation und Priorisierung von Automatisierungspotenzialen.
- Erstellung, Pflege und Optimierung von Testskripten unter Berücksichtigung aktueller Best Practices.
- Integration der automatisierten Tests in bestehende CI/CD-Pipelines (z. B. Jenkins, GitHub Actions), um eine durchgängige Testautomatisierung zu ermöglichen.
- Dokumentation der Testfälle, Testergebnisse und Testabdeckung in Tools wie Jira und Confluence.
- Beratung der Stakeholder bei der Auswahl und Einführung geeigneter. Teststrategien,Testwerkzeuge und Frameworks.
- Durchführung von Code-Reviews für Testautomatisierungsskripte um Qualität und Wartbarkeit zu verbessern.
- Erstellung von Entscheidungsvorlagen und Handlungsempfehlungen zur Weiterentwicklung der Testautomatisierung.
- Beratung bei der Fehleranalyse und -behebung im Rahmen der Testautomatisierung.
- Beratung beim Aufsetzen von Reports und Alertings mit Elastic Observability.
- Förderung der Nachvollziehbarkeit und Reproduzierbarkeit von Testergebnissen.
Freiberuflicher Automobilingenieur (mit Python) – Qualitätssicherung / KI-Trainer
Generative KI-Modelle entwickeln sich sehr schnell weiter, und eines unserer Ziele ist es, sie in die Lage zu versetzen, spezialisierte Fragen zu beantworten und komplexe Denkprozesse zu meistern.
Auch wenn jedes Projekt einzigartig ist, könnten deine Aufgaben typischerweise sein:
- Inhaltserstellung & -verfeinerung: Erstelle und verfeinere Inhalte, um Genauigkeit und Relevanz in verschiedenen Physikthemen sicherzustellen, und entwickle gleichzeitig Referenzen und Beispiele für Aufgaben.
- Gewinnung von Experten: Beurteile Qualifikationstests von Experten, um ihre Kompetenz sicherzustellen.
- Chat-Moderation: Unterstütze, indem du projektbezogene Fragen anderer Experten in Discord-Chats beantwortest, insbesondere solche, die sich auf die Projektleitlinien beziehen.
- Prüfung der Arbeit: Überprüfe und bewerte von anderen Experten erledigte Aufgaben, um sicherzustellen, dass sie den Projektleitlinien entsprechen. Gib konstruktives Feedback, verifiziere fachbezogene Informationen und bearbeite Inhalte bei Bedarf, um die Qualität zu steigern.
Freiberuflicher Mathematikexperte für KI-Modelltraining (m/w/d)
Ein KI-Labor sucht freiberufliche Mathematikexperten, um KI-Modelle zu bewerten. Das Ziel des Projekts ist, die Leistung, Genauigkeit und Zuverlässigkeit von KI-Modellen in mathematischen Anwendungen zu beurteilen. Die Rolle beinhaltet die enge Zusammenarbeit mit dem Entwicklungsteam, um sicherzustellen, dass die Modelle den Industriestandards entsprechen und umsetzbare Erkenntnisse liefern.
Dies ist eine Remote-Teilzeitstelle, die flexibel an deine Verfügbarkeit angepasst werden kann – von nur wenigen Stunden pro Woche bis hin zu Vollzeit.
Hauptaufgaben:
- KI-Modelle für mathematische Anwendungen bewerten.
- Modellausgaben analysieren und Feedback zur Verbesserung geben.
- Mit dem Entwicklungsteam zusammenarbeiten, um die Ausrichtung an Industriestandards sicherzustellen.
- Ergebnisse und Empfehlungen zur Modelloptimierung dokumentieren.
- Tests durchführen, um die Leistung und Zuverlässigkeit der Modelle zu validieren.
Freiberufliche Chemie-Expertin / Chemie-Experte für KI-Modellschulung (m/w/d)
Ein KI-Labor sucht freiberufliche Chemie-Expertinnen und -Experten, um KI-Modelle zu bewerten. Ziel des Projekts ist es, die Leistung, Genauigkeit und Zuverlässigkeit von KI-Modellen im chemischen Bereich zu prüfen. Die Rolle umfasst die enge Zusammenarbeit mit dem Entwicklungsteam, um sicherzustellen, dass die Modelle den Branchenstandards entsprechen und verwertbare Erkenntnisse liefern.
Dies ist eine remote Teilzeitstelle, die flexibel an deine Verfügbarkeit angepasst werden kann – von nur wenigen Stunden pro Woche bis hin zu Vollzeit.
Wichtige Aufgaben:
- KI-Modelle für chemische Anwendungen bewerten.
- Modellausgaben analysieren und Feedback zur Verbesserung geben.
- Mit dem Entwicklungsteam zusammenarbeiten, um die Einhaltung der Branchenstandards sicherzustellen.
- Ergebnisse und Empfehlungen zur Modelloptimierung dokumentieren.
- Tests durchführen, um Modellleistung und Zuverlässigkeit zu validieren.
Freelance Physik-Experte für KI-Modell-Training (m/w/d)
Ein KI-Labor sucht freiberufliche Physik-Expert*innen, um KI-Modelle zu evaluieren. Das Ziel des Projekts ist es, die Leistung, Genauigkeit und Zuverlässigkeit von KI-Modellen im physikalischen Kontext zu bewerten. Die Rolle beinhaltet die enge Zusammenarbeit mit dem Entwicklungsteam, um sicherzustellen, dass die Modelle den Branchenstandards entsprechen und umsetzbare Erkenntnisse liefern.
Dies ist eine Remote-Teilzeitstelle, die flexibel an Ihre Verfügbarkeit angepasst werden kann – von nur wenigen Stunden pro Woche bis hin zu Vollzeit.
Hauptaufgaben:
- KI-Modelle für Physikanwendungen evaluieren.
- Modellausgaben analysieren und Feedback zur Verbesserung geben.
- Mit dem Entwicklungsteam zusammenarbeiten, um die Einhaltung der Branchenstandards sicherzustellen.
- Ergebnisse und Empfehlungen zur Modelloptimierung dokumentieren.
- Tests durchführen, um die Modellleistung und -zuverlässigkeit zu validieren.
Freiberuflicher KI-Berater (Chinesisch) (m/w/d)
Für unseren Kunden suchen wir einen chinesischsprachigen KI-Berater:
Als Berater wirst du möglicherweise eingeladen, an Online-Projekten teilzunehmen, um das Modell in deinem Fachgebiet zu trainieren.
Diese flexible Rolle richtet sich sowohl an Experten, die eine Teilzeittätigkeit (mindestens wenige Stunden pro Woche) suchen, als auch an solche, die an einer Vollzeitstelle interessiert sind.
Aufgaben:
- Prüfe sorgfältig die bereitgestellten Daten (Text, Bilder oder Videos).
- Überprüfe die Aufgaben, die vom Entwicklerteam eingereicht werden, und sorge für Qualitätssicherung/-kontrolle.
- Kennzeichne oder klassifiziere Inhalte gemäß den Projektvorgaben.
- Identifiziere und markiere faktisch falsches, sensibles, unangemessenes oder unklar formuliertes Material.
Freiberuflicher Bauingenieur mit Python-Erfahrung (m/w/d)
Ein Unternehmen sucht freiberufliche Bauingenieure, die KI-Modelle bewerten. Ziel des Projekts ist es, Leistung, Genauigkeit und Zuverlässigkeit von KI-Modellen im Bauwesen zu prüfen. Die Rolle umfasst eine enge Zusammenarbeit mit dem Entwicklungsteam, um sicherzustellen, dass die Modelle den Branchenstandards entsprechen und umsetzbare Erkenntnisse liefern.
Hauptverantwortlichkeiten:
- Bewertung von KI-Modellen für Bauingenieur-Anwendungen.
- Analyse der Modellausgaben und Feedback zur Verbesserung.
- Zusammenarbeit mit dem Entwicklungsteam zur Einhaltung der Branchenstandards.
- Dokumentation von Ergebnissen und Empfehlungen zur Modelloptimierung.
- Durchführung von Tests zur Überprüfung der Modellleistung und -zuverlässigkeit.
Freiberuflicher Elektroingenieur mit Python-Erfahrung (m/w/d)
Generative KI-Modelle verbessern sich sehr schnell, und eines unserer Ziele ist es, sie in die Lage zu versetzen, spezialisierte Fragen zu beantworten und komplexe Schlussfolgerungsfähigkeiten zu erreichen.
Obwohl jedes Projekt einzigartig ist, könnten Ihre typischen Aufgaben sein:
- Inhaltserstellung & -verfeinerung: Inhalte erstellen und verfeinern, um Genauigkeit und Relevanz in verschiedenen Physikthemen sicherzustellen, und gleichzeitig Referenzen und Beispiele für Aufgaben entwickeln.
- Expertenakquise: Qualifikationstests von Experten bewerten und deren Kompetenz sicherstellen.
- Chat-Moderation: Unterstützung bieten, indem Sie projektbezogene Fragen anderer Experten in Discord-Chats beantworten, insbesondere solche zu Projektleitlinien.
- Arbeit prüfen: Aufgaben prüfen und bewerten, die von anderen Experten abgeschlossen wurden, um sicherzustellen, dass sie den Projektleitlinien entsprechen. Konstruktives Feedback geben, fachbezogene Informationen überprüfen und Inhalte bei Bedarf bearbeiten, um die Qualität zu verbessern.
Neu
Freiberuflicher Maschinenbauingenieur mit Python-Erfahrung (m/w/d)
Für ein AI-Labor suchen wir einen Maschinenbauingenieur mit Python-Erfahrung, um ein AI-Modell (Large Language Model – LLM) zu trainieren.
GenAI-Modelle entwickeln sich sehr schnell, und eines unserer Ziele ist es, sie in die Lage zu versetzen, spezialisierte Fragen zu beantworten und komplexe Denkaufgaben zu bewältigen.
Wenn du dabei bist, hast du die Möglichkeit, an diesen Projekten mitzuwirken. Auch wenn jedes Projekt einzigartig ist, könntest du typischerweise:
- Content-Erstellung & Verfeinerung: Erstelle und verfeinere Inhalte, um Genauigkeit und Relevanz in verschiedenen Themen der Maschinenbauingenieurwissenschaften sicherzustellen, und entwickle Referenzen und Beispiele für Aufgaben.
- Expertengewinnung: Beurteile Qualifikationstests von Expert:innen und stelle ihre Kompetenz sicher.
- Chat-Moderation: Unterstütze, indem du projektbezogene Fragen von Expert:innen in Discord-Chats beantwortest, insbesondere solche zu Projektleitfäden.
- Prüfung der Arbeit: Überprüfe und evaluiere von anderen Expert:innen erledigte Aufgaben, um sicherzustellen, dass sie den Projektleitfäden entsprechen. Gib konstruktives Feedback, prüfe fachliche Informationen und bearbeite Inhalte bei Bedarf, um die Qualität zu verbessern.
Freiberuflicher Kotlin-Entwickler (m/w/d)
Für ein AI-Lab suchen wir einen Kotlin-Entwickler, der ein KI-Modell (Large Language Model – LLM) trainiert.
Du hilfst der KI, die Welt zu verstehen. Als Berater wirst du möglicherweise zu Online-Projekten eingeladen, um das Modell in deinem Fachbereich zu trainieren.
Diese flexible Rolle ist sowohl für Experten gedacht, die in Teilzeit (mindestens wenige Stunden pro Woche) mitarbeiten wollen, als auch für alle, die eine Vollzeitstelle suchen.
- Code-Generierung und Code-Review
- Prompt-Bewertung und komplexe Datenannotationen
- Training und Evaluation von Large Language Models
- Benchmarking und agentenbasierte Code-Ausführung in isolierten Umgebungen
- Arbeiten mit verschiedenen Programmiersprachen
- Anpassen von Richtlinien für neue Bereiche und Anwendungsfälle
- Einhaltung projektspezifischer Vorgaben und Anforderungen
- Zusammenarbeit mit Projektleitern, Solution Engineers und Supply Managern an komplexen oder experimentellen Projekten
Freiberuflicher Rust-Entwickler (m/w/d)
Für ein KI-Lab suchen wir Rust-Entwickler, um ein KI-Modell (Large Language Model - LLM) zu trainieren.
Du hilfst der KI, die Welt zu verstehen. Als Berater:in kannst du eingeladen werden, an Online-Projekten teilzunehmen, um das Modell in deinem Fachgebiet zu trainieren.
Diese flexible Rolle richtet sich sowohl an Expert:innen, die eine Teilzeit-Beteiligung (mindestens ein paar Stunden pro Woche) suchen, als auch an jene, die an einer Vollzeitstelle interessiert sind.
- Codegenerierung und Code-Review
- Bewertung von Prompts und komplexe Datenannotation
- Training und Bewertung großer Sprachmodelle
- Benchmarking und agentenbasierte Code-Ausführung in isolierten Umgebungen
- Arbeit mit mehreren Programmiersprachen (Python, JavaScript/TypeScript, Rust, SQL, usw.)
- Anpassen von Richtlinien für neue Bereiche und Anwendungsfälle
- Befolgen projektspezifischer Vorgaben und Anforderungen
- Zusammenarbeit mit Projektleitern, Solution Engineers und Beschaffungsmanagern bei komplexen oder experimentellen Projekten
Freiberuflicher Physik-Experte (mit Python) - Qualitätssicherung / KI-Trainer
Generative KI-Modelle entwickeln sich sehr schnell weiter, und eines unserer Ziele ist es, sie in die Lage zu versetzen, spezialisierte Fragen zu beantworten und komplexe Schlussfolgerungen zu ziehen.
Obwohl jedes Projekt einzigartig ist, könnten deine Aufgaben typischerweise sein:
- Content-Erstellung & -Verfeinerung: Inhalte erstellen und überarbeiten, um Genauigkeit und Relevanz in verschiedenen physikalischen Themen sicherzustellen, und dabei Referenzen und Aufgabenbeispiele entwickeln.
- Expertenakquise: Qualifikationstests von Experten bewerten und ihre Kompetenz sicherstellen.
- Chat-Moderation: Unterstützung bieten, indem du projektbezogene Fragen anderer Experten in Discord beantwortest, insbesondere zu den Projekt-Richtlinien.
- Arbeiten prüfen: Aufgaben anderer Experten überprüfen und bewerten, um sicherzustellen, dass sie den Projekt-Richtlinien entsprechen. Konstruktives Feedback geben, fachliche Informationen verifizieren und Inhalte bei Bedarf bearbeiten, um die Qualität zu verbessern.
Chemiker mit Python-Erfahrung (m/w/d)
GenAI-Modelle verbessern sich sehr schnell, und eines unserer Ziele ist, sie in die Lage zu versetzen, spezialisierte Fragen zu beantworten und komplexe Denkaufgaben zu meistern. Wenn du als AI-Tutor für Chemie zur Plattform kommst, hast du die Möglichkeit, an diesen Projekten mitzuarbeiten.
Obwohl jedes Projekt einzigartig ist, könntest du typischerweise:
- Prompts erstellen, die die KI herausfordern.
- Umfassende Bewertungskriterien festlegen, um die Genauigkeit der Antworten der KI zu überprüfen.
- Die Antworten des Modells anhand deines Fachwissens korrigieren.
Adobe Target Consultant (m/w/d)
Die Abteilung Digital Analytics nutzt die Adobe Experience Cloud zur Umsetzung personalisierter Nutzererlebnisse. Ziel ist die Steigerung der Conversion Rates und Verbesserung der Customer Experience durch gezielte Personalisierung und Testing. Die technische Umsetzung erfolgt eigenständig durch spezialisierte Consultants.
- Konzeption und technische Umsetzung von personalisierten Nutzererlebnissen mit Adobe Target
- Implementierung von A/B- und Multivariaten Tests inkl. Qualitätssicherung in Live-Umgebungen
- Integration von Adobe Target in komplexe Systemlandschaften unter Einbindung von Adobe Experience Platform und Adobe Experience Manager
- Entwicklung von Targeting-Logiken auf Basis von Segmenten, Echtzeitdaten und Nutzerverhalten
- Beratung zu neuen Features und Best Practices innerhalb der Adobe Experience Cloud
- Erstellung technischer Entscheidungsvorlagen zur Weiterentwicklung der Personalisierungsstrategie
- Dokumentation und Übergabe der entwickelten Lösungen in Confluence und vergleichbaren Tools
- Aufbereitung technischer Unterlagen für den Datenschutz, insbesondere Datenflussdiagramme
- Beratung zur DSGVO-konformen Nutzung von Adobe Target und angrenzenden Systemen
- Durchführung von Workshops zur Einführung von Adobe Target
Frontend developer to HR platform with Angular experience
Reach out to us if you are interested in working with us on the project.
Registriere dich um Zugang zu weiteren spannenden Projekten zu erhalten, die deinen Fähigkeiten und Vorlieben entsprechen!
KI-Agenten-Evaluationsanalyst (m/w/d)
Industrie
Informationstechnologie (IT)
Bereich
Qualitätssicherung
Projekt Info
- Dauer08.12.2025 - 04.04.2026
- AuslastungAb 95%
- Tagessatz200 - 320€
- StandortAmsterdam, Niederlande
- SprachenWichtig:
- Deutsch(Verhandlungssicher)
Wünschenswert:- Englisch(Verhandlungssicher)
- Deutsch
- RemoteanteilAb 95%
Beschreibung
Wir suchen einen freiberuflichen Evaluationsanalysten für Agenten, der die Verantwortung für Qualität, Struktur und Erkenntnisse im gesamten Projekt übernimmt. Diese Rolle geht weit über das reine Überprüfen von Aufgaben hinaus – es geht um kritisches Denken, Systemanalyse und darum, Klarheit, Zuverlässigkeit und Konsistenz in großem Umfang sicherzustellen. Du arbeitest sowohl als praktischer Evaluator als auch als Analyst und kooperierst mit Fachexperten, Delivery Managern und Ingenieuren. Neben der Überprüfung der Ergebnisse sollst du das „Warum“ hinter der Arbeit verstehen, logische Lücken oder Inkonsistenzen erkennen und sinnvolle Verbesserungen vorschlagen.
Dies ist eine flexible, ergebnisorientierte Rolle, in der du Raum hast, dich weiterzuentwickeln, Ideen einzubringen und mitzugestalten, wie Evaluation und Qualität im Projekt skaliert werden.
Diese Rolle passt besonders gut zu:
- Analysten, Forschern oder Beratern mit starken Strukturierungs- und Argumentationsfähigkeiten
- Junior-Produktmanagern oder Strategen, die sich für KI und Evaluationsarbeit interessieren
- Smarten Problemlösern (Studierende oder Berufseinsteiger), die gerne in Logik, Systeme und Randfälle eintauchen
Du brauchst keinen Programmierhintergrund. Wichtig sind Neugier, intellektuelle Strenge und die Fähigkeit, komplexe Setups präzise zu bewerten.
Was dich erwartet
- Volle Verantwortung für die QA-Pipeline bei Agentenevaluationsaufgaben
- Überprüfung und Validierung von Aufgaben und Golden Paths, die von Szenario-Autoren und Experten erstellt wurden
- Erkennen von logischen Inkonsistenzen, vagen Anforderungen, versteckten Risiken und unrealistischen Annahmen
- Strukturierte Rückmeldungen geben und Qualität über alle Beteiligten hinweg sicherstellen
- Schulung, Einarbeitung und Mentoring neuer QA-Teammitglieder
- Zusammenarbeit mit Fachexperten, Delivery Managern und Ingenieuren zur Verbesserung von Testklarheit und -abdeckung
- Pflege und Verbesserung von QA-Checklisten, SOPs und Review-Richtlinien
- Beitrag zu Testplanung, Priorisierung und Qualitätskennzahlen
- Eigeninitiative bei Vorschlägen für neue Ansätze, Tools und Prozesse zur Skalierung von Validierung und Analyse
Anforderungen
Was du mitbringen solltest / können musst
- Starke analytische und kritische Denkfähigkeiten
- Detailgenauigkeit und Zuverlässigkeit – auf deine Arbeit kann man sich ohne Nachkontrolle verlassen
- Erfahrung in manueller QA, Szenariovalidierung oder ähnlicher analytischer Arbeit
- Sicherer Umgang mit strukturierten Formaten (JSON/YAML)
- Klare schriftliche Kommunikations- und Dokumentationsfähigkeiten
- Fähigkeit, konstruktives Feedback zu geben und andere anzuleiten
- Kompetenz im Umgang mit verschiedenen Stakeholdern: von Ingenieuren bis hin zu Direktoren/VPs
Nice to have
- Erfahrung in szenariobasierter Testung, Testdesign oder Annotation-Workflows
- Erfahrung mit AI/LLM-Evaluation, Prompt-Validierung oder Agentenverhaltenstests
- Technische Eigenständigkeit (z.B. Python-Kenntnisse)
- Vertrautheit mit MCP-/toolbasierten Task-Executions
- Erfahrung in funktionsübergreifenden Teams aus Produkt, Delivery und Engineering
Wer du bist
- Detailverliebt, siehst aber auch das große Ganze
- Proaktiv, selbstständig und übernimmst echte Verantwortung für deine Arbeit
- Starke Kommunikationsfähigkeiten, um komplexe Erkenntnisse in umsetzbare Insights zu übersetzen
- Flexibel und motiviert, in verschiedenen Aufgaben und Projekten mitzuarbeiten
- Du glaubst, Qualität bedeutet nicht nur Kontrolle, sondern das Produkt insgesamt besser zu machen.