Freelance Agent Evaluation Engineer
Please submit your CV in English and indicate your level of English proficiency.
Mindrift connects specialists with project-based AI opportunities for leading tech companies, focused on testing, evaluating, and improving AI systems. Participation is project-based, not permanent employment.
What this opportunity involves
While each project involves unique tasks, contributors may:
- Create structured test cases that simulate complex human workflows
- Define gold-standard behavior and scoring logic to evaluate agent actions
- Analyze agent logs, failure modes, and decision paths
- Work with code repositories and test frameworks to validate your scenarios
- Iterate on prompts, instructions, and test cases to improve clarity and difficulty
- Ensure that scenarios are production-ready, easy to run, and reusable
What we look for
This opportunity is a good fit for software engineers, open to part-time, non-permanent projects. Ideally, contributors will have:
- 3+ of software development experience with strong Python focus
- Experience with Git and code repositories
- Comfortable with structured formats like JSON/YAML for scenario description
- Understanding core LLM limitations (hallucinations, bias, context limits) and how these affect evaluation design
- Familiarity with Docker
- English proficiency - B2
How it works
Apply → Pass qualification(s) → Join a project → Complete tasks → Get paid
Project time expectations
Tasks for this project are estimated to take 6-10 hours to complete, depending on complexity. This is an estimate and not a schedule requirement; you choose when and how to work. Tasks must be submitted by the deadline and meet the listed acceptance criteria to be accepted.
Payment
- Paid contributions, with rates up to $50/hour*
- Fixed project rate or individual rates, depending on the project
- Some projects include incentive payments
*Note: Rates vary based on expertise, skills assessment, location, project needs, and other factors. Higher rates may be offered to highly specialized experts. Lower rates may apply during onboarding or non-core project phases. Payment details are shared per project.
Empfohlene Jobs
KFZ-Mechatroniker m/w/d in Zeitarbeit
Im Kundenauftrag suchen wir für ein renommiertes Unternehmen Sie als KFZ-Mechatroniker m/w/d in Zeitarbeit mit Übernahmeoption. Wir bieten Ihnen auch gut ausgestattete Wohnmöglichkeiten Au…
Praxismanager für (m/w/d) Allgemeinmedizin
MÜNCHEN // VOLL- ODER TEILZEIT // AB SOFORT Über Avi Medical Wir finden Allgemeinmedizin ist noch nicht im 21. Jahrhundert ankommen und möchten das in unseren Praxen ändern. Wie genau? Modernes…
Mitarbeiter Lagerlogistik (m/w/d)
DEINE AUFGABEN Kommissionierung Verpackung Be- und Entladung von Transporteinheiten Ein- und Auslagerung von Waren Einhaltung der Ordnung und Sauberkeit im Lager DEIN PROFIL Abgesc…
System Engineer (m/w/d) ITK, 100% remote
Unser Auftraggeber ist ein international erfolgreicher Anbieter von Kommunikations- und Kollaborationslösungen für die Healthcare-Branche. Damit die ITK -Lösungen reibungslos laufen, suchen wir Sie …
Gärtner m/w/d im Bereich Landschaftsbau in München
Für ein renommiertes Unternehmen suchen wir einen Gärtner m/w/d im Bereich Landschaftsbau in München. Die Option zur Übernahme ist gegeben. ~ Wir bieten Ihnen auch gut ausgestattete Wohnmöglich…
Elektroniker (m/w/d) für den Leistungsbereich Kundendienst
Hast du Lust, in einem richtig guten Team zu arbeiten? In dem sich alle Kollegen kompromisslos unterstützen? Wo Arbeitssicherheit an erster Stelle steht? Und wo trotz hohem Qualitätsanspruch auch der…
Embedded Softwareentwickler in C/C++ unter Linux
- Entwickeln von Embedded Linux Systemen - Verantwortlich für die Spezifikation, Implementierung und Design der Softwaresysteme - Erstellen von Steuergerätefunktionalitäten - Integrieren der Steuer…
Reinigungskraft Küche (m/w/d) - Nachtschicht
Am Gate zu den Bergen zum Gipfelstürmer werden Als größtes Airporthotel der Alpen bieten wir alle Vorzüge eines 5-Sterne Hotels und haben es uns zur Aufgabe gemacht unsere Gäste schon zwischen Ter…
Helfer m/w/d für Lagerarbeiten
Wir suchen im Raum München im Kundenauftrag einen Helfer m/w/d für Lagerarbeiten mit Übernahmeoption. Wir bieten Ihnen auch gut ausgestattete Wohnmöglichkeiten Aufgaben Sie unterstütze…
Rechtsanwaltsfachangestellte:r (m/w/d) - flexibel arbeiten, echt ankommen
Du hast genug von standardisierten Abläufen, fehlender Wertschätzung und ewiger Kontrolle? Dann bist Du bei uns genau richtig. Wir bieten Dir ein Umfeld, in dem Eigenverantwortung nicht nur erlaubt, s…