Deine Mission

Du baust mit uns eine standardisierte Testing-Umgebung für unsere AI-Lösung auf – damit unser System zuverlässig, nachvollziehbar und messbar das tut, was es soll. Du arbeitest eng mit dem Engineering- und Product-Team zusammen und wirst dabei vom AI Engineering Lead begleitet.

Aufgaben

Deine Aufgaben

Testing-Infrastruktur mitgestalten – Aufbau und Pflege unserer Testumgebung für AI-Agenten (u. a. mit PyTest und OpenTelemetry)
Modell-Unternehmen entwickeln – realistische Beispiel-Unternehmen in unserer Datenbank (PostgreSQL) anlegen, die echte Kundensituationen widerspiegeln und belastbare Testszenarien ermöglichen
Qualitätssicherung – gewünschtes und ungewünschtes Systemverhalten unserer AI-Agenten (LangGraph / LangChain) und RAG-Pipeline (Weaviate) systematisch aufdecken und nachvollziehbar machen
Evaluation Suite aufbauen – erwartetes Systemverhalten gemeinsam mit dem Product-Team definieren und in automatisierte Tests umsetzen – inkl. Vergleich verschiedener LLM-Anbieter und Modelle

Qualifikation

Das bringst du mit

Must-haves:

Laufendes Studium (z. B. AI/ML, Informatik, Kognitionswissenschaften o. Ä.)
Grundlegende Programmierkenntnisse – du kannst Code lesen und verstehen
Grundverständnis von generativer KI (LLMs, Prompting, typische Stärken und Schwächen)
Strukturiertes, analytisches Denken
Sehr gute Englischkenntnisse (Arbeitssprache); gute Deutschkenntnisse von Vorteil

Nice-to-have:

Erste Erfahrung mit Python und/oder Testing-Frameworks
Interesse an oder Erfahrung mit RAG-Systemen, Prompt Engineering oder LLM-Evaluation

Benefits

Was dich bei uns erwartet

Echte Ownership – deine Tests haben direkten Einfluss auf die Produktqualität
Lernen im Team – du arbeitest direkt mit Product und Engineering zusammen und wirst vom AI Engineering Lead begleitet
Internationales Umfeld – ein Team mit Eigenverantwortung und AI-First-Mindset
Flexibilität – 20 h/Woche, frei einteilbar, remote-friendly
Perspektive – Möglichkeit, deine Abschlussarbeit thematisch an deine Arbeit bei uns anzuknüpfen, und Chance, mit uns zu wachsen

Schick uns deinen Lebenslauf und ein paar Sätze dazu, warum dich AI-Testing interessiert. Optional: Projekte oder Code-Beispiele.

Job recommendations