Beschreibung
Der QA-Engineer übernimmt die Messung, das Testen und die Verbesserung der KI-Produkte eines KI-Unternehmens. Die Rolle verbindet KI-Evaluierung, Softwareentwicklung und Produktqualität, indem Evaluierungsframeworks, Datasets, automatisierte Tests und Tools für LLM-gestützte Funktionen erstellt werden. Der Engineer arbeitet mit Engineering- und Produktteams zusammen, um KI-Fehlfunktionen zu identifizieren, Modell-Ausgaben zu analysieren, Ursachen zu ermitteln und die Erkenntnisse in messbare Verbesserungen zu überführen. Die Position erfordert einen starken Software- oder technischen Hintergrund, Python- oder eine vergleichbare Programmiererfahrung, Kenntnisse in LLM und generativer KI sowie Erfahrung beim Erstellen von Evaluierungs-Datasets, Testfällen und Regression-Suites.
