Beschreibung
NVIDIA sucht einen Senior-Ingenieur für die Bewertung von KI-Modellen, der entscheidungsreife Evaluierungsumgebungen und -pipelines für Frontier-LLMs, RAG, Agenten, Vision-Modelle und andere multimodale Systeme entwirft und betreibt. Zu den Aufgaben gehören die Entwicklung neuartiger Evaluierungsmethoden, der Aufbau reproduzierbarer Benchmark- und Regressionsinfrastrukturen, die Analyse umfangreicher Ergebnisse sowie die Übertragung von Genauigkeitssignalen in Entscheidungen zu Releases und Forschung. Bewerber benötigen einen einschlägigen weiterführenden Abschluss, mindestens sechs Jahre praktische Erfahrung mit der Evaluierung von LLMs oder multimodalen Systemen, ausgeprägte Kenntnisse in Statistik und Versuchsplanung sowie Erfahrung mit Evaluierungsinfrastrukturen, HPC-Clustern und umfangreichen Workloads.
