Beschreibung
NVIDIA stellt einen Senior AI Evaluation Engineer ein, um entscheidungsreife Bewertungsumgebungen und Pipelines für Frontier-Deep-Learning-Modelle zu entwerfen und zu betreiben, einschließlich LLMs, RAG, Agenten und Vision-Modelle. Die Rolle umfasst die Entwicklung neuartiger Evaluationsmethoden, den Aufbau reproduzierbarer Benchmark- und Regressions-Infrastruktur, die Analyse großskaliger Ergebnisse und die Übersetzung von Genauigkeitssignalen in Release- und Forschungsentscheidungen. Kandidaten benötigen einen einschlägigen fortgeschrittenen Abschluss, mindestens sechs Jahre praktische Erfahrung in der Bewertung von LLMs oder multimodaler KI, starke Fähigkeiten in Statistik und Versuchsdesign sowie Erfahrung mit Evaluationsinfrastruktur, HPC-Clustern und großskaligen Workloads.
