Opis
NVIDIA zatrudnia Starszego Inżyniera AI ds. Oceny, aby projektować i obsługiwać środowiska oraz potoki ewaluacji o znaczeniu decyzyjnym dla modeli przełomowych w deep learningu, w tym LLMs, RAG, agentów oraz modeli vision. Rola obejmuje opracowywanie nowych metodologii oceny, budowanie odtwarzalnej infrastruktury benchmarków i regresji, analizowanie wyników na dużą skalę oraz przekładanie sygnałów dotyczących dokładności na decyzje związane z wydaniami i badaniami. Kandydaci muszą posiadać odpowiednie zaawansowane wykształcenie, co najmniej sześć lat praktycznego doświadczenia w ocenie LLM lub multimodal AI, silne umiejętności statystyczne i w zakresie projektowania eksperymentów oraz doświadczenie w infrastrukturze ewaluacji, klastrach HPC i obciążeniach na dużą skalę.
