Beskrivning
Lovable söker en data scientist som ska ansvara för att mäta och förbättra dess AI-agent. Rollen fokuserar på att definiera kvalitetsmått för agenten, bygga utvärderingssystem och ramverk för experiment, använda agentspår och telemetri för att identifiera försämringar samt omsätta insikter i korrigeringar tillsammans med agentutvecklingsteamet. Rollen kräver erfarenhet av eller ett starkt intresse för utvärdering och observerbarhet av LLM:er, samt SQL, Python, tillämpad statistik, experimentering och A/B-testning. Tjänsten innebär nära samarbete med ingenjörer och användning av tekniker som Braintrust, OTEL, BigQuery, PubSub, GCP och Hex.
