Описание
Salmon нанимает инженера по данным для создания и сопровождения конвейеров данных и архитектуры lakehouse для своей финтех-платформы. В обязанности входят пакетные и потоковые конвейеры на Databricks и Apache Spark в AWS, проектирование lakehouse на S3 и Delta Lake, обеспечение надежности конвейеров ETL/ELT и оптимизация затрат, настройка производительности Spark, инфраструктура и безопасность Databricks, а также управление данными с помощью Unity Catalog. Для этой должности необходим практический опыт работы с Databricks и Spark, знание Python и SQL, а также умение писать код, пригодный для тестирования; опыт работы с инфраструктурой как кодом будет преимуществом. Основной формат работы — гибридный; для подходящих должностей доступна полностью удаленная работа. Офис находится в Bonifacio Global City, Манила.
