说明数据工程师将在 Databricks 和云平台上设计、开发并维护可扩展且可靠的数据管道,集成数据库、API、日志文件、流处理平台和外部提供商。该职位涵盖 ETL 和 ELT 开发、数据转换、治理、监控、性能优化、数据验证、报告,以及为分析、产品和机器学习工作负载提供支持。要求至少三年数据工程经验,具备 PySpark、Spark SQL、Databricks、Azure 和管道编排的实践经验,并了解 SQL、DevOps、CI/CD 和流处理技术。