职位概述
- 工作职责：1、基于公司业务需要，建设和设计数据仓库及数据模型，维护与完善数据模型各类信息； 2、负责大数据资产管理、集群治理的方案设计与落地 3、负责数据仓库设计，以及数据ETL的设计、开发与性能优化； 4、负责核心数据仓库模型代码开发，跟进ETL的完成。负责接入源系统数据的脚本开发、数据测试与验证、以及调度开发等工作； 5、跟踪、监测、维护及优化数据模型，确保数据模型被有效使用
岗位要求：1、熟悉数据资产管理、集群治理、数据仓库和数据模型建设的相关技术细节； 2、熟悉 Hadoop，Hive，Spark等一种以上大数据处理工具和技术， 有实际大数据开发、处理经验；具备编写、优化复杂SQL的能力； 3、负责过大型数据平台或数据仓库设计，具有扎实的大数据和数据仓库的理论功底；掌握一定元数据管理方法论、元数据管理设计； 4、掌握一定的数据质量管理方法论、评估模型设计、质量报表设计，能够根据数据质量要求制定数据质量探查规则并进行实施； 5、逻辑思维能力强，对数据敏感，有较强的学习能力和创新思维； 6、5年以上大数据开发、分析相关项目经验； 7、熟悉sparkStreaming、flink，且有实时项目开发经验，能独立完成开发任务； 8、有互联网数据研发、海量数据处理分析、OLAP项目开发或用户行为数据分析经验者优先； 9、有参与开源项目对社区有贡献的经验者优先； 10、热爱计算机科学和互联网技术，乐于快速学习和尝试新技术、新工具。
|