岗位信息
岗位职责:
1、构建多源异构元数据平台,提供湖上元数据统一管理、企业级权限控制,并无缝对接多种计算引擎,打破数据孤岛,洞察业务价值。
2、负责多源数据库、SQL执行日志、BI等元数据采集,解析并构建表与表、列与列等元数据血缘关系。
3、负责元数据服务建设,兼容HMS,为计算引擎、数据平台的优化策略提供高可用、高性能元数据服务
4、参与产品功能的调研、方案设计、开发和测试的整体研发流程
岗位要求:
1、Java 基础扎实,3年内以上开发经验,熟悉Spring、Mybatis、数据库事务、多线程、缓存技术、常见的设计模式,理解框架实现原理及核心思想;
2、有大数据平台产品研发经验,包括但不局限于:元数据管理、数据ETL开发测试工具、数据安全、数据质量、数据资产管理等。
3、熟悉使用Spark、HDFS、Hbase、Flink、Hive Metastore等,理解基本分布式系统原理,至少一个领域有深入开发实践;
4、具备良好的沟通和团队协作能力,做事主动积极,有技术热情和激情面对挑战;