岗位要求

1、熟悉Hadoop/CDH生态环境系统的搭建和管理，掌握Hadoop、MapReduce、HDFS、YARN、Zookeeper、Spark等开源项目的原理和使用方法，并有实际操作经验集群搭建和调优经验
2、熟悉JAVA/SCALA开发，有大数据平台开发经验, FLINK和SPARK 框架有实际开发经验
3、对后端业务开发有基础经验，能用GOLANG进行基础WEB接口开发
4、熟悉linux操作系统，常规系统命令，shell、python编写流利
5、熟悉sql的调优，对mysql、tidb的索引，慢sql分析有实际经验
6、对实时计算方案有了解，大规模数据量中的CDC计算方案有接触
7、对redis、kafka、ES，有使用经验，熟悉ESSQL的常规使用
8、良好的团队合作和沟通能力

岗位职责

1、编写离线备灾脚本，shell或python熟练，对sql性能具备分析解决能力
2、编写批处理脚本，使用spark或flink进行数据处理
3、编写流处理脚本，使用flink进行数据处理，需对upsert流有理解，对flink开发有了解
4、表结构设计，对业务有较深理解，设计的表需兼顾性能和扩展性兼容性
5、后端web业务，使用golang进行后端CRUD接口开发