大数据运维工程师工作的岗位职责
大数据运维工程师工作的岗位职责
大数据运维工程师需要明确工作范围,定期与客户沟通工作量,并获取客户回执,及时归档。以下是学习啦小编整理的大数据运维工程师工作的岗位职责。
大数据运维工程师工作的岗位职责1
职责:
1、负责公司大数据集群的构建,任务调度、监控预警,持续完善大数据平台,保证稳定性、安全性;
2、负责集群容量规划、扩容、集群性能优化及日常巡检和应急值守,参与大数据基础环境的架构设计与改进;
3、深入研究大数据业务相关自动化运维技术,持续优化集群服务架构,探索新的大数据运维技术及发展方向;
任职要求:
1、熟悉Linux系统及基础命令操作,能够独立编写Shell或Python脚本,开展日常服务器的运维工作;
2、熟悉并不限于大数据生态圈Hadoop、Strom、Spark、HDFS、Kafka、Zookeeper、Hbase、Redis、ElasticSearch、fastdfs
等相关基础组件的框架知识和运行原理;
3、熟悉软硬件设备,网络原理,有丰富的大数据平台(CDH、HDP)部署、集群运维和性能优化等经验;
4、具备一定的系统自动化运维理论体系和实际经验,能够利用各种开源监控工具、运维工具,HA、负载均衡软件完成工作任务;
5、具备较强的学习能力、抗压能力、动手能力和分析解决问题的能力;
6、熟悉JVM虚拟机调优;
7、熟悉jenkins持续集成;
8、有一定的文档编写能力;
9、能适应短期出差,有公安视频图像侦查业务方向经验者优先;
大数据运维工程师工作的岗位职责2
职责:
1.负责公司大数据平台的运维保障;
2.负责大数据平台的架构审核、业务监控、持续交付、应急响应、容量规划等;
3.为线上服务高效稳定运行负责,支撑业务和数据量的快速扩张;
4.负责生产及测试集群诸如故障定位恢复、系统安全、性能优化等;
任职要求:
1.计算机相关专业本科及以上学历,3年以上相关工作经验
2.精通Hadoop大数据生态圈,熟悉Hadoop各组件的原理,并有实际部署维护经验;包括但不限于HDFS、YARN、Kafka、Spark、HBase、Kerberos、Hive、Kudu、Zookeeper等;
3.具备很强故障排查能力,有很好的技术敏感度和风险识别能力,良好的服务意识,善于团队协作,项目管理,主动思考,自我驱动力强;
4.有相关动态编排容器技术和虚拟化技术工作经验者优先;
5.深入理解Hadoop各组件的原理和实现,有阅读源码能力者优先;
6.具备很强的ownership,故障排查能力,有很好的技术敏感度和风险识别能力。
大数据运维工程师工作的岗位职责3
1、负责建设大数据平台的规划、架构设计和技术选型;
2、开发和使用Hadoop大数据自动化运维与监控工具;
3、基于大数据应用需求,负责优化平台的性能,消除性能瓶颈,解决业务的疑难问题;
4、熟悉Hadoop、Hive、Hbase、Storm、Spark等技术框架; 熟悉java、scala、sqllite等相关技术;具备软件设计、编码开发测试、文档编写的能力;
5、积极了解业界发展、互联网相关新技术及趋势,参与规划公司大数据产品未来技术架构方向;
6、负责大数据平台内部所涉及到的各类数据库、数据存储的搭建、备份、日常维护、性能调优;以及大数据平台系统运维、监控和故障分析与处理;
7、能够很好的和其它团队的同事沟通协作;
8、负责文档的书写和完善,保证文档的及时更新;
9、有大型开源系统维护经验优先。
大数据运维工程师工作的岗位职责4
职责
1、负责企业大数据平台的运行监控维护,及时发现并解决平台故障和数据处理异常;
2、负责大数据平台的数据运营,开展数据采集和数据清洗稽核,保障数据质量,支撑应用开展需要,为数据应用开发团队提供支撑;
3、负责完善数据平台的运维监控和数据质量保障手段,负责相应运维脚本、数据分析脚本的开发和部署;
4、对数据平台运营情况进行分析和总结,并提出优化建议。
应聘资格要求
1.2019届全日制统招应届硕士及以上(特别优秀的可放宽至本科)(不含专升本、二级学院)。
2.英语水平:达到国家四级或四级考试425分以上。
3.身体健康,举止大方,具备良好的素质修养。
4、较强的执行能力、组织协调能力、学习分析能力、沟通协调能力及良好的文字表达能力。
5具有较高的企业忠诚度和良好的道德修养,爱岗敬业,有事业心、责任心、团队合作精神。
大数据运维工程师工作的岗位职责5
职责:
1、负责大数据环境的现场运维和实施。
2、负责大数据环境的故障分析、问题排除;
3、负责大数据环境(hadoop生态)集群环境安装、维护、部署、优化。
任职要求:
1、精通Hadoop生态圈各个组件原理。
2、具备Hadoop/Kafka/Zookeeper/Spark/Storm/Flume/Hive等集群运维经验者优先。
3、熟悉mysql、Oracle等主流数据库
4、熟悉linux操作系统、shell脚本
5、掌握Python/Shell/Java中至少1种开发语言;
相关文章: