学习啦 > 实用范文 > 办公文秘 > 岗位职责 > 大数据运维工程师岗位的基本职责描述

大数据运维工程师岗位的基本职责描述

时间: 舒欣1213 分享

大数据运维工程师岗位的基本职责描述

  大数据运维工程师需要定期对所有服务问题进行分析,并对服务效率有影响的问题提供反馈意见,提升服务支撑团队专业度。以下是学习啦小编整理的大数据运维工程师岗位的基本职责描述。

  大数据运维工程师岗位的基本职责描述1

  职责:

  1、负责维护服务器的运行,包括巡检、故障排除、数据备份等业务,保证服务器高质量、高效率运行状态;

  2、负责服务器漏洞整改及补丁升级;

  3、负责hadoop运维相关工作;

  4、负责大数据平台的日常部署、升级、扩容、迁移;

  5、负责高并发,大存储和实时流的Hadoop/spark大数据平台规划,运维,监控和优化工作。

  任职资格

  1、2年左右服务器运维经验;

  2、对linux基础运维命令熟悉,shell,python至少精通一种,如会scala语言可优先考虑;

  3、熟悉Linux的维护和管理,熟悉bat及Shell脚本开发,能看懂Python/Scala优先;

  4、做过大规模hadoop集群优先;

  5、大数据项目:包括不限于hadoop、hive、kafka、hbase、spark、Kudu、Impala等大数据生态的平台搭建,监控,运维,调优、生产环境hadoop集群trouble shooting 、hadoop版本升级管理及优化支持。

  大数据运维工程师岗位的基本职责描述2

  职责:

  1、负责云平台等基础环境规划及建设,虚拟化等技术实施;

  2、负责机房物理设备的日常巡检,对云平台及大数据运行环境的日常维护,保证运行环境的安全和稳定,对突发事件进行快速处理和恢复;

  3、负责Hadoop集群的部署及日常维护,熟悉Hadoop生态圈组件的配置与调优;

  4、负责硬件设备和系统软件购买采购数的拟定,以及运维相关技术文档的整理和维护。

  任职要求:

  1、***优先,30岁以下,计算机相关专业,统招本科及以上学历,3年以上中、大型云平台服务器运维经验。

  2、具备基本的机房建设及管理能力,能对机房内服务器、交换机、路由器等物理设备巡检维护数据备份及恢复。

  3、熟悉TCP/IP协议,熟练掌握CISCO路由器、防火墙、交换机配置,具备一定的网络规划和组网技术能力,负责VLan及子网划分,提供内外网及VPN连接等网络接入方式;

  4、熟悉KVM/Docker等虚拟化技术,及基于VMWare/OpenStack云平台的搭建及运维;

  5、有丰富的Hadoop生态系统运维经验,了解Hadoop、STorm、Spark、Kafka、zookeeper这些组件的原理,具备部署、实施、维护hadoop集群及相关组件的能力。

  6、熟悉Zabbix、Nagios等开源运维监控系统,熟悉通过LVS/Keepalived/Hearbeat技术实现负载均衡,了解CDN技术。

  7、有中大型云平台数据中心容灾建设方案(一城两中心、两地三中心)实施经验者优先;有思科认证(CCNA/CCNP/CCIE)证书者优先。

  8、为人正直,有责任感,工作认真细心。

  大数据运维工程师岗位的基本职责描述3

  职责:

  1.负责大数据业务集群的运维工作(Hadoop/Hbase/Hive/ Yarn/ Spark/ Storm/ ES等大数据生态圈组件)确保高可用性。

  2.负责集群容量规划、扩容及性能优化;

  3.参入建设大规模分布式集群的运维、监控和管理平台;

  4.参与业务架构设计,在设计阶段给出可运维性改进建议;

  5.深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的大数据运维技及发展方向。

  任职要求:

  1.三年及以上大数据运维工作经验,熟悉hadoop、hbase、hive、Solr、ES等分布式相关技术,熟悉源码尤佳,至少掌握java/python/shell中的一种语言。

  2.了解大数据平台应用架构,具备常见问题的基本分析和解决能力。

  3.熟悉Linux操作系统的配置、管理及优化,能够独立排查及解决操作系统层面的问题;

  4.熟悉nginx、tomcat等web应用及中间件的使用和配置

  5.强烈的责任心和使命感,执行力强,富有团队合作精神;

  6.对大数据方向运维有很高的热情和兴趣,能主动学习了解相关知识;

  大数据运维工程师岗位的基本职责描述4

  职责

  1、维护基于Linux的系统和相应的组件;

  2、维护Hadoop集群,包括hdfs、hive、sqoop、kafka等核心生态系统,确保集群运行平稳;

  3、基于***实践,根据业务需求设计和优化Hadoop生态系统;

  4、设计和维护Hadoop相关基础设施的监控;

  5、维护技术文件;

  6、根据业务需求设计和安装新的生态系统或技术组件,并制定最终解决方案。

  任职资格

  1、本科及以上,信息技术或相关专业;

  2、2年以上企业Linux系统和Hadoop经验;

  3、Hadoop生态系统的经验和知识(必须具备:HDFS, Yarn, Hive, HUE;倾向具备:MapReduce、Spark、Kafka、Logstash、Flume);

  3、较强的事故分析和故障排除能力,较强的shell脚本编写能力;

  4、了解HA机制者优先;有ITIL知识者优先;

  5、有跨国工作经验者优先;

  6、愿意学习新事物,解决问题。

  大数据运维工程师岗位的基本职责描述5

  职责:

  1、负责大数据基础架构平台(Hadoop/Spark/MPP DB)的自动部署;

  2、负责线上数据平台的运维,保障服务的稳定性和可用性;

  3、参与超大规模数据快速查询系统的架构设计和开发;

  4、研究大数据前沿技术,改进现有系统的服务和运维架构,提升系统的运维效率。

  任职要求:

  1. 熟悉linux shell及SQL语言

  2. 了解Hadoop等分布式技术,数据仓库技术;

  3. 熟悉数据仓库数据流监控、故障自动化定位及运维;

  4. 强烈的责任心与求知欲,愿意学习新技术并能快速应用;

  5. 有较强的书面与口头沟通表达能力,独立分析、解决问题的能力;

  6、做事认真负责,自学能力较强。

相关文章:

1.大数据运维工程师的具体职责描述

2.运维经理岗位的基本职责

3.运维经理的具体职责

4.IT运维工程师的基本职责

5.游戏测试工程师工作的职责

55942