大数据架构师的具体职责

大数据架构师的具体职责

　　大数据架构师负责公司大数据底层框架的整体架构设计，结合公司实际业务情况进行技术选型及大数据战略规划。下面是学习啦小编为您精心整理的大数据架构师的具体职责。

　　大数据架构师的具体职责1

　　职责：

　　1、负责企业大数据平台的基础建设、管理及制定拓展规划;

　　2、负责大数据平台相关自动化服务工具的设计、开发;

　　3、参与Hadoop、Hbase、Spark等核心平台组件的开发、优化;

　　4、对平台特殊场景化的数据应用制定相关实践方案;

　　5、大数据团队的搭建。

　　任职资格:

　　1、统招本科以上学历，计算机等相关专业，5年以上工作经验;

　　2、具有Hadoop等大规模集群管理经验、海量(PB)数据处理经验;

　　3、精通Hadoop、Hive、Hbase等离线平台相关组件的原理机制;

　　4、了解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分布式系统;

　　5、熟悉高并发、分布式开发等相关知识，具有后端服务优化相关经验;

　　6、熟悉爬虫常用框架以及反爬技术;

　　7、具有良好的沟通能力、分析问题与攻关问题的能力;

　　8、有责任心，工作积极，对新领域新技术有热情。

　　大数据架构师的具体职责2

　　职责：

　　负责大数据平台架构的规划和设计，主导系统的架构设计和核心模块开发，确保项目质量和关键性能指标达成;

　　负责大数据平台技术框架的选型与技术难点攻关,指导开发大数据平台的开发，保证大数据产品的上线运行;

　　负责深入理解业务需求，对业务建模，设计系统架构，满足业务需求;

　　负责协助策略和算法工作,保障数据挖掘建模和工程化;

　　负责根据业务需求整合优化数据架构，保证产品的可靠性、稳定性;

　　负责指导开发人员完成数据模型规划建设、分析模型构建及分析呈现;

　　负责研发技术发展方向，新技术领域的探索，将新技术应用到公司大数据平台，提升公司效能

　　任职要求：

　　本科及以上学历，拥有5年以上大数据平台产品或分布式系统设计经验,6年以上的开发经验;

　　精通Hadoop，熟悉大数据生态技术，如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Yarn、Sqoop、CDH、Solr 、Kylin、Impala、Hive、Hbase、Kerberos、Sentry等，有大规模集群架构、开发及运维经验;

　　熟练掌握java/Scala语言,实现面向对象开发思想OOA,OOD,OOP;

　　熟悉linux操作系统,熟练掌握脚本言语Shell/Perl/Python等编码语言;

　　熟练掌握数据仓库设计，开发工作。能够根据业务设计并开发数据仓。

　　具备源码级问题解决和集群优化改造能力者优先;

　　能快速的学习新的开源框架和知识体系，并应用到现有架构体系中;

　　逻辑清晰，快速的学习能力，良好的沟通能力、团队协调能力。

　　具备良好的团队合作精神，较强的沟通交流能力，具备良好的技术领导能力;

　　具备良好的文档撰写能力和技术团队管理能力

　　大数据架构师的具体职责3

　　职责：

　　1、负责大数据基础平台的整体规划和架构设计，参与需求分析、技术决策以及详细设计;

　　2、为现有大数据集群Hadoop、hive平台提供性能调优、架构优化重组，解决系统中的关键问题和技术难题;

　　3、把握基础业务复杂系统的设计，确保系统的架构质量，编写核心部分代码;

　　4、持续挑战新的技术方向，攻克大数据量，高并发，稳定性等各种技术难点。

　　任职资格:

　　1、计算机或相关专业本科及以上学历;

　　2、5年以上hadoop的应用开发经验，5年以上数据仓库开发实践经验，至少一个企业级数据仓库项目开发经验或者大数据处理项目经验;

　　3、良好的编程开发能力，精通PHP及其他开发语言;

　　4、熟悉mysql等数据库经验，具备优秀的SQL编写、调优能力;

　　5、熟练掌握Linux常规命令与工具，精通shell, perl, python等脚本语言至少一种;

　　6、软件基础理论知识扎实，具有良好的数据结构、算法功底;

　　7、对新技术敏感，学习能力强，乐于接受挑战，具有良好的团队合作精神;

　　大数据架构师的具体职责4

　　职责：

　　1、数据分析软件平台架构搭建

　　2、负责深度学习核心框架或高性能后台服务系统的架构设计工作，包括系统总体规划、架构设计、系统分析、软件实现、性能优化;

　　3、指导开发人员开发，并解决系统出现的问题，理解物业需求;

　　4、制定开发计划和控制开发进度，负责指导研发团队开展设计工作;

　　任职要求：

　　1、硕士以上，计算机或先关专业;

　　2、5年左右软件开发经验，含3年以上系统分析、设计经验，有大型软件项目大型软件项目;有中大型互联网企业数据库架构设计及管理经验，

　　3、 具备良好的组件级建模能力，熟悉HTTP、TCP等协议

　　4、熟练使用UML进行软件架构设计，至少精通EA，RATIONAL， VISIO等一种设计工具.

　　5、精通至少一种编程语言，熟悉 Linux 相关技术，能独立在上面进行开发、测试和部署

　　6、深入理解数据库、数据仓库、大数据、分布式体系架构和关键技术

　　大数据架构师的具体职责5

　　职责：

　　1. 负责大数据基础平台、海量数据存储/处理分布式平台、数据分析系统架构设计和研发;

　　2. 负责实时计算平台基础架构设计、部署、监控、优化升级;

　　3. 制定项目/数据仓库设计及实现规范，指导设计研发和部署;

　　4. 协助策略和算法团队工作，保障数据挖掘建模和工程化;

　　5. 深入研究大数据相关技术和产品，跟进业界先进技术;

　　任职要求：

　　1. 全日制本科及以上学历，5年以上软件和分布式系统研发经验，3年以上大数据系统架构经验;

　　2. 精通Hadoop/HBase/Spark/Storm/Redis技术及其生态圈;

　　3. 具备良好的系统分析能力、故障诊断能力;

　　4 有大数据策略、算法、可视化经验优先。