大数据开发工程师岗位职责

大数据开发工程师岗位职责

　　在现实社会中，接触到岗位职责的地方越来越多，岗位职责是指工作者具体工作的内容、所负的责任，及达到上级要求的标准，完成上级交付的任务。相信很多朋友都对制定岗位职责感到非常苦恼吧，以下是小编精心整理的大数据开发工程师岗位职责，欢迎阅读与收藏。

　　1、参与大数据平台相关的数据整合清洗、数据应用的设计和开发

　　2.协助用户完成用户测试，解决测试发现的问题。

　　任职要求：

　　1、本科及以上学历，计算机或相关专业，2年以上DW/BI项目实施和开发经验

　　2、熟悉大数据开源产品的架构和技术细节，具有Hadoop、Mapreduce、HBase、Hive、Spark、Kafka、Redis等大数据平台开发经验

　　3、有金融、互联网金融、电商、广告等行业数据仓库，数据挖掘经验

　　4、精通SQL，熟练使用至少一种数据库，如Oracle、MySQL、PostgreSQL等

　　1、3年以上工作经验；至少有一个数据仓库/数据集市/ODS项目开发经验；

　　2、精通oracle数据库的开发（view/TRIGER/function/procedure/package）及SQL调优，熟悉oracle数据库的基础原理；

　　3、精通ETL工具datastage开发；

　　4、熟悉linux/Unix系统，有shell/Perl脚本开发能力；

　　5、具备良好的分析能力和沟通协调能力，能够承受较高的压力，工作认真负责，积极主动，有较高的效率；

　　6、熟悉一种主流商用调度工具TWS/control-M/AUTOSYS优先；

　　7、熟悉Python开发优先；

　　岗位职责:

　　1、参与大数据平台的搭建、开发和维护工作；

　　2、负责大数据采集、清洗、整合等工作；

　　3、负责大数据平台文本挖掘分析等工作；

　　4、负责BI以及报表开发；

　　5、参与新技术选型和调研，解决不断增长的海量数据带来的存储和计算挑战。

　　任职资格:

　　1、本科以上学历，计算机、信息管理等相关专业；

　　2、深厚的Java功底，3年及以上的并发编程经验，参与过分布式高性能服务的设计开发过程，有大规模分布式系统的实践经验；

　　3、熟悉hadoop/kafka/flume/storm/spark/zookeeper等相关技术；

　　4、熟悉常见数据库如oracle/mysql，有Nosql数据库如mongoDb等经验者优先；

　　5、熟悉redis或memcache者优先；

　　6、对于分布式系统有一定了解，有海量数据处理经验；

　　7、具备较强学习能力，良好的沟通能力和团队合作意识

　　1、负责基于Hadoop/Spark/Hive/Storm/kafka等分布式计算平台实现离线分析、实时分析的计算框架；

　　2、负责平台数据仓库的选型、设计、开发、维护工作；

　　3、负责上述计算平台系统的可用性、容量、性能、监控、发布、安全等运维管理工作，确保系统持续稳定、高效运行；

　　4、协调大数据团队高效的进行数据处理、分析、统计、挖掘工作；

　　岗位要求：

　　1、熟悉服务器/存储/网络/OS等基础架构基本元素，熟悉linux操作系统，具备较强的调优排障能力；

　　2、熟悉Hadoop、Spark等大数据框架，有大型分布式计算开发、部署等相关经验；

　　3、熟悉shell/python或其他脚本语言中的任意一门，有扎实的Java开发基础，了解jvm的运行机制以及相应调优；

　　4、能够独立完成项目的系统分析、设计，并主导完成详细设计和编码的任务。

　　5、注重性能，良好的代码管理及重构意识。具备独立沟通需求，设计，架构，开发的能力；

　　6、熟悉主流的数据存储产品，有开发经验者优先。如：HBase，Hive，Redis，MongoDB，MySQL等；

　　7、有团队管理经验者优先。