大数据平台工程师岗位职责(精选24篇)
在现在的社会生活中,岗位职责使用的频率越来越高,岗位职责是指工作者具体工作的内容、所负的责任,及达到上级要求的标准,完成上级交付的任务。到底应如何制定岗位职责呢?以下是小编帮大家整理的大数据平台工程师岗位职责,仅供参考,大家一起来看看吧。
1、负责公司级的`统一数据平台和分析型产品的研发,服务于今日头条全公司的数十个用户产品线;
2、设计和实现web后端和关键数据服务,用数据?量产品并驱动产品演进。
1、负责公司级的通用数据平台和分析型产品,服务于今日头条全公司的数十个用户产品线;
2、面向pb级超大规模数据问题,每天处理千亿增量的用户行为数据;
3、为大数据的`全生命周期提供服务,覆盖数据产生,传输,建模,统计分析,实验评估,可视化的全流程;
4、构建设计良好的数据流、数据仓库、调度系统、查询引擎,数据服务、分析系统、流程规范,数据工具/产品,降低数据的使用门槛,保证系统稳定高效运行,以实现数据的最大价值。
1、参与小鹏汽车技术中台的大数据云平台产品建设,包括:实时计算处理平台、离线计算处理平台、调用链分析监控、日志处理平台;
2、分析系统瓶颈,处理、协调和解决基础框架中出现的技术问题;
3、大数据新技术研究和应用,并推动适合技术应用于生产;
1、研发业界领先的灰度实验/abtest系统,面向头条全公司的.所有产品线;
2、建立通用的用户行为指标体系,探索性发掘新指标,研究业界领先的个性化评估方法;
3、从pb级超大规模的用户行为数据中挖掘信息,并设计实验验证假设,为策略/产品改进提供支持。
1、参与公司数据平台架构设计,负责大数据平台和数据仓库相关建设;
2、依据公司的大数据技术发展路线,负责基于hadoop生态系统和mpp数据库的大规模数据平台的'研发及数据仓库建设,提供可靠的数据存储和访问能力;
3、负责公司大数据平台和数据仓库的搭建、开发、管理、监控和性能调优,保证集群高效稳定运行;
4、规划与开发离线数据平台系统,处理海量数据,优化存储和计算架构的性能;
5、负责数据平台技术难点攻关、技术选型评估,参与开发流程的讨论与优化;
6、参与公司数据治理策略等的制订和实施;
7、负责协助产品经理进行数据仓库相关的需求分析、建模、宽表设计等工作;
8、负责系统核心代码编写、代码审核和重构,指导和培训数据工程师、不断进行系统优化;
1、负责大数据开源组件的调研
2、负责大数据平台自研平台系统及功能模块设计与开发
3、配合架构师及测试按时完成开发,保证产品正常发布与迭代
1.负责车载、路测网联设备数据上传,开展智能网联产品联调测试;
2.熟悉智能网联开放道路测试全流程监管体系;
3.主导搭建开放道路测试数据存储管理分析、测试监管、测试结果报表分析、测试环境预警等相关系统模块开发;
4.有智慧交通、智能网联平台产品的开发背景;
5.根据产品功能制定检测场景、测试流程;
6.熟悉了解智能网联设备相关标准法规检测流程;
1.负责linux内核的裁剪,配置。
2.负责bootloader的常规开发如启动流程,硬件初始化等工作,了解芯片高级安全工作原理,完成高安设置。
3.负责android系统中的驱动移植与开发。
4.负责android native层中子模块的接口定义与开发。
5.负责第三方模块的`移植以及系统联调工作。
6.负责日常项目中的编译、配置脚本的编写与维护
7.负责linux层的应用开发工作(如编写后台服务程序,模块测试程序等,jni层接口实现等)
1、配合对系统进行持续优化,满足高可用、高性能等特性;
2、负责服务器配置管理、基础软件安装以及性能调优、应用部署等工作;
3、配合解决运维工作中重大故障,性能瓶颈等相关疑难问题;
4、配合优化运维规范、工作流程、应急预案等。
1、主要负责基础架构平台开发工作,包含平台整体架构设计与研发,串联前端、底层需求,负责平台的完整研发流程;
2、对架构、前沿技术及研发流程充满兴趣,能够深入调研公司研发体系和流程,给出相应的.底层服务的平台支撑方案;
3、关注前沿技术研究,通过新技术服务团队和业务。
1、应对客户稽核,对客户提出的问题点进行改善;
2、负责公司网络维护,并负责定期进行病毒监测及存储备份;
3、负责维护公司所有计算机软硬件设备,及时解除故障,保证计算机正常运行;
4、制定及执行网络管理制度,规范网络工具的使用,保证公司资料的'安全性。
5、弱电工程、安防方案设计、安装跟进;
6、CCNA认证优先
根据业务场景需要,基于公有云搭建云平台体系
设计高可靠性,高扩展性和稳定性的云平台体系
维护日常平台环境,根据业务需求扩展和更新平台
熟悉git操作,维护相关repo及制定相关开发,提交和合并策略
具备业务开发能力,可以参与功能开发
1、负责字节跳动旗下产品(抖音,抖音海外版tiktok)的跨平台研发工作;
2、探索各项跨平台技术,在app开发中落地方案,进行相关架构和规范建设;
3、持续改进跨平台技术的效率、性能、安全性、稳定性和可扩展性;
4、设计和建设相关脚手架、打包发布等配套工具平台。
1. 负责公司的新产品研发 ;
2. 深入发掘和分析业务需求,撰写技术方案和系统设计 ;
3. 核心代码编写、指导和培训工程师、不断进行系统优化.
职责:
1、负责私有云PaaS平台平台整体功能规划及系统设计;
2、负责私有云PaaS平台平台基础中间件及基础数据库服务的规划及系统设计;
3、负责私有云PaaS平台平台微服务应用相关的服务规划及系统设计;
4、负责公司已有IT系统私有云PaaS平台平台部署的架构和迁移方案设计,并对应用迁移到私有云PaaS平台上提供技术支持;
5、指导并带领开发工程师进行详细设计、系统开发等工作,保障设计方案的实施与落地。
职位要求
1、本科及以上学历,计算机相关专业,5年以上工作经验,云计算相关工作经验2年以上。
2、具备较强私有云平台开发能力,至少精通Java/Shell编程语言,至少拥有阿里云、私有云PaaS平台的设计开发经验,有完整私有云平台(IaaS+PaaS)产品搭建经验值优先;
3、精通docker/Kubernetes容器技术,了解cgroup/Namespace技术原理;
4、熟练OpenShift、Spring Cloud、Dubbo技术,有完整的`微服务设计和相关使用规范;
5、熟悉常用中间件(如Redis、RocketMQ、Kafka、ElasticSearch等)及分布式数据库的原理及集群构建,有实际项目经验者优先;
6、熟悉分布式架构基本原理,包括分布式计算、分布式存储、分布式缓存、分布式数据库、分布式消息中间件等,在高性能计算、并行处理、Linux环境、虚拟化技术、集群部署、分布式任务调度、分布式资源管理等云计算相关领域有开发经验者优先;
7、具有物联网,流媒体等PaaS产品设计开发经验者优先;
1、负责智慧城市平台领域的需求分析、产品与架构设计,编写核心代码;
2、负责系统的'安全性,高可用性,性能优化以及开放扩展性;
3、制订和review产品领域的技术规范,指导和培训开发工程师;
4、负责项目进度把控,线上故障的及时排错及处理;
5、研究新的web、云计算、大数据平台和技术;
6、参与技术研发团队管理工作;
1.负责编制热处理相关技术攻关项目建议书、论证报告等
2.负责编制热处理工艺方案、工艺规程、工艺卡片、工序作业指导书等技术文件,确保热处理工艺正确性和合理性,3.指导热处理生产现场中遇到的热处理技术问题。
4.协助编制热处理研保条件建设项目中的需求分析报告、项目建议书、可行性研究报告等
5.处理生产现场一般技术问题
6.参与核心零部件加工制造技术体系建设
7.参与热处理技术研究工作
1、有源医疗器械新产品的硬件设计工作,硬件需求、硬件系统方案、原理图/PCB设计、样板试制以及硬件的调测工作、EMC测试等;
2、负责在线产品硬件类故障解决以及在线更改文档编写;
3、负责EMC测试及整改;
4、配合安规工程师对安全不合规的.硬件部分进行整改;
5、参与公司硬件技术平台的建设,完成上级交办的其他工作。
1、负责调研产品和项目的可靠性设计需求,识别产品的.质量与可靠性风险,编写可靠性计划;
2、负责项目的可靠性工作活动,开展设计风险分析、产品可靠性测试,并推动解决相关问题;
3、支持可靠性实验室CNAS的运作。
1、基于公司软件产品以及客户业务需求,在现场对软件二次开发并部署、或进行维护;
2、与客户良好沟通,及时解决或者反馈实施问题;
3、编制相关技术文档;
4、有些项目会涉及到出差,加班等情况;
5、有些项目会涉及到与硬件项目交互,需配合调试与二次开发;
1、维护和优化数据管理工作体系和流程,制定数据的规则、规范及指南等;
2、数据实现方案设计及数据流设计、策划和实施;
3、数据项目的策划实施、闭环管理;
4、数据电子流程的'搭建及测试,数据清理及迁移;
5、数据运行的度量和分析改进,数据问题识别及改进,用户推广。
1、了解项目背景,熟练掌握项目相关产品的需求、使用及应用场景。
2、制定并严格执行项目实施计划,掌控项目实施进展;配合项目经理完成项目的`交付及验收。
3、客户现场的设备调试安装,客户使用培训,解决客户使用问题;现场调研客户的真实使用场景。
4、项目实施后期的跟踪维护及售后服务。
1、负责抖音、火山等海内外亿级产品的大规模集群的优化工作,优化架构、稳定性、资源、全球多机房问题;
2、负责AIOps方向的优化,优化故障检测、根因分析、健康度、容量规划等;
3、负责DevOps方向的云平台建设,优化核心服务的'持续集成和交付,高效和自动化的运维优化。
1. 利用html5相关技术实现手机客户端游戏研发
2. 根据产品设计需求,利用html5相关技术开发网站、手机或平板电脑等多平台上的客户端应用;
3. 解决移动设备包括ios和android的webkit兼容性问题
4. 持续的优化前端体验和页面响应速度,并保证兼容性和执行效率;
5. 编写可复用的.游戏组件
6. 完成相关的技术文档编写
版权声明:此文自动收集于网络,若有来源错误或者侵犯您的合法权益,您可通过邮箱与我们取得联系,我们将及时进行处理。
本文地址:https://www.gunzhua.com/jiuye/renliziyuan/866256.html