2023年大数据开发工程师岗位职责20篇（全文完整）
大数据开发工程师的岗位职责第1篇职责：1、规划及建设大数据平台;2、负责大数据存储系统、分布式计算系统、挖掘算法等设计、研发以及维护、优化工作;3、负责分析、挖掘、对抗各种产品安全层面的恶意行为;4、下面是小编为大家整理的大数据开发工程师岗位职责20篇,供大家参考。
大数据开发工程师的岗位职责 第1篇
职责：
1、 规划及建设大数据平台;
2、 负责大数据存储系统、分布式计算系统、挖掘算法等设计、研发以及维护、优化工作;
3、负责分析、挖掘、对抗各种产品安全层面的恶意行为;
4、 参与项目的系统设计和核心代码开发，指导和培训其他工程师;
5、 整理和提交技术文档，负责核心功能模块的代码编写和测试工作。
岗位要求：
1、 计算机、统计学等相关专业本科及以上学历，具有深厚的数学、统计学和计算机相关知识，精通数据仓库和数据挖掘的相关技术，3年以上大数据开发相关经验;
2、具有非常扎实的Java基础，熟悉Shell、Python、R、Scala等一种以上语言;
3、算法基础扎实，熟悉常见的数据结构，了解分布式算法和分布式系统的技术原理;
4、精通MapReduce设计方法或Spark计算框架、对NoSQL，Hadoop、Hbase、Spark、Hive等主流云计算，大数据相关软件有充分的了解，并且有实践经验，能解决应用中的复杂问题;
5、熟悉大数据处理相关技术，包括但不限于Hadoop、Hive、Hbase、Impala、Spark，Kafaka、Flume、Sqoop、Storm、Redis等;
6、研读过Hadoop、Hbase、Hive源代码者，能够在特定业务中进行定制改造者优先;
7、具有海量数据处理、数据挖掘、数据分析相关项目的工作经验者优先。
大数据开发工程师的岗位职责 第2篇
职责：
1、负责基于Hadoop框架的海量数据平台建设
2、参与大数据平台的数据架构设计，完成从业务模型到数据模型的设计
3、基于海量数据的数据仓库，为业务搭建通用的查询和分析解决方案
4、管理并优化存储&计算资源利用效率、监控并维护例行ETL任务
5、梳理整体业务指标，可视化报表开发
应聘要求：
1、计算机本科及以上学历，5年以上大型数据仓库架构设计、模型设计、ETL设计相关经验
2、熟悉Hadoop生态，熟悉Oracle、SQL数据库中的一个或多个，有一定的性能优化经验
3、熟练掌握Java语言，MapReduce编程，Python/Shell等脚本语言，Linux操作系统
4、具备大数据云平台、计算存储平台、可视化开发平台经验
5、业务理解力强，对数据敏感，有互联网行业产品数据分析经验者优先
大数据开发工程师的岗位职责 第3篇
职责：
1、参与大数据架构的规划设计，参与业务建模及数据化运营平台的搭建、运维，对业务流程与大数据的结合提出建议和解决方案;
2、完成基于大数据平台的业务项目的开发、实施和维护工作;
3、负责解决大数据平台建设过程中的技术难点和性能调优工作;
4、参与数据仓库设计，根据业务需求实现高效率高灵活性的查询，数据分析，数据挖掘;
5、负责高吞吐高可用数据实时和离线采集，高并发的大数据业务架构设计
6、负责研发技术发展方向，新技术领域的探索，引入并验证数据平台领域新技术，提供系统效能
7、对大数据技术及开源框架充满热情，具有钻研精神，能自我学习。
任职资格：
1、具有5年Java开发经验，熟悉Spring生态，掌握Hibernate、Mybatis任意一种ORM框架，掌握Oracle、Mysql数据库。
2、具有2年以上的大数据开发经验，熟悉大数据、数据仓库，分布式架构技术理论，具有大数据整体系统架构设计和实战经验，熟悉CDH、HDP、TDH至少一款大数据产品，有从无到有建设大数据平台经验者优先;
3、熟悉大数据组件的开发、搭建、维护以及性能优化;
4、较强的开发能力，必须熟练使用相关开发语言(Java/Python/Scala/Shell等)，熟悉大数据生态、关系数据库和NOSQL数据库、Linux等相关知识，能够独立完成并指导初级开发人员完成大数据相关的技术实现和调优;
5、熟悉Hadoop、Hbase、Hdfs、MapReduce、Yarn、Zookeeper、Hive、Impala、Spark、Flink、Kafka、Flume、Kylin、Phoenix等组件或技术，能阅读源码跟踪问题。
6、熟练掌握Spark、flink任意一种计算框架，掌握MapReduce计算框架原理，并有实际项目开发经验。
7、熟练掌握HDFS、HBase、Kafka、Redis、Hive、Sqoop、Shell等技术和组件，熟练应用开发，必须熟悉复杂数据查询性能调优，包括实时查询和离线批处理查询，服务器和生态组件的参数优化。
8、精通高级算法并有与业务结合落地优先;
9、扎实的独立分析问题、解决问题的能力，具备良好的需求理解能力、沟通协调能力和团队合作精神;有很强的数据设计抽象能力，善于从复杂的数据问题中找到关键路径，并且擅于跟业务团队就业务问题进行良好的沟通，能推动业务的指标化、量化;
10、有较好的学习能力、团队协作精神，认真细心，有强烈的责任心，爱岗敬业，有较高抗压能力，有较好的工作稳定性。
大数据开发工程师的岗位职责 第4篇
职责：
负责公司大数据业务集群的运维工作确保高可用;
负责基础运维、故障定位、容量规划、扩容及性能优化;
设计实现大规模分布式集群的运维、报警监控和管理平台;
参与业务架构设计，在设计阶段给出可运维性改进建议;
深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技术及发展方向。
任职资格：
大专以上学历，2年及以上大数据运维工作经验，熟悉hadoop/hbase/hive/Yarn/Spark等分布式相关技术，熟悉源码尤佳，至少掌握python/shell中的一种语言，接受优秀应届毕业生;
了解大数据平台应用架构，具备常见问题的基本分析和解决能力;
熟悉Linux操作系统的配置、管理及优化，能够独立排查及解决操作系统层面的问题;
熟悉nginx/emq/tomca、mysql/mongodb/redis等web应用/中间件及主流开源数据库的使用和配置。
大数据开发工程师的岗位职责 第5篇
职责：
1、负责公司c端产品以及广告数据的平台数据基础建设;
2、大数据平台的搭建与维护;
3、优化算法提高执行效率;
4、数据挖掘相关开发。
职位要求：
本科及以上，计算机、软件工程、统计学、数据挖掘、机器学习等相关专业;
熟悉JAVA语言及JAVA生态下的开发,了解多线程并发,能独立完成应用开发和部署;
3年及以上大数据流程架构经验，熟悉Hbase/Hive/Hadoop/Spark或等主流分布式开发平台，有高性能集群设计和开发经验;
能熟练操作Linux,熟练掌握SQL数据库语言 HiveSQL/Mysql/Sqlserver;
对有广告营销大数据算法/开发经验者优先，有大型数据项目经验优先，有用户行为分析、用户建模、业务建模经验者优先;
具有良好的逻辑分析能力、沟通能力和协调能力;
大数据开发工程师的岗位职责 第6篇
职责：
1、依据客户需求完成大数据项目的数据分析及建模;
2、进行大数据核心算法的编写;
3、参与项目的需求分析、系统设计、编码工作;
4、参与开发过程中相关新技术的研究和验证。
协助承担架构性的体系设计和改造工作，配合制定技术实施方案，按照总体设计组织子系统的设计和开发。
任职要求：
1、精通数据建模、数据体系建设，具备数据仓库架构设计、模型设计和处理性能调优等相关经验;
2、具有丰富的基于hadoop体系的数据平台、数据仓库建设经验，精通基于hadoop源码的开发、优化改造及成功应用案例;
3、精通hadoop生态体系各项技术，如kafka、flume、hive、impala、hbase、spark等，具有100+节点hadoop集群的开发、运维经验;
4、具有对大型hadoop集群的硬件规划能力;
大数据开发工程师的岗位职责 第7篇
职责：
1、从事Hadoop、Spark、Hbase、hive等分布式大数据产品的设计和开发;
2、针对部门大数据业务进行大数据分析、挖掘等产品应用的开发;
3、大数据平台各类数据业务抽象及模型化;
4、参与大数据管理平台的开发及维护;
5、负责大数据平台数据及相关的应用开发，调优及维护;
6、为项目相关开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题;
7、良好的团队合作与沟通能力。
任职要求：
1、本科及以上学历，2年以上大数据应用开发经验;
2、具备Java、Python、Scala其中两种语言的开发经验;
3、了解泛Hadoop大数据生态圈，熟悉HDFS/Hive/Flink/Hbase/Spark/Kafka其中两种以上技术，并有实际的项目开发经验，有相关源码研究者优先;
4、具备ETL开发与运维能力，有Flume、kettle经验优先;
5、熟悉大数据平台的搭建过程，熟悉数据处理流程，有TB级以上数据处理经验优先，有实时数据处理经验者优先;
6、熟悉离线和实时数据处理流程，熟练使用Spark，Flink处理TB级数据优先;
7、熟悉Linux系统环境，有shell等脚本编写经验，熟悉Mysql、PostgreSql、Oracle等常用关系数据库，熟练编写SQL语句;
8、熟悉Yarn,Kubernetes,Azkaban等资源调度框架者优先;
9、熟悉Datax的二次开发，并有实际开发经验优先。
大数据开发工程师的岗位职责 第8篇
职责：
1、根据工作安排高效、高质地完成代码编写，确保符合规范的前端代码规范;
2、负责公司现有项目和新项目的前端修改调试和开发工作;
3、与设计团队紧密配合，能够实现实现设计师的设计想法;
4、与后端开发团队紧密配合，确保代码有效对接，优化网站前端性能;
5、页面通过标准校验，兼容各主流浏览器。
任职要求:
本科及以上学历，熟悉j2ee，精通web开发有5年工作经验以上(学习能力好放宽至4年)，熟悉jsp，spring框架;
悉主流移动web开发框架,并有过实际项目开发经验;
有kylin,atlas,oozie,azkaban,spark,ranger任意一种使用项目使用经验。
大数据开发工程师的岗位职责 第9篇
职责
1、参与大规模数据快速查询系统的架构设计和开发;
2、大规模数据挖掘和机器学习算法的实现;
3、在线和离线海量数据分析平台的开发;
4、研究大数据前沿技术，提升系统的运维效率;
5、实现大数据基础架构平台的自动化运维。
任职资格
1、计算机相关专业,具有3年以上大数据开发经验，熟悉Java,Linux;
2、熟悉Hadoop大数据处理系统的开发,搭建及部署者优先;
3、熟练地处理数据模型、数据ETL以及存储管理;
4、熟悉HDFS/Hive/MapReduce/Kylin/HBase，能独自进行Mapreduce程序开发者优先;
5、熟悉分布式系统概念、架构，有大规模分布式系统设计、实现、部署等经验;
6、有较强的书面与口头沟通表达能力，独立分析、解决问题的能力。
大数据开发工程师的岗位职责 第10篇
职责:
1、负责所分管团队的团队建设和日常管理工作;
2、负责核心技术问题攻关和性能优化，持续维护和引进最新的大数据技术到城市大数据平台中，支撑城市级大数据平台业务;
3、承担城市数据标准编制和数据模型的设计;
4、承担项目中数据相关方案设计及数据团队管理;
5、参与城市大数据项目中数据采集、加工过程、分析挖掘模型算法的实施工作。
任职资格:
1、1年以上数据开发工作经验，熟练使用SQL查询引擎;
2、熟悉Hadoop、Mpp、Oracle等至少一种数据仓库工具
3、具备良好的编程语言基础如：java/python/scala/c++/shell等
4、二本以上学历，计算机相关专业或者有相关培训经历者优先
5、 个人素质要求：目光长远、态度诚恳、岗位有稳定性，能够长期培养、具备很强的自学能力、承压能力强、接受出差支援项目等工作。对数据工作具备浓厚的兴趣并有明确职业规划，优秀的学习能力和团队沟通协作能力，对新技术有浓厚兴趣并有钻研精神。
大数据开发工程师的岗位职责 第11篇
职责：
1、负责公司大数据基础平台产品开发工作;
2、完成产品/项目划分的研发任务，按需求规范进行研发;
3、具备良好的需求分析能力、业务建模能力，参与产品和项目相关模块的需求讨论，概要、详细设计;
4、具备良好的架构分析能力与设计能力，积极参与前期设计;
5、能根据设计方案和计划进行编码实现，在进度和质量上符合方案和计划的要求;
6、及时对BUG库中的软件问题进行跟踪修正。
岗位要求：
1、三年以上工作经验，一年以上大数据平台架构及ETL相关经验，可独立搭建/运维CDH/Spark整套平台架构;
2、精通Python/Java/Scala/SQL/Shell等语言中两种以上，熟悉Spark/Hadoop/Hive/MR/Hbase/ZK/YARN等三种以上开源框架的原理和源码;
3、熟悉容器平台开发或者开发优先考虑，有docker、kubernetes相关开发经验更佳;
4、学习能力强，适应能力好，有丰富的问题原因定位及运维技术支持经验;
5、有市场上成熟的大数据平台产品实际架构/开发经验优先。
大数据开发工程师的岗位职责 第12篇
职责
1、负责大数据分析平台的建设，基于历史和业务实时数据构建数据挖掘模型;
2、根据需求设计和实现数据分析展示平台;
3、负责建立、维护和改进大数据分析流程、规范、方法;
4、负责基于大数据的数据分析算法研究，基于数据分析结果优化现有应用并探索新的应用。
任职要求：
1、本科及以上学历，统计、数学、计算机或相关专业/方向，3年以上数据分析、数据挖掘相关工作经验;
2、精通MATLAB、Python等大数据涉及的语言和工具，并能熟练运用相关数据分析工具实现数据分析方法;
3、对机器学习、数据挖掘算法及其应用有比较全面的认识和理解，熟悉主流数据挖掘框架;
4、熟悉分布式数据库、数据仓库和数据集市，熟悉数据库相关操作和编程;
5、具有优秀的发现、分析并解决问题的能力，积极性高，具有严谨缜密的工作习惯、较强的沟通能力及团队合作精神;
6、有旅游行业数据分析与挖掘从业经验者优先。有主导完成优秀应用、大型数据平台项目、有数据挖掘，算法设计等开发经验者优先。
大数据开发工程师的岗位职责 第13篇
职责：
有独立工作能力，工作踏实认真，以及较强的团队协作精神。
负责日志大数据平台的搭建和规划;
在总体架构设计下，完成日志大数据产品的设计、搭建、维护和调优，技术文档的编写与维护;
参与业务日志的大数据分析;
及时反馈开发中遇到的难点问题，沟通并寻求解决方案，按阶段有计划地完成开发任务
任职资格:
1、计算机等相关专业本科以上学历，2年以上开发经验;
2、熟悉 linux 操作系统，熟悉 shell 脚本语言，精通 Java，有较强的开发能力;
2、熟练使用SQL，熟悉Mysql、MongoDB、Hive等数据库技术的基本操作及原理;
3、熟悉Hadoop/Spark生态系统组件的使用，至少有1年的Spark(Core/Streaming/SQL)开发经验;
4、熟悉Elastic产品线(如 Elasticsearch、Kafka、Kibana、Logstash)的使用方法，了解常见优化方案，熟悉Elasticsearch部署、监控及性能调优;
5、熟悉数据挖掘、机器学习、网络数据分析等技术优先;
大数据开发工程师的岗位职责 第14篇
职责：
1、负责大数据ETL开发与维护;
2、负责大数据平台数据库的设计以及开发;
3、负责大数据计算框架的选型与计算流程的设计与开发;
4、负责数据服务的设计与开发。
任职资格：
1、本科及以上学历;
2、熟悉Flink、flume、jstorm、sparkstream、hive、spark等分布式开源软件，具备系统优化与性能调优能力者优先;
3、精通JAVA等面向对象编程，有分布式并行计算的开发经验优先;
4、熟练掌握至少一种MySQL、SQL Server、Oracle等关系型数据库或MongoDB、Redis等NoSQL数据库 ,有hive等数据仓库研发经验优先;
5、熟悉大数据、云计算概念，了解Hadoop、Hive、Hbase等大数据主流技术及开源框架者优先;
6、自学能力强，沟通能力较好，有一定独立分析，技术研究能力，具有良好的团队合作精神;
7、数据意识强，有较好的文档编写能力，以及踏实的工作作风。
大数据开发工程师的岗位职责 第15篇
职责：
1、参与南方电网软件产品(项目)前/后台服务开发，要求高性能、高可用、高并发;
2、独立完成产品模块(项目)核心代码开发、业务代码开发、系统性能调优等工作;
3、根据分配任务制定开发计划并按时完成相应模块的设计、开发和单元测试;
4、参与产品(项目)相关系统需求分析以及撰写相关系统设计文档;
要求：
五年左右大数据研发岗位工作经验
2、丰富大数据开发经验：熟悉企业大数据常用技术，熟悉Spark、Flume、Hbase、Hadoop、Kafka，ES技术;
3、具有大型应用系统开发经验，具有分布式、高并发、高性能等架构经验，具有一定团队管理经验者优先;
4、了解J2EE技术平台及主流框架，具有SpingMVC、SpringBoot、Spring cloud、Mybatis、Redis等框架开发经验;
5、了解HTML5,CSS3,JavaScript,Ajax,jQuery等Web前端技术，熟悉jQuery、Bootstrap、AngularJS，VUE等主流前端JS框架中的一种;
大数据开发工程师的岗位职责 第16篇
职责：
1、 负责大数据平台架构的整体设计，承担数据抽取、清洗、转化等数据处理程序开发;
2、 为业务运营提供技术支持，完成应用系统的搭建、优化、升级工作，保证平台稳定运行;
3、 编写系统的需求分析、设计、开发和部署文档等。
岗位要求：
1、硕士及以上学历，计算机、自动化、通信等相关专业;
2、熟练掌握Java语言，并熟悉Python语言，熟悉分布式系统架构，有hadoop，spark系统架构经验;
3、熟悉实时计算框架storm，flink，spark streaming其中之一;
4、熟练使用SQL，熟悉数据库原理，熟练使用至少一种主流关系型数据库;
5、熟悉软件开发流程，能够根据需求编写需求、设计、开发手册等项目过程文档;
6、具有良好的沟通能力和主动性，抗压能力强。
大数据开发工程师的岗位职责 第17篇
职责：
负责设计和实现手机卫士大数据BI平台;
不断完善数据产品的架构设计，应用开发和新技术迭代;
配合业务，产品，根据不同的业务需求，灵活快速地完成具有挑战性的项目，为业务提供有价值的数据分析和预测。
任职要求
计算机软件相关专业本科及以上学历，至少3年以上工作经验;
认可技术与平台在BI的价值，能够深入业务领域，通过使用数据分析和挖据技术，让业务生成的海量数据产生更大价值。
熟练掌握大数据技术：包括Hadoop，Spark，Storm，Hive，Presto，Parquet，Flink，Druid，OLAP, Elastic Search等等。
具备良好的编程能力和代码风格，熟练掌握Java， Python等语言，熟练使用SQL，并具有较强的优化能力。
需要有很强的开发和架构设计能力，特别是在大数据的分布式和实时处理领域，对存储引擎和查询引擎的原理和优化都具备比较深入的理解。
有一定的数据挖掘和机器学习算法能力，包括推荐系统，深度学习等技术领域 。
拥有正直、积极、宽容的品质，学习能力强，并且善于沟通合作。
大数据开发工程师的岗位职责 第18篇
职责：
1、参与大规模数据快速查询系统的架构设计和开发;
2、大规模数据挖掘和机器学习算法的实现;
3、在线和离线海量数据分析平台的开发;
4、研究大数据前沿技术，提升系统的运维效率;
5、实现大数据基础架构平台的自动化运维。
【任职要求】：
1、计算机相关专业,具有3年以上大数据开发经验，熟悉Java,Linux;
2、熟悉Hadoop大数据处理系统的开发,搭建及部署者优先
3、熟练地处理数据模型、数据ETL以及存储管理;
4、熟悉HDFS/Hive/MapReduce/Kylin/HBase，能独自进行Mapreduce程序开发者优先;
5、熟悉分布式系统概念、架构，有大规模分布式系统设计、实现、部署等经验;
6、有较强的书面与口头沟通表达能力，独立分析、解决问题的能力。
大数据开发工程师的岗位职责 第19篇
职责：
根据公司业务需求，进行数据开发及报表制作;
参与BI、大数据平台体系建设;
文档整理，包括ER图、原型设计、数据字典整理等;
岗位要求：
本科或以上学历，计算机相关专业，2年及以上工作经验;
熟练使用主流数据库(如ORACLE/PostgreSQL/MYSQL等)，掌握SQL查询优化方法;
熟悉HADOOP生态，能够熟练使用HIVE/HBASE/SPARK进行数据开发;
掌握JAVA或PYTHON，会TABLEAU/KYLIN/帆软等BI工具者优先;
大数据开发工程师的岗位职责 第20篇
职责
1、负责基于hadoop/spark生态系统、亿级别数据的全文检索，搜索引擎的产品研发;
2、基于海量用户行为数据和其他数据，分析和研究数据与实际业务的关联关系，并与实际业务应用相结合开发;
3、负责大数据分析需求设计和开发，承担数据抽取、清洗、转化等数据处理程序开发。
任职要求：
1、熟悉Hadoop/HBase/Spark/Storm/Redis/Kafka/ES/Flume技术及其生态圈，具备相关项目开发经验，有数据实时计算项目经验优先;
2、有搜索引擎全文检索开发经验 ，如：elasticsearch、solr;
3、熟悉python、R任意一门开发语言;
4、有SAAS，PAAS企业级应用平台或者互联网，金融等大型应用平台开发经验优先考虑;
5、 本科及以上学历，计算机/软件工程/统计学/数学等相关专业，互联网/金融等行业3年以上工作经验;
6、拥有良好的代码习惯，要求结构清晰、命名规范、逻辑性强、代码冗余率低，代码注释清晰;
7、熟悉使用svn，禅道等项目管理工具，有良好的团队协作开发经验.
推荐访问:岗位职责 工程师 数据 大数据开发工程师岗位职责20篇 大数据开发工程师的岗位职责(合集20篇) 大数据开发工程师岗位职责要求