大数据架构师岗位的主要职责概述文档2篇.docx

1、大数据架构师岗位的主要职责概述文档2篇大数据架构师岗位的主要职责概述文档2篇Overview document of main responsibilities of big data architect post编订：JinTai College大数据架构师岗位的主要职责概述文档2篇小泰温馨提示：岗位职责是指一个岗位所需要去完成的工作内容以及应当承担的责任范围，明确岗位的目标和责任，规范工作内容、规范操作行为等以此提升工作产能效益最大化。本文档根据岗位职责要求展开说明，具有实践指导意义，便于学习和使用，本文下载后内容可随意修改调整修改及打印。本文简要目录如下：【下载该文档后使用Word打开，

2、按住键盘Ctrl键且鼠标单击目录内容即可跳转到对应篇章】 1、篇章1：大数据架构师岗位的主要职责概述文档 2、篇章2：大数据架构师的主要职责说明文档篇章1:大数据架构师岗位的主要职责概述文档 大数据架构师需要负责协助策略和算法工作,保障数据挖掘建模和工程化。以下是小泰整理的大数据架构师岗位的主要职责概述。大数据架构师岗位的主要职责概述1 1.参与公司数据平台系统规划和架构工作，主导系统的架构设计和项目实施，确保项目质量和关键性能指标达成; 2.统筹和推进制造工厂内部数据系统的构建，搭建不同来源数据之间的逻辑关系，能够为公司运营诊断、运营效率提升提供数据支持; 3.负责数据系统需求对接、各信息化

3、系统数据对接、软件供应商管理工作 5.根据现状制定总体的数据治理方案及数据体系建立，包括数据采集、接入、分类、开发标准和规范，制定全链路数据治理方案;深入挖掘公司数据业务，超强的数据业务感知力，挖掘数据价值，推动数据变现场景的落地，为决策及业务赋能; 6.定义不同的数据应用场景，推动公司的数据可视化工作，提升公司数据分析效率和数据价值转化。 1.本科以上学历，8年以上软件行业从业经验，5年以上大数据架构设计经验，熟悉BI平台、大数据系统相关技术架构及技术标准; 2.熟悉数据仓库、熟悉数据集市，了解数据挖掘、数据抽取、数据清洗、数据建模相关技术; 3.熟悉大数据相关技术：Hadoop、Hive、

4、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ; 4.熟悉制造企业信息化系统及相关数据库技术; 5.具备大数据平台、计算存储平台、可视化开发平台经验，具有制造企业大数据系统项目开发或实施经验优先; 6.对数据敏感，具备优秀的业务需求分析和报告展示能力，具备制造企业数据分析和数据洞察、大数据系统的架构设计能力，了解主流的报表工具或新兴的前端报表工具; 7.有较强的沟通和组织协调能力，具备结果导向思维，有相关项目管理经验优先。大数据架构师岗位的主要职责概述2 1、负责大数据平台及BI系统框架设计、规划、技术选型，架构设计并完成系统基础服务的开发; 2、负责海量埋点规则

5、、SDK标准化、埋点数据采集、处理及存储，业务数据分布存储、流式/实时计算等应用层架构搭建及核心代码实现; 3、开发大数据平台的核心代码，项目敏捷开发流程管理，完成系统调试、集成与实施，对每个项目周期技术难题的解决，保证大数据产品的上线运行; 4、负责大数据平台的架构优化，代码评审，并根据业务需求持续优化数据架构，保证产品的可靠性、稳定性; 5、指导开发人员完成数据模型规划建设,分析模型构建及分析呈现，分享技术经验; 6、有效制定各种突发性研发技术故障的应对预案，有清晰的隐患意识; 7、深入研究大数据相关技术和产品，跟进业界先进技术; 1、统计学、应用数学或计算机相关专业大学本科以上学历; 2

6、、熟悉互联网移动端埋点方法（点击和浏览等行为埋点），无埋点方案等，有埋点SDK独立开发经验者优选; 3、熟悉Hadoop,MR/MapReduce,Hdfs,Hbase,Redis,Storm,Python,zookeeper,kafka,flinkHadoop,hive,mahout,flume,ElasticSearch,KafkaPython等，具备实际项目设计及开发经验; 4、熟悉数据采集、数据清洗、分析和建模工作相关技术细节及流程 5、熟悉Liunx/Unix操作系统，能熟练使用shell/perl等脚本语言，熟练掌握java/python/go/C+中一种或多种编程语言 6、具备一

7、定的算法能力，了解机器学习/深度学习算法工具使用，有主流大数据计算组件开发和使用经验者优先 7、熟悉大数据可视化工具Tableau/echarts 8、具有较强的执行力，高度的责任感、很强的学习、沟通能力，能够在高压下高效工作;大数据架构师岗位的主要职责概述3 根据大数据业务需求，设计大数据方案及架构，实现相关功能; 搭建和维护大数据集群，保证集群规模持续、稳定、高效平稳运行; 负责大数据业务的设计和指导具体开发工作; 负责公司产品研发过程中的数据及存储设计; 针对数据分析工作，能够完成和指导负责业务数据建模。 计算机、自动化或相关专业（如统计学、数学）本科以上学历，3年以上大数据处理相关工作

8、经验; 精通大数据主流框架（如 Hadoop、hive、Spark等）; 熟悉 MySQL、NoSQL（MongoDB、Redis）等主流数据库，以及rabbit MQ等队列技术; 熟悉hadoop/spark生态的原理、特性且有实战开发经验; 熟悉常用的数据挖掘算法优先.大数据架构师岗位的主要职责概述4 1.负责产品级业务系统架构（如业务数据对象识别，数据实体、数据属性分析，数据标准、端到端数据流等）的设计与优化。协助推动跨领域重大数据问题的分析、定位、解决方案设计，从架构设计上保障系统高性能、高可用性、高安全性、高时效性、分布式扩展性，并对系统质量负责。 2.负责云数据平台的架构设计和数据

9、处理体系的优化，推动云数据平台建设和持续升级，并制定云数据平台调用约束和规范。 3.结合行业应用的需求负责数据流各环节上的方案选型，主导云数据平台建设，参与核心代码编写、审查;数据的统计逻辑回归算法、实时交互分析;数据可视化方案等等的选型、部署、集成融合等等。 4.对云数据平台的关注业内技术动态，持续推动平台技术架构升级，以满足公司不同阶段的数据需求。 1.熟悉云计算基础平台，包括 Linux（Ubuntu/CentOS）和 KVM、OpenStack/K8S 等基础环境，熟悉控制、计算、存储和网络; 2.掌握大型分布式系统的技术栈，如：CDN、负载均衡、服务化/异步化、分布式缓存、NoSQL

10、、数据库垂直及水平扩容;熟悉大数据应用端到端的相关高性能产品。 3.精通 Java，Python，Shell 编程语言，精通 SQL、NoSQL 等数据库增删改查的操作优化; 4.PB 级别实战数据平台和生产环境的实施、开发和管理经验; 5.熟悉 Docker 等容器的编排封装，熟悉微服务的开发和日常调度; 6.计算机、软件、电子信息及通信等相关专业本科以上学历，5 年以上软件工程开发经验，2 年以上大数据架构师工作经验。大数据架构师岗位的主要职责概述5 1、大数据平台架构规划与设计; 2、负责大数据平台技术框架的选型与技术难点攻关; 3、能够独立进行行业大数据应用的整体技术框架、业务框架和系

11、统架构设计和调优等工作，根据系统的业务需求，能够指导开发团队完成实施工作; 4、负责数据基础架构和数据处理体系的升级和优化，不断提升系统的稳定性和效率，为相关的业务提供大数据底层平台的支持和保证; 5、培养和建立大数据团队，对团队进行技术指导。 1、计算机相关专业的背景专业一类院校毕业本科、硕士学位，8年（硕士5年）以上工作经验（至少拥有3年以上大数据项目或产品架构经验）; 2、精通Java，J2EE 相关技术，精通常见开源框架的架构，精通关系数据库系统（Oracle MySQL等）和noSQL数据存储系统的原理和架构; 3、精通SQL和Mapreduce、Spark处理方法; 4、精通大数据

12、系统架构，熟悉业界数据仓库建模方法及新的建模方法的发展，有DW，BI架构体系的专项建设经验; 5、对大数据体系有深入认识，熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大数据技术，并能设计相关数据模型; 6、很强的学习、分析和解决问题能力，可以迅速掌握业务逻辑并转化为技术方案，能独立撰写项目解决方案、项目技术文档; 7、具有较强的内外沟通能力，良好的团队意识和协作精神; 8、机器学习技术、数据挖掘、人工智能经验丰富者优先考虑; 9、具有能源电力行业工作经验者优先。篇章2:大数据架构师的主要职责说明文档【按住Ctrl键点此返回目

13、录】 大数据架构师负责解决核心技术问题，对技术方案进行决策。下面是小泰为您精心整理的大数据架构师的主要职责说明。大数据架构师的主要职责说明1 1、负责公司大数据底层框架的整体架构设计，结合公司实际业务情况进行技术选型及大数据战略规划; 2、负责公司项目的整体评估、设计、架构及关键模块的开发; 3、负责架构优化，协助团队解决开发过程中遇到的技术难题; 4、负责新技术的调研和大数据相关开源组件的研究，并能在团队进行推广应用; 5、参与数据分析、数据建模、项目核心模块及核心框架的开发; 6、负责大数据平台的性能条有和问题诊断。 1、计算机相关专业，本科及以上学历，3-5年以上工作经验，2-3年大数据

14、相关经验; 2、具有扎实的大数据和数据仓库理论功底，负责过大数据平台或数据仓库设计; 3、对基于Hadoop的大数据体系有深入的认识，具备相关产品（Hadoop、Hive、HBase、Spark、Storm、Flume、Kafka、Redis、ES等）项目应用研发经验，有Hadoop集群搭建和管理经验，度过Hadoop和Spark源码; 4、熟悉Linux和Python语言，了解Scala原理和底层技术; 5、熟悉分布式系统的架构及对其进行设计和优化，对海量数据的清晰、分析处理及存储有相关的实战经验; 6、算法基础扎实，熟悉常见的数据结构，深入理解分布式算法和以上提到的分布式系统， 7、必须有

15、一线coding的能力; 8、有统计学、数学知识，海量数据处理、分析和挖掘，大型互联网公司从业经历着优先。大数据架构师的主要职责说明2 1.负责大数据基础和应用平台的整体规划和架构设计，参与需求分析，架构设计，详细设计以及技术选型决策 2.参与数据挖掘和建模相关核心算法的代码实现 3.负责大数据算法平台的技术把关，性能调优，控制架构质量，解决项目技术难题;对研发项目和任务需求进行评估和方案设计、拆分任务并指导工程师完成开发 4.带领团队提供并实现大数据算法平台上各项数据接入、数据挖掘分析及数据可视化的架构设计与能力，支持解决方案实施 5.负责数据库设计、应用架构设计、核心技术选型等工作 6.协

16、调解决开发中的技术问题、设计和监控运营指标，保障系统稳定运行 7.培养，指导有能力的员工，指导工程师进行技术验证实现，核心技术攻关，解决开发过程中的技术难题 1.熟悉大数据和数据仓库的系统架构设计方法 2.熟练使用并理解HadoopSpark架构及生态。（Hadoop，Hive，Hbase，Elasticsearch，Kafka，SparkFlink等） 3.熟悉分布式系统架构，有分布式实时、离线和机器学习平台的架构和开发经验，具备海量数据清洗、分析处理及存储的实践经验 4.熟练使用JAVA，具有大规模分布式系统调优经验 5.熟悉AI相关算法，熟悉机器学习、深度学习。熟悉AI学习开源框架（Te

17、nsorflow、PyTorch等）者优先; 6.具备良好的团队合作精神，对工作充满激情。 7.熟悉FusionInsight平台开发经验者优先大数据架构师的主要职责说明3 （1） 负责公司大数据平台搭建，相关的设计和技术开发工作，负责大数据存储系统、分布式计算系统、数据集成、挖掘算法等的设计、研发以及维护、优化工作; （2） 通过数据分析技术，挖掘有利于营销中各业务场景的变量或规则类标签，以提升模型效果，为文旅、教育业务提供数学模型理论及编程支撑; （3） 对接沟通业务系统研发团队和产品部门，提供数据驱动方面的专业咨询方案，并对业务的大数据应用场景提出建设性意见; （4） 配合部门领导进行项

18、目需求分析、设计开发工作。 （1） 计算机、统计学，数学等相关专业本科以上学历，5年以上大数据或文旅、教育数据产品设计开发经验，高效高质量产出需求和技术文档; （2） 精通Hadoop，熟悉大数据生态技术，如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Hive、Hbase、Kerberos等，有大规模集群架构、开发及运维经验;熟悉HDFS/MapReduce等; （3） 熟悉Java，能够独立应用python、R、SAS或类似分析工具进行数据分析; （4） 熟悉大数据挖掘、可视化分析，各种BI算法和产品等，在计算广告、搜索引擎、推荐系统、用户画像等有一个或多

19、个算法领域的研发经验，能够运用数据作为产品解决业务方运营及决策问题; （5） 有互联网行业工作经验者优先，有海量数据的机器学习算法实践经验优先; （6） 工作认真、负责，有良好的团队合作精神，良好的分析能力、沟通技巧。大数据架构师的主要职责说明4 1.负责公司大数据平台的设计和开发，负责spark, hadoop, flink等云计算平台的开发和优化;制定数据架构规范，进行核心代码编写，指导团队落地; 2.负责数据基础架构和数据处理体系的升级和优化，技术难题攻关，持续提升核心系统性能，保证系统的安全、稳定、高效运行 3.设计并实现对BI分析、数据产品开发、算法开发的系统性支持 4.研究未来数据

20、模型和计算框架的创新与落地，包括但不限于以下领域：大规模数据实时化、研发模式敏捷化、数据计算框架轻量化、数据模型组织方式业务化等方面参与制定并实践团队的技术发展路线 5.建立良好的公司内外的业界技术影响力;参与培养未来数据人才;有效辅导团队，提升数据研发能力 1.有很强的数据设计抽象能力，善于从复杂的数据问题中找到关键路径，能够开发创新而实际的分析方法以解决复杂的商业问题 2.有作为技术负责人系统化解决问题的成功案例;有海量数据建模实践经验优先 3.熟练掌握Hadoop、Spark、Flink、HBase的原理特性以及适用场景，精通流式计算开发，有开源二次开发经验者优先，有NLP数据处理经验者

21、优先 4.性格积极乐观，诚信，能自我驱动，有较强的语言表达能力;具备强烈的进取心、求知欲及团队合作精神;具有良好的沟通、团队协作、计划和创新的能力 5.本科以上学历，扎实的计算机专业基础，有5年以上大数据平台开发经验;大数据架构师的主要职责说明5 1、负责大数据平台的技术选型，基于Spark、Hadoop大数据平台建设和开发; 2、完成包括数据模型设计、数据采集、数据存储等方面的大数据系统架构的设计和数据层架构设计; 3、构建数据中台，为多种行业应用提供主数据（画像标签/关系图谱）、数据模型、人工智能业务算法及数据服务。 4、对海量数据处理的业务需求进行评估和方案设计、拆分任务并指导工程师完成

22、开发; 5、带领大数据技术团队提供并实现大数据平台上各项数据分析和数据可视化的架构设计，支撑解决方案实施。 1、本科及以上学历，具有5年及以上大数据架构设计和开发经验;2年及以上带领团队经验;沟通能力强。在大型互联网企业从事大数据架构设计者优先考虑;有分布式大型商业软件系统设计经验、主导过大型商业软件的架构设计并取得过市场商业成功者优先考虑; 2、熟悉整个大数据的完整处理流程，包括数据的采集、清洗、预处理、存储、分析挖据、机器学习和数据可视化; 3、精通Oracle/MySQL/PostgreSQL/Greenplum/MongoDB等其中至少一种主流数据库的使用，并能进行性能调优; 4、具备优秀的团队意识和沟通能力，学习能力和主动性强，具有钻研精神，充满激情，乐于接受挑战。- Designed By JinTai College -