容器化大数据云平台技术架构PPT推荐.pptx

容器化大数据云平台技术架构PPT推荐.pptx

《容器化大数据云平台技术架构PPT推荐.pptx》由会员分享，可在线阅读，更多相关《容器化大数据云平台技术架构PPT推荐.pptx（31页珍藏版）》请在冰点文库上搜索。

CloudFoundry（PaaS）,2009:

CDH,Avro,Chukwa2008:

Hive,Pig,ZooKeeper2007:

HBase2006:

Hadoop（HDFS+MapReduce）,Solr,2015:

Kudu2014:

Spark,Flink2012:

YARN,Impala,Storm2011:

MapR,Hcatalog,HDP,Kafka2010-11:

Crunch,Sqoop,Flume,Oozie,大数据的目标是充分挖掘海量数据中的信息，以发现数据中的价值,云计算的目标是通过资源共享的方式更好地调用、扩展和管理计算和存储等方面的资源和能力，以提高资源利用率，降低企业的IT成本云计算可以为大数据平台的计算和存储提供资源层的灵活性,大数据组件部署到云平台上，作为通用PaaS能力，为用户带来使用上的便利和高效,1.1大数据与云计算的发展历程,TechvendorsinternaldevelopmentMapReduce,BigTable,GFS,Cassandra,SinglevendorplatformAzure,AWS,Google,Databricks,BigData2.0HadoopecosystemHortonworks,Cloudera,MapR,Specialization,Simplicity,BigData1.0,S,ep,ic,ila,az,it,no,miS,ilp,ic,yt,A,imd,n,Development,美国知名分析机构Wikibon把大数据技术发展大致分为3个阶段：

Bigdata1.0:

以海量数据存储、处理为主BigData3.0,平台难以维护，数据开发困难Bigdata2.0:

Hadoop商业版出现SQLonHadoop逐渐成熟以批处理、流处理为主Bigdata3.0:

客户需求多元化技术栈复杂化ABC走向融合,1.2技术发展趋势：

走向AI+Bigdata+Cloud融合,1.3中国联通构建了业界领先的大数据平台,通信网络,业务平台,外部合作伙伴,互联网,向下完成5大类、全域数据汇聚,孵化,统一数据模型,对外变现（大数据公司）,技术引领,全域贯穿,顶层架构设计,资产化管理,能力化输出,价值化运营,数据服务能力开放对内应用向上服务对内生产，同时支撑价值开放运营数据中心,数据应用.,能力流量查询.,计算日志解析.,存储资料数据.,IT系统,中国联通拥有集中的，企业级全域数据的存储中心、计算中心、能力中心和孵化中心,数据规模（PB）,X86服务器（台）,98.6,108.06,62.3,6097,6551,4289,2017年,2018年,2019年,2017年,2018年,2019年,海量的计算能力、存储能力PB级数据吞吐能力、统一数据服务能力企业核心数据资产管理能力助力数字化转型的服务型数据应用可价值变现的产品型数据应用,国内领先的大数据平台,IaaS基础设施,PaaS,数据中台,SaaS,应用,数据治理,基于容器云的数据中心操作系统主机资源存储资源,网络资源,大数据对内应用,大数据对外应用,数据服务能力封装/开放,人工业务,生产服务平台智能空空间间数能力开放平台,A引I能擎力数据据能库力（智见）（智图）,数（据智能算力）（资智源汇能）力开发测试,1.3中国联通构建了业界领先的大数据平台,全域数据汇聚和管理中心，沉淀了海量的计算能力、存储能力、数据能力。

面临着如何实现资源智能调度、最大化利用、能力共享，进一步赋能各类合作伙伴应用创新、促进数据价值变现的发展瓶颈。

1.4联通痛点,计算/存储资源使用不均衡,资源弹性调度不足技术组件支撑不全手工运维效率低,基于容器云的数据中心操作系统,IaaS,PaaS,SaaS,应用,主机资源,存储资源,网络资源,开发测试,数据治理,大数据对内应用,大数据对外应用,数据服务能力封装/开放,人工业务,生产服务平台智能空空间间数能力开放平台,A引I能擎力数据据能库力（智见）（智图）,数（据智能算力）（资智源汇能）力,自身优化创新驱动,构建能力共享生态急需支持租户自助使用云化大数据相关资源，赋能创新保障数据安全开放,通过持续研究和探索，构建中国联通容器化大数据云平台，解决痛点问题,一、建设背景,二、探索历程三、平台实践四、总结与展望,2016年至今，中国联通持续在大数据云平台建设方面投入力量完成了资源管理从无到有，资源调度及运维从“体力”到“脑力”的演变，逐步实现智能化管理和运营，为企业数据生产与服务起到了降本提效的作用。

serverserverserverserver,HiveStormSparkHadoopHbaseMPP,Yarn,MysqlRedis,server,server,server,server,最初阶段物理部署人工划配系统运维,优化提升半自动化部署半人工划配系统运维，简单监控,飞跃阶段一键部署按需自动分配、弹缩组件逐步丰富统一监控、智能运维,Kubernetes+Docker,2.1历程回顾,serverserverserverserver,StormSpark,HiveHadoop,HbaseMPP,Yarn,SparkStormmysqlKafka,HiveHadoop,HbaseMPPRedis,时序数据库,tensorflowCaffe,MysqlRedis,Mesos,2014年二级调度（基于predicates和priorities两阶段算法）活跃且社区关注逐步上升web应用，中间件及数据库，有状态服务，其他支持类型飞速发展高,2014年二级调度（FIFO，capacityscheduler，fairscheduler）活跃，社区关注逐步下降通用性高，混合场景高,Google、AWS、Redhat、Oracle、Intel、IBM、华为、阿里、Twitter、Apple、Airbnb、Yelp等,技术出现时间调度级别生态活跃适用场景成熟度应用案例分析技术生态支持技术实现,百度等CNCF组织，由Google公司牵头组织开源产品种类繁多，实现难度低，成熟度较高,主要由Mesosphere公司贡献原生框架实现难度高编排Docker需要Marathon实现调度功能,通过研究、探索和实践，我们发现Kubernetes+Docker的技术路线更契合联通的实际需求。

它几乎支持了所有的容器业务类型，包含长期伺服型（long-running）、批处理型（batch）、节点后台支撑型（node-daemon）和有状态应用型（statefulapplication），也正是因为这个特点，k8s能够支持当前大多数常见的大数据处理场景，如分布式数据存储（HDFS、Hbase）、离线分析（hive/Spark）、实时处理（Sparkstreaming）、数据挖掘（SparkMLlib），及深度学习框架（Tensorflow）等。

KubernetesMesos,2.2Kubernetesvs.Mesos,2.3与Rancher的合作,中国联通在搭建Kubernetes+Docker的容器化平台过程中，引入了Rancher的产品部署和管理多个Kubernetes集群。

RancherServer,图形化,RKE,部署/管理,中国联通的微服务开发运维管理平台使用了RancherServer，通过图形化和RKE两种方式对多个租户的kubernetes集群进行部署和管理：

图形化部署和扩展集群图形化节点、资源和容器监控备份和容灾，提高集群可靠性,一、建设背景,二、探索历程三、平台实践四、总结与展望,3.1整体介绍,2018年，基于Kubernetes+Docker，构建了中国联通容器化大数据云平台。

基于统一服务集成框架KubernetesServiceCatalog，集中管理、部署多类PaaS能力，包括大数据基础服务能力、中间件及数据库能力、数据集成工具能力、容器云能力、深度学习框架能力等，并支持灵活扩展。

面向省分公司、子公司及内外部合作伙伴，实现大数据云化资源能力的自助开放，支持租户进行大数据平台建设、大数据加工处理、模型训练及应用的开发部署。

资源管理,负载均衡,统一服务集成框架（KubernetesServiceCatalog）Kubernetes+Docker资源调度资源隔离弹性伸缩安全管控,大数据即服务,中间件/数据库即服务,RedisKafka,数据集成工具即服务,云化ETL,容器云服务,深度学习即服务,租户,某省大数据生产平台,某省经营分析系统（数据加工）,创新孵化模型训练,应用/微服务开发部署,+平台+集约管理智能调度动态弹缩,+租户+自助申请租户隔离应用持续集成/部署,3.2主要PaaS能力,Hive开源SQL引擎组件，能够将普通SQL语法转化成MapReduce作业，执行批处理任务。

HBaseNosql数据库，支持结构化、半结构化以及非结构化数据存储。

Hbase表动态可扩展，支持高并发的检索查询。

Spark基于内存的分布式计算引擎，大大提高了海量数据加工处理的性能。

HadoopHadoop基础服务，包括HDFS分布式文件系统、统一资源管理框架YARN等组件。

01大数据基础服务组件（原子组件+场景化组合）,实时计算云上的流处理分析服务，对流数据进行实时采集和处理，构建实时数据仓库和实时应用，挖掘流式数据价值。

包括HDFS、SparkStreaming、Hbase等组件。

数据仓库构建一站式数据仓库服务，提供数据整合、加工、分析等全套数仓构建服务，帮助打造数据核心。

包括HDFS、Hive、Spark等组件。

数据挖掘数据挖掘开发平台，可进行机器学习和AI应用的开发和训练，支持对各类数据实现高度智能化的处理。

包括Tensorflow、MxNet等组件。

数据集市适用于面向部门级的数据分析业务，提供包括交互式分析引擎、OLAPCube引擎，支持自动化的报表应用构建。

包括HDFS、Hive、Spark、Rubik等组件。

Storm基于事件驱动模式的实时处理框架，实时数据处理延时能够低至10ms级别。

ZooKeeperApache分布式应用程序协调服务组件，主要用于大数据分布式组件的配置、状态、元数据等信息的存储。

信息检索PB级别高速全文检索服务，提供高并发支持，冷热数据隔离，以及字段精确、模糊检索和快速统计功能。

包括ElasticSearch等组件。

IMPALA高性能SQL查询引擎，将MPP与Hadoop架构进行融合；

数据查询性能远高于Hive。

3.2主要PaaS能力,03数据集成工具,高吞吐的分布式消息队列。

02中间件及数据库服务组件KafkaRedis,基于K-V的内存数据库，具有极高的数据查询效率，常用于作为WEB系统的数据缓存层。

支持单机、哨兵、集群等部署模式。

MySql传统关系型数据库,支持single、一主多从等多种部署模式。

Nginx高性能HTTP服务器和反向代理服务器。

04容器云应用/服务开发部署环境,支持对租户应用/服务开发、部署、编排、动态弹缩、灰度升级、并提供完整的可视化运维监控,元数据管理,分析等。

云化ETL,支持对租户中的元数据进行管理，采用图形化的数据流和工作流设计，,包括元数据检索、数据血缘管理将分散的、异构数据源抽取，进行清,洗、转换、集成,最后加载到数据仓库或数据集市中。

数据稽核管理全图形化规则配置界面，支持稽核规则自动调度执行，针对稽核出的数据质量问题，系统会自动进行分类并形成数据处理工单。

05深度学习框架,为模型训练提供分布式计算框架及开发工具,微服务开发部署,数据集成工具,三方服务扩展,OSBAPIServiceBroker,能力开放,能力列表,能力订购,能力变更能力退订KubernetesServiceCatalog,OSBAPIOSBAPIServiceBrokerServiceBroker,OSBAPIServiceBroker,能力上架,能力下架,租户A租户B,租户C,租户D,租户N,OSBAPIServiceBroker大数据基础服务Mongo,ESImpalaHiveHadoop,DBKafkaStormHBase,深度学习框架JupyterNotebooks,MxNet,PyTorch,MPICaffe2,TensorFlow,中间件及数据库云存储RocketMQRedisMySQL,开发/构建测试/发布CI/CD镜像仓库管理服务注册服务发现调用链跟踪,限流/降级/,熔断,云化ETL,数据稽核管理元数据管理,资源管理,资源调度,安全管控,负载均衡,容器管理（Kubernetes+Docker）资源隔离服务编排弹性伸缩基础设施（主机+存储+网络）,3.3技术架构,OSBAPIServiceBrokerServiceBrokerServiceBroker,3.3技术架构,ServicecatalogAPIServer,OpenServiceBrokerAPI,KubernetesAPIServer,ServicecatalogController,Etcd,信息检索数据仓库实时计算,数据挖掘,数据集市,ServiceBrokerB数据库与中间件,Others,RedisKafkaServiceBrokerC深度学习框架,OthersServiceBrokerServiceBroker,运用统一集成框架KubernetesServiceCatalog，实现异构服务组件的统一纳管、自助拉起和在线开放。

使用业界标准的OpenServiceBrokerAPI，支持第三方组件的接入和扩展。

ServiceBrokerA容器化大数据平台Kubernetes,租户自助构建大数据平台，进行数据生产提供大数据相关服务组件，供租户进行数据加工处理租户应用/微服务的开发和容器化部署提供建模环境及样本数据，供租户进行模型训练，赋能业务创新,智汇中国联通容器化大数据云平台,可视化选取数据获取,生产作业专属大数据平台,分钟级容器化部署,大数据分析处理结果数据与自有应用场景结合,模型训练建模环境+批量样本数据,资源自助开放弹性伸缩动态调度,17%,22%,34%,27%,租户整体应用场景概览,省分大数据平台构建大数据加工处理模型训练容器化应用/服务开发部署,3.4支持场景,租户隔离和控制,01,资源隔离租户有独立的网络、系统命名空间和存储,02,数据隔离每个租户可使用独立的HDFS用于数据存储，租户间不做直接共享,03,的实例，彼此之间完全透明,04,业务隔离通过Docker实现运行环境隔离，进程之间无法感知,容器化大数据云平台保障租户资源隔离、空间独立、数据加工过程私密、互不干扰，为租户提供安全可靠的生产环境。

服务隔离不同租户使用的服务属于不同,3.5安全隔离,大数据服务容器化,最小单位拆分亲和算法调度Headlessservice,计算资源本地化,亲和算法调度Yarn/Spark调度逻辑调整共享Domainsocket,多种PaaS能力集成,OpenServiceBrokerKubernetesServiceCatalog,多Kubernetes集群互通,定制Flannel网络插件，多集群共用Flannel网络,3.6技术挑战,CatalogProvisionUpdate,Deprovision,实现ServiceBrokerPaaS组件平台1服务服务服务服务,实现ServiceBrokerPaaS组件平台2服务服务服务服务,BindUnbind实现ServiceBrokerPaaS组件平台3服务服务服务服务,实现ServiceBrokerPaaS组件平台n服务服务服务服务,解决方案：

1.基于业界先进的OpenServiceBroker规范，通过标准化接口快速对接各种PaaS组件平台，汇聚各种PaaS能力，形成技术生态，为租户赋能。

2.基于KubernetesServiceCatalog，采用k8s扩展API和自定义资源原生技术实现对服务从开通到退订的全生命周期管理。

遇到问题：

容器化大数据云平台需要快速集成大数据类、数据库及中间件类、数据集成工具类等多种PaaS能力。

没有统一的集成接口。

3.6技术挑战多样化PaaS服务集成,app1app2Kubernetes集群2,遇到问题：

需在多个Kubernetes集群部署各类PaaS能力。

大数据组件在容器化部署之后，服务相关的所有POD都是容器网络，自身暴露的通信端口在集群外都无法访问，导致应用通过大数据组件原生的API调用时遇到问题。

Kubernetes集群1,datanodepodnamenodepod,datanodepodnamenodepod,HDFS,集群一,集群二,APIServer,Kubeletflanneld,Kubeletflanneld,Kubeletflanneld,Kubeletflanneld,APIServer,ETCD,ETCD,3.6技术挑战Kubernetes集群间网络互通,解决方案：

通过定制flanneld网络插件，两个K8S集群共用一套Flannel网络，实现跨集群podIP直接连接，解决K8s集群间的网络互通问题。

采用多租户的方式对外提供大数据服务，每个租户都是隔离的。

这就要求需要在一个物理集群上能够部署多套Hadoop集群。

挑战1.挑战2.挑战3.,如何将Hadoop服务进行拆分？

如何自动完成角色规划？

服务拆分之后，如何解决服务依赖以及服务发现问题？

3.6技术挑战Hadoop容器化服务拆分,解决方案：

将Hadoop按组件拆分成最小单位，确保能够独立部署；

通过配置亲和/反亲和调度算法保证同一个集群的各个服,务能够合理部署，比如：

同一集群的两个Namenode不会调度在同一个物理机上；

3.拆分完之后解决，服务之间的依赖和服务发现问题集群内使用Headlessservice服务之间通过DNS和配置注入进行服务发现集群外的访问通过-NodePort-Rest服务+LoadBalancer,Kubernetes,存储网络,监控,拆分,3.6技术挑战Hadoop容器化计算本地化

（1）,10.10.0.1,Executor,Datanode,DomainSocket,在安装集群前提前进行角色规划，确保YARN的Nodemanger和Spark的Worker节点与Datanode都在相同的物理机上。

通过判断IP是否一致决定是否进行本地读写Domainsocket优化，免去本地io走tcp协议栈,10.10.0.2DomainSocket,遇到问题：

挑战1：

Executor与Datanode数据不同pod,如何保证同一个集群的Executor和Datanode分布在相同的物理主机上？

挑战2：

每个容器有一个独立IP，如何保证本地读写？

挑战3：

每个容器独立的文件系统，如何保证DomainSocket优化？

物理机部署,容器化部署,ExecutorDatanode,3.6技术挑战Hadoop容器化计算本地化

（2）,Executor,Nodemanager,Datanode,Executor,DatanodeDatanodeNode1,Nodemanager,Datanode,集群1,集群2,Node2,Host1,Scheduler,NodeManagerDatanodeHost2,Namenode,GetBlockInfo,BlockReport,Assigntasks,NodeManager,Datanode,解决方案：

第一步：

采用K8S亲和性调度策略，确保统一集群的计算服务于Datanode调度到相同的物理机列表里。

第二步：

更改Yarn/Spark调度逻辑，判断对应的计算切片是否在同一台host上。

第三步：

多个pod共享Domainsocket，而且每个租户的hdfs的domainsocket互相独立。

102个租户入驻,子公司34个,集团业务部门24个,省分租户44个,月均执行MR/Spark任务162,455个，执行数据调度任务15,261个,2部署4000余个容器服务实例，对100,000个事件跟踪分析集群节点数437个，CPU6028核，内存37.52TB，存储13.09PB,开放PaaS能力组件6大类，30余种开放标准化数据产品7大类，600余个,2018，TMFForum开放数字生态大奖提名2018，大数据最佳产品奖，数据中心联盟大数据发展委员会2018，中国联通集团科技进步奖,3.7建设成效,基础设施平台（IaaS）,容器平台（CaaS）,应用平台（PaaS/aPaaS）,函数平台（FaaS）,软件平台（SaaS）,底层灵活,上层快速,客户端,认证服务,API网关,数据库,函数,函数,函数,函数,函数,函数,数据库,“Serveless”的初衷是帮助开发者摆脱运行后端应用程序所需的服务器设备的设置和管理工作，“FaaS”将“Serveless”这一框架提高到一个全新的层面，为云中运行的应用程序提供了一种全新的系统体系结构，不需要在服务器上持续运行进程以等待HTTP请求或API调用，而是可以通过某种事件机制触发代码的执行。

优势降低成本：

开发者不需要为云中运行的整个服务器付费，只需要为执行代码过程中消耗的资源付费缩放能力：

可以通过事件触发的方式轻松地对不同服务进行缩放，而无须考虑基础结构的运维和维护,3.8后续探索方向-FaaS与云平台,SaaS,PaaS,IoT,BigData,消息服务,数据库,缓存,FaaS,函数平台,数据管理,设备管理,持久化存储,ETL工具,数据分析,物联网和云计算以及大数据是密不可分的：

云平台为大数据提供计算资源和海量数据的存储能力云平台为物联网应用提供快速构建和集成的能力物联网设备产生的海量数据需要大数据平台进行处理和分析,物联网通过信息传感设备，按约定的协议，将任何物体与网络相连接，物体通过信息传播媒介进行信息交换和通信，以实现智能化识别、定位、跟踪、监管等功能。

物联网是互联网基础上的延伸和扩展的网络，将各种信息传感设备与互联网结合起来而形成的一个巨大网络，实现在任何时间、任何地点，人、机、物的互联互通。

3.8后续探索方向-物联网与云平台,一、建设背景,二、探索历程三、平台实践四、总结与展望,建设面向大数据处理的统一云化资源池，提供丰富的PaaS组件，为大数据平台构建和