云计算与大数据教学课件（共5章）第一章 揭秘云计算.pptx
《云计算与大数据教学课件（共5章）第一章 揭秘云计算.pptx》由会员分享，可在线阅读，更多相关《云计算与大数据教学课件（共5章）第一章 揭秘云计算.pptx（112页珍藏版）》请在冰点文库上搜索。
云云计计算与大数据算与大数据孙宇熙编著TheEssentialCriteriaofBigData&CloudComputing第一第一章章揭秘云揭秘云计计算算1.1云从哪里来首先，我们需要知道云从哪里来，搞清楚谁是云计算的提出者至关重要，这个大可上升到哲学的高度，可类比千百年来科学家乃至全人类最关心的问题的核心，就是知道人从哪里来。
同理，知道云从哪里来可以更好地帮助我们预判云会朝哪个方向发展，会在何处融入、改变人们的工作与生活。
1.1.1云计算科技史云计算是亚马逊最早于2006年推出的AWS服务。
AWS从早期的云计算服务EC2、存储服务S3到今天发展为目前业界最为广泛使用的各类计算、网络、存储、内容分发、数据库、大数据管理与应用等五花八门的服务。
也有人说云计算是SunMicrosystems在2006年3月推出的SunGrid，它是一种公有云网格计算服务，一美元一小时的CPU使用价格，和用电一样的计费模式Pay-Per-Use（按使用量计费）。
不过，按照MITTechnologyReview刨根问底的结果，Compaq（康柏）电脑公司1996年在内部商业计划文档（见图1-1）中最早使用CloudComputing（云计算）这一字样与图标（遗憾的是，康柏在被惠普收购之后，除了继续卖了几年低端PC外与云计算再无瓜葛）。
图1-1康柏公司1996年商业计划文档ISDStrategyforCloudComputing1.1.1.1云计算的三大要素以上可以算作对云计算“冠名权”归属的一番浅究，事实上云计算的起源比以上诸多论断还要早，其发展历程贯穿了过去半个世纪全人类的IT发展史，如图1-2所示。
RReemmooteteJJoobbEEnntrtyrybbyyIBIBMM/D/DEECC图1-2云的起源及发展（从20世纪70年代至今）云的起源及云的起源及发发展展：
1970-Now2200世纪7700年代TTimimeesshhaarirninggTTCCPP/I/PIPbbyyAARRPPAA/D/DOODD&CCSSNNEETT/N/NSSFF2200世纪77008800年代-AARRPPAANNEETTVVPPNNbbyyTTeelclcooss;DDisistrtirbibuuteteddCCoommppuutitningg2200世纪9900年代VVPPNNEECC22bbyyAAmmaazzoonn22000066;AAzzuurere-2-20000882211世纪头88年EECC22OOppeennNNeebbuulalabbyyNNAASSAAOOppeennsstatacckk2200008822001100年-OOppeennXX眼花缭乱22001100年-?
云云计计算三大要算三大要素素分时计算网络互联资源共享及网络安全1.1.1.2云计算的本质近几年，云计算的发展让人眼花缭乱，各种新兴的技术、新兴的公司风起云涌。
其中值得一提的有两样东西。
一个是容器计算。
我们前面提过虚拟化，基于虚拟机（VirtualMachine，VM）的虚拟化可算是对Baremetal（裸机）这种形式的有效补充，而容器可算作是对基于VM技术的虚拟化的有效补充。
容器的意义在于重新提高了因虚拟化带来的计算效率的降低，后面的章节中我们会专门论述相关的问题。
另一个值得一提的是大数据。
如果说2006年开始的云计算浪潮多少都是偏重于底层的平台与服务，而真正寻找到的与之匹配的就是近三五年来声名鹊起的大数据应用。
两者可算是一拍即合：
云计算作为基础架构来承载大数据，大数据通过云计算架构与模型来提供解决方案，如图1-3所示。
图1-3当云计算遇上大数据从技术角度来看，云计算是多种技术长期演变、融合的产物，诸如分布式计算、并行计算、网络存储、分布式存储、虚拟化、裸机及容器计算、负载均衡等计算机及网络技术，如图1-4所示。
图1-4云计算的底层技术发展与融合云计算的本质是多种技术的融合，它和很多其他技术颇有相通之处，例举几个。
1C/S与B/S技术。
2P2P技术。
3并行计算（ParallelComputing）。
1.1.1.3云计算基本特征1共享资源池。
2快速弹性。
3可度量服务。
4按需服务+自服务。
5普遍的网络访问。
图1-5展示了云计算的这些基本特征。
图1-5云计算基本特征示意图这里，我们套用IDC在2013年提出的“三个平台”来作为总结，如图1-6所示。
图1-6第一、第二、第三平台1.1.2业务需求推动IT发展随着过去几十年间IT行业从大型主机（Mainframes）过渡到客户端服务器（PCServers），再过渡到现如今的移动互联时代（MobileInternet），IT可把控的资源和预算的大趋势一直在下滑。
在过去十几年的时间里，对虚拟化技术的采纳帮助IT实现了极大的效率飞跃，大幅提升了IT满足业务预期的能力。
不过，在当下的移动互联时代，面对数以十亿计的新移动消费者以及数以百万计的新应用和服务，IT可谓是机遇和挑战并存。
业务预期呈现出了指数增长。
如果不在“我们如何做IT”方面做出根本性改变，没有人能赶上行业发展的步伐。
IT交付所面临的问题如图1-7所示。
图1-7业务预期vs.IT交付能力vs.IT预算（横轴为时间轴）大多数政企IT部门所采用的依然是传统模型。
在传统IT流程中，每个新的解决方案都是一个需要进行采购、设计、配置、测试以及部署的项目，即便是做得很顺利的话，新项目部署周期也要长达数周、数月甚至数年。
这就很难实现高敏捷性和低投资，也就很难通过IT来增加收入。
组织机构的目标就是增加敏捷性，减少运营支出，对未来进行更多投资，并不断降低风险，但是这两者之间存在着一个鸿沟，如图1-8所示。
图1-8传统应用vs.下一代云应用如何让IT的交付能力保持同步，甚至超越业务的预期是IT部门始终的使命（见图1-9）。
图1-9与业务同步的IT交付能力敏捷敏捷性性IT控制控制&安全安全（可集（可集中中管理管理）开开发发一次、可多地部一次、可多地部署署选择选择权权1.2云的多重形态1.2.1云计算的多重服务模式云计算在快速的发展过程中逐渐形成了不同的服务模式（ServiceModels）。
目前我们熟知的主要有三大类：
SaaS（SoftwareasaService，软件即服务）、PaaS（平台即服务）与IaaS（基础架构即服务），也有人喜欢把它们统称为XaaS或EaaS（EverythingasaService）。
类似的还有存储即服务（StorageasaService）、容器即服务（ContainerasaService）等。
从根源上讲，*aaS模式都源自SOA（Service-OrientedArchitecture），SOA是一种架构设计模式（可类比面向对象编程语言中的设计模式），其核心就是一切以Service为中心，不同的应用之间通信协议都以某种服务的方式来定义和完成。
今天我们经常看到的微服务架构（Micro-ServiceArchitecture，MSA）的概念，在本质上也是由SOA演变而来。
为什么会形成不同的*aaS服务模式呢？
主要原因在于最终服务交付的形态，如图1-10所示。
图1-10传统vs.*aaS1.2.2公有云vs.私有云vs.混合云从云架构部署、服务、应用以及访问的方式来区分，我们一般把云分为四大类：
私有云；公有云；混合云；社区云。
对私有云、公有云、混合云的定义与界定的关键是云的服务对象。
如果被服务的对象是一个机构，那么我们称之为私有云。
如果服务开放给大众，并通过互联网可以访问，则称之为公有云。
混合云通常是兼有私有云和公有云部分，两部分可相对独立运作，但是也会协同工作，例如一些任务可能会横跨公有云、私有云边界。
从“物种起源”的角度上说公有云与私有云都是由早年的DC/IDC数据中心或互联网数据中心发展而来。
除了它们各自所可能侧重的服务不同外，在技术本质上没有高低优劣之分（见图1-11）。
图1-11公有云vs.专有云vs.私有云公有云侧重于对新应用（如第三平台应用）的支持，面向应用的弹性实现（如支持可横跨多台云主机的数据库服务），在存储角度上则大量使用对象存储（如对多媒体文件检索和浏览支持）；另外一个特点是，为了实现利益最大化和产生正向现金流，绝大多数的云部件都被封装成商品的方式待价而沽。
私有云大抵是因为历史的原因而不得不继续支撑传统的企业应用（如第二平台的大量应用，从数据库到ERP/CRM不一而足），因此私有云的存储形态主要是File（文件）和Block（块），并且侧重于基础设施的弹性（第二平台应用的一个典型特点是独占性或者说是紧耦合性，它们很难像第三平台的那些为云而生的新应用能比较容易地迁移和水平可伸缩，因此业界的普遍做法是把这些应用封装后在底层的基础设施上实现弹性）。
公有公有云云私有私有云云混合混合云云第三方运第三方运维维是是一般一般不不是是硬件投硬件投资资一般一般不不是是部部分分中小企中小企业业适适用用是是不一不一定定是是大型企大型企业业适适用用一般一般不不是是是是可定制硬可定制硬件件一般一般不不是是是是合合规规支持支持（Compliance）不不是是是是高安全高安全性性实现实现困困难难是是是是跨云支跨云支持持一般一般不不一般一般不不是是第三平台第三平台应应用用较较多多是是是是第二平台第二平台应应用用较较少少较较多多是是存存储储特特征征对对象象为为主主块块、文、文件件皆皆有有更多开源技更多开源技术术是是不一不一定定是是表1-1公有云、私有云、混合云比较业界对云的认知中普遍存在的一个印象是公有云是云的多种形态中的主体。
这句话其实只说对了一小部分，按照媒体广告投入规模和曝光频率，公有云的确是更多，但是在市场整体规模和真正承载的云计算任务量而言，私有云和专有云市场占据大半江山（大于85%），而真正的公有云市场份额不过15%。
误解一：
公有云会是未来唯一可行的云服务形态。
误解二：
公有云拥有核心技术。
还有一个知识点值得提到的是关于on-premise（场内）与off-premise（场外）的，所有的公有云对于其服务的客户而言都是off-premise的，也就是说在云端、场外，而对于私有云而言多数都是on-premise（场内云）的本地云，除了一种特殊的专有云情形，就是在托管方地界运营的私有云是off-premise的，比较典型的例子是在线视频公司Netflix，它已经把整个基础架构都迁移到了亚马逊云之上，而且使用的是不与任何第三方共享的基础设施，从本质上说这是一种基础架构即服务的外包。
认知一：
胜者全赢这句话来自于英文的俗语WinnerTakesAll。
在公有云领域尤其如此，从市场份额、营收规模上看，亚马逊的AWS如日中天（见图1-12），它一家的份额比第2到第100家IaaS服务提供商的总和还要高，而且据悉AWS也是唯一一家截至2015年年底有盈利的公有云运营商，其他云服务商看来还要水深火热很久了。
图1-12AWSvs.其他认知二：
规模经济效益这句话也是源自英文EconomiesofScale。
当云计算的规模较小的时候，相对的亏损比例会很高，而盈利的能力难以体现，只有当规模越来越大的时候，才会逐渐降低亏损并最终实现正向盈利，而我们目前看到的情况是，市场上只有AWS做到了，其他家还在不断探索和继续增长规模，而在背后支撑我们具有这一信念的经济学理论就是规模经济效应。
举个简单的例子，一个加工厂有1,000名工人一个月生产10,000双袜子，那肯定是亏损的，只有达到1,000,000双以上的规模才会扭亏为盈。
云计算也是一样的道理。
分分类类特点、特点、优优势势成成本本降低了降低了CapEX（云（云计计算开算开销销一般一般计计入入OpEx）降低整体开降低整体开销销、绿绿色、色、节节能能技技术术实现简实现简捷、部署方便、自捷、部署方便、自动动化化高高弹弹性（无限可性（无限可扩扩展存展存储储空空间间、网、网络带宽络带宽）人人员员降低培降低培训训开开销销只需要很小的只需要很小的维护团维护团队队商商务务QoS/SLA支支持持规规模效模效应应表1-2云计算的优点1.2.3云的形态并非一成不变前面我们了解了不同形态的云所具有的特点，并列出了一些规则来帮助人们决策到底要选择哪种云可能最适应各自的业务需求。
在拥抱云的过程中，大量的东西需要做出改变，从人的思维方式，到团队的合作方式，到客户的接洽方式，甚至是整个社会的运作方式都在逐步产生巨大的变化。
这一小节我们就来谈一谈变化中的云、变化中的IT。
1.2.3.1云计算带来的三大变革1基础设施。
2运营模式。
3应用。
图1-13IT变革的三步走换一个维度来看上面提到的三大变革，如图1-14所示。
图1-14云的三大变革第一变化是基础设施（Infrastructure）。
第二变化是运营模式。
第三变化就是应用。
1.2.3.2运营模式变革中的5+1+1运营模式的变革是为了更好地服务基础设施与应用的变革，其主要的变化可以用如下的5+1+1来表达。
需求设计实现验证维护图1-15瀑布流开发模式开发配置测试图1-16敏捷开发流程图发布评估轻监轻监管（比起瀑布流开管（比起瀑布流开发发需要更少需要更少项项目目监监管管）重互信（听起来像是社会主重互信（听起来像是社会主义义高高级阶级阶段段）喜喜变变更（即便在开更（即便在开发发的晚期的晚期阶阶段）段）强强交流（交流（强强化商化商务务与开与开发发交流交流频频率）率）快迭代（高快迭代（高频频迭代迭代-从年从年月月周周天天）评评估估项项目目进进展的金展的金标标准是准是可运可运转转的的软软件件设计图1-18新IT角色出现图1-17瀑布式敏捷开发1.2.3.3云迁移越来越多的初创型公司在早期阶段可能会因为初始化投入成本较低而选择公有云服务，最常见的是从云主机入手，逐渐延伸到云存储、云数据库、云加速器等服务，但是随着业务的发展，到达某一个阶段的时候，就会出现以其他云形态来补充或者是从一个云服务提供商迁移到另外一家提供商的需求，如图1-19所示。
图1-19不同形态云之间的转换云迁移的诱发因素多种多样，可归纳为如下几种。
性价比：
客户永远在追寻更高的性价比，仅此而已。
功能导向：
A云不能完成的功能如B云可以就会迁移到B。
策略导向：
如compliance（合规）要求变化在原有云无法达到。
云迁移的方向可以是在任何两朵云之间双向或单向的迁移。
迁移从应用到数据、到基础架构，都可能被涵盖。
有的迁移像搬家一样是一次性的（One-off），有的迁移是具有随机性和重复性的。
最典型的例子有云爆发（Cloud-Bursting，指当在私有云中运行的应用在访问爆炸式增长后会临时使用公有云服务来保证服务不间断）以及混合云（见图1-20）等。
图1-20混合云架构中负载的分配与迁移图1-20中描绘的是一幅典型的混合云架构场景，我们用一张表（见表1-3）来说明公有云和私有云在一个混合云框架下各自的侧重点如何。
表1-3混合云架构中公有云vs.私有云混合云架混合云架构构公有公有云云私有私有云云负负载载新新应应用、基用、基础础工工作作高性能高性能应应用、关用、关键键任任务务硬硬件件商品化硬件、商品化硬件、DAS（直（直连连）存）存储储存存储阵储阵列、定制化、高端硬列、定制化、高端硬件件虚虚拟拟化化虚虚拟拟机、容机、容器器裸机、虚裸机、虚拟拟机、容机、容器器应应用用Web类为类为主主大数据分析大数据分析类类、传统应传统应用用我们在这里也给大家介绍一些逐渐形成潮流的云迁移和云间数据交换的场景。
场景一：
云间数据交换。
互联网公司在业务发展初期大量使用公有云服务早已形成了一种定式，但是，随着业务的发展，特别是需要处理的数据量的爆发式增长，有一些例如大数据分析的业务由于公有云服务商品化硬件的限制（如单机的CPU和内存限制），不得不考虑自建数据中心（私有云）来完成，那么就涉及在公有云与私有云间的数据传输成本与效率问题，通常最高效的方式是在两朵云之间拉设光纤专线（中美之间的网络成本存在很大的差异，美国的网络宽带成本远低于中国，所以还要评估拉专线方式是否适合具体的业务需求），当然如果两朵云所处的数据中心在物理网络上距离越近效果越好。
比如一家地处硅谷MountainView的公司，它在AWS的EC2主机位于马路对面的数据中心，而其自建的Cassandra集群就在其隔壁的ISP数据中心里面，那么建立一条连接彼此的10Gbit/s的专线，则专线传输几乎是在高速局域网里进行数据传输的节奏。
当然，前面的这个例子是比较理想的场景，只需要关心数据如何在两个数据中心之间进行交换，这个问题可以进一步降解为四步。
1源数据传输准备（Staging）：
提取、去重、压缩、加密等。
2数据分发与传输（Transform）。
3接收源数据（Receive）：
解密、解压、重建。
4数据重构（Apply）。
图1-21展示的是一个典型的从源数据中心向目标数据中心通过分布式、P2P公共网络来传输数据的架构，该架构意图达到高效、可靠、分布式数据传输的效果，它同样适用于基础架构迁移的场景。
图1-21云迁移场景一、二场景二：
跨云的基础架构迁移。
基础架构的迁移是指要把IaaS以及之上所有的平台、服务、应用及数据完全迁移。
这其中最大的挑战是对业务可持续性的要求。
如果对在线业务的下线时间（Downtime）是零容忍，那么这就是一个经典的第三平台无缝衔接大数据迁移场景。
参考图1-21，我们来简单描述一下如何实现无缝、无损数据迁移（为简化设计起见，假设源与目标数据中心具有相同、类似的硬件配置）。
对源数据中心进行元数据提取（Metadata）。
在目标数据中心重构基础架构（IaaSReplication）。
非实时数据的大规模迁移（Non-real-timeDataTransferring）。
在目标数据中心启动服务、应用进入备用状态（Standby）。
以迭代、递增的方式在源、目标数据中心进行实时数据同步。
目标数据中心调整为主服务集群（Cut-Off/Switch-Over）。
持续数据同步、状态监控（ContinuousMonitoring）。
源数据中心下线或作为备用基础架构（Offline/Online）。
1.3关于云计算效率的讨论1.3.1公有云效率更高？
误解：
公有云具有更高的效率。
首先我们需要知道到底效率指的是什么。
这是个亟需澄清的概念。
在这里效率是指云数据中心中的IT设备的资源利用率，其中最具有指标性的就是综合CPU利用率。
我们在本小节着重讨论CPU的资源利用率在数据中心中我们习惯用PUE（PowerUtilizationEfficiency）来表示电力资源的利用率，它的计算公式：
PUE=，其中C表示制冷、取暖等为保持机房环境温度而耗费的电量，P表示为机房非IT设备供电所耗费的电量，I为IT设备耗电量，显然PUE值不可能小于等于1，事实上全球范围内的各种云机房平均PUE2，而最先进的机房如谷歌和Facebook几乎可以达到PUE=1.1甚至1.06，相当惊人的高效电能利用。
有鉴于此，中国2013年开始要求新建的数据中心PUE1.5，原有改造的数据中心PUE2。
图1-22中列出的是2012年中国数据中心的平均能耗分配，在PUE=2.0的情况下，IT设备与其他设施耗电各占50%，其中服务器在IT设备中为大头，占比50%，存储其次，最小的是网络这一数据也从另一个角度验证了为什么我们要把服务器CPU的利用率作为主要指标来衡量资源利用率。
图1-22数据中心能耗分配图1-23列出了目前市场上主流的公有云、私有云的平均服务器主机CPU利用率比较。
图1-23公有云、私有云CPU利用效率比较图中的数据可以清晰地说明公有云的CPU平均利用率远低于私有云，甚至业界翘楚亚马逊的AWS和微软的Azure都只有10%上下，相当于每10台服务器只有一台在满负荷运转而另外9台在空转，而同比私有云环境下的谷歌可以达到30%利用率，更有甚者EMC旗下的Virtustream甚至能达到惊人的70%。
究其原因，公有云较低的IT资源利用率的成因是公有云业务场景的多样化与负载高度不可预知性。
当CPU资源在被分配给某用户后，如果没有被该用户充分利用，就会存在CPU空转，进而造成事实上的浪费。
同样的问题也存在于其他资源分配上，例如网络带宽、磁盘空间等。
这是基于时间共享（Time-Sharing）“虚拟化”的必然结果。
类似的基于时间共享的技术应用还有很多，比如蜂窝电话网络。
时间共享的原本设计原则就是“公平分配”以确保给服务对象平均分配资源，每个被服务对象在单位时间内可获取同样多的资源，但平均主义也会造成在均分资源后因资源被闲置、空转而形成的事实浪费。
那么如何提高云数据中心的资源利用率呢？
从数据中心能耗分布整体而言，每在云主机服务器组件（尤其是CPU）消耗1W，在不间断电源、空调制冷以及配电箱、变压器等其他设备就会连带消耗1.84W。
反之，如果能让CPU少消耗1W，会为整个数据中心节能2.84W（图1-24是Emerson网络能源的统计数据）。
这种瀑布流式的“级联”的效应我们称之为CascadeEffect5（叶栅效应、级联效应）。
服务器组件1.0WDC-DCAC-DC0.49W电力分布UPS0.18W制冷1.07W变压器、开关设备0.1W图1-24数据中心能耗级联效应（CascadeEffect）数据中心里市电是先通过交流到直流转换来对储能系统充电，储能系统最常见的是UPS电池（或飞轮。
图1-25中列出了储能系统的三大类，最常见的是电化学储能方式，即我们常说的UPS电池系统，机械储能系统也经常被用到，电磁储能较少见，但未来如果相关技术有所突破，在储能效率上也会相应提高），UPS再把直流电转换为交流电对电源分配单元（PDU）供电，在这个二元连续（ACDCAC）的转换过程中电力存在损耗以及生成大量废热需要制冷系统工作来降温，结合图1-22与图1-24可知在供电与制冷环节耗费的电力占整个数据中心能耗的10%47%之多。
图1-25IDC储能技术分类如何提高UPS系统效率甚至是找到UPS替代方案是业界的主要努力方向。
谷歌的经验是采用分布式UPS及电池系统直接对服务器机柜进行交流供电，在此过程中仅需要一次交流到直流转换，由此达到了99.9%的UPS效率，远高于业界平均的80%90%。
其他常见的做法还有提高UPS到PDU电压、更新升级UPS电池系统或直接对服务器进行高压直流输电等。
UPS替代方式也越来越受到业界的重视。
例如使用燃料电池技术或智能电源虚拟化技术等，它们的一个共性是在整个供电过程中不再需要UPS、PDU和变压器单元，开关设备也变得简单。
图1-26展示了使用软件定义的电源技术前后数据中心配电系统的变化。
图1-26软件定义的电源控制技术在数据中心中有严格的温度与湿度控制来保证IT设备在最优环境下发挥性能。
最新的数据中心以及改造的数据中心中通常都会对冷热气流管理（见图1-27），例如冷通道、热通道交替排列（见图1-28）、规范布线（见图1-29）。
图1-27IDC冷热气流管理图1-28服务器机柜冷热通道交替排列图1-29IDC布线管理1.3.2云计算优化要论云数据中心需求侧优化的核心是提高IT设备的利用率。
提高过程通常分两步走：
1IT设备、资源虚拟化（Virtualization）；2数据中心云平台化（CloudPlatformization）。
1IT资源虚拟化云数据中心的基本特点是多租户（Multi-tenancy），对多租户场景最好的支持是资源虚拟化。
虚拟化的进程业界最早是从服务器虚拟化开始的，紧随其后的是网络虚拟化，再之后的是存储虚拟化，相关的详细讨论可参考笔者的另一部专著软件定义数据中心：
技术与实践。
值得指出的是虚拟化是个宏观的概念，它包括硬件虚拟化，也包括软件虚拟化，但最终是通过软件接口与用户层应用对接，这也是为什么我们称之为软件定义的数据中心。
此前我们一直把计算、网络与存储称之为软件定义数据中
升级会员 