云计算和大数据基础知识.docx

1、云计算和大数据基础知识1:100. 云计算 （一）大数据 （BigData）1.定义： 海量数据或巨量数据， 其规模巨大到无法用当前 主流的计算机系统在合理时间内获取、存储、管理、处理并提取以帮 助使用者决策。2.特点： 1）数据量大 （Volume） PB 级以上2）快速 （Velocity ） 数据增长快3）多样 （Variety ） 数据来源及格式多样4）价值密度低 （Value ） 从大量、多样数据中提取价值的体系结构5）复杂度 （ Complexity ） 对数据处理和分析的难度大3.大数据与云计算的关系： 从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样 密不可分。 大数据

2、必然无法用单台的计算机进行处理， 必须采用分布 式计算架构。它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术二)云计算 (CloudComputing)1.定义： 1）云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上， 使各种应用系统能够根据需要获 取计算力、存储空间和信息服务。 / 分布式计算2）云计算是通过网络按需提供可动态伸缩的廉价计 算服务。2.特点： 1）超大规模2）虚拟化3）高可靠性4）通用性5）高可伸缩性6）按需服务7）极其廉价3.服务类型分类：1）SaaS （软件即服务 : ：SoftwareasaService

3、） / 针对性更强， 它将某些特定应用软件功能封装成服务 如： SalesforceonlineCRM2）PaaS （平台即服务： PlatformasaService ） / 对资源的抽象层次更进一步，提供用户应用程序运行环境如： GoogleAppEngine,MicrosoftWindowsAzure3）IaaS （基础设施作为服务：InfrastructureasaService ） / 将硬件设备等基础资源封装 成服务供用户使用 ，如： AmazonEC2/S34.云计算的实现机制（体系结构）1）SOA（面向服务的体系结构） ：它将应用程序的不同 功能单元（称为服务） 通过这些服务之

4、间定义良好的接口和契约联系 起来。使得其服务能以一种统一的、通用的方式进行交互。SOA可以看作是 B/S 模型、XML/WebService技术之后的自然延伸。2）管理中间件：（关键部分）3）资源池层： 将大量相同类型的资源构成同构或接 近同构的资源池。4）物理资源层： 计算机、存储器、网络设施、数据库和软件等5.云计算与网格计算1）网格是基于 SOA、使用互操作、按需集成等技术，将分散 在不同地理位置的资源虚拟化为一个整体。2）关系类似于 TCP/IP 协议之于 OSI 模型6.云计算与物联网1）物联网有全面感知，可靠传递、智能处理三个特征。云计算提供对智能处理所需要的海量信息的分析和处理支

5、持2）云计算架构与互联网之上，而物联网依赖于互联网来提供 有效延伸。因而，云计算模式是物理网的后端支撑关键。*1.1:1.Google 云计算原理（一）文件系统 GFS1）系统架构2）实现机制 :1节点分类： Client Master ChunkServer2Master 负责管理。 Client 与 Master 之间只有控制流， 而没 有数据流 【数据流与控制流分离】3Client 可以同时访问多个 ChunkServer 。【高度的 I/O 并行】3）特点1采用中心服务器 【Master 掌握ChunkServer 情况，方便实现负载均衡】2不缓存数据3在用户态下实现4）容错机制1Ma

6、ster 容错 ： a. 对应 ChunkServer 留有备份2ChunkServer 容错： a.多个副本备份 （3个）b.GFS每个文 件被分为多个 Chunk（64MB）c.Chunk分为 Block（64kb）,每个 Block 对应一个 32bit 校验和（二）分布式计算编程模型 MapReduce1）编程模型1划分为 M个 Map，每一个 Map针对不同的原始数据，互相独 立、并行操作。2Reduce操作则是对每个 Map产生的中间结果进行合并。每 个 Reduce 所处理的最终结果互不交叉，通过简单相连即可形成完整 的结果集。PS: Map:（inkey,invalue） -N

7、 个 MapReduce:（key（value1,value2,.） - 对相同的 Key 对应的 value 进行并行处理 / 统计单词出现次数， 每个 Map统 计一部分文本， Reduce进行合并。2）实现机制3）容错机制1Master 失效：周期性地设置检查点，一旦任务失效，则从 最近一个检查点重新执行2Worker 失效： Master 周期性地 pingWorker,Worker 不答复 即失效，任务调度分配给其他 Worker（三）分布式锁服务 Chubby1）作用： Chubby是 Google 设计的提供粗粒度锁服务的一个文件 系统，它基于松耦合分布式系统，解决了分布的一致性

8、问题2） Paxos算法1proposers（ 提议 ）- acceptors（ 接收并做出选择 ） 3leaner（ 决策 ） / 条件？3）实现（四）分布式结构化数据表 BigTable1）作用1基于 GFS和 Chubby的分布式存储系统。/ 类似数据库，存储了 Google 海量数据 ，用户通过Key 查询2）数据模型 行、列、时间戳 ：（row:string,column:string,time:int64 ） string/ 依次对应于三级索引3）系统架构Chubby保证同一时间内只有一个主服务器（ MasterServer ）4）主服务器1新子表分配 子表服务器状态监测 子服务器

9、之间的 负载均衡5）子表服务器 BigTable 中的实际数据以子表的形式保存在子表服务器上。子表服务器数据存储格式： SSTable。（SSTable 文件存储于 GFS中） 较新的数据存储于内存表（写操作） &较早的数据存储在 SSTable中（读操作）。（五）分布式存储系统 Megastore1）一种介于传统的关系型数据库和 NoSQL之间的存储技术， 尽可 能达到高可用性和高可扩展性的统一2）底层数据存储于 BigTable/ 应用于 Google 旧时的系统，目前新技术为 Spanner（六）分布式监控系统 Dapper1）Google 基于故障驱动而设计的分布式系统的监控基础架构。

10、* 核心技术： 最关键的代码基础是基本 RPC、线程和控制流函 数库的实现2主要功能是实现区间创建、 抽样和在本地磁盘上记录 日志。3将复杂的功能实现限制在一个轻量级的核心功能库 中保证了 Dapper 的监控过程基本对应用层透明。*二次抽样技术*1.2:2.Amazon 云计算*1.3:100. 桌面云（一）云计算（ CloudComputing ）1）是一种互联网上的资源利用新方式， 可为大众用户依托互联网 上异构、自治的服务进行按需即取的计算 , 云计算的资源是动态易扩 展而且虚拟化的，通过互联网提供。（二）云桌面1）基本定义：云桌面是云计算时代的典型应用：基于分布式云计算存储技术，集成

11、互联网精华应用，依托高度加密算法，为接 入用户提供服务。2）价值体现：信息安全（数据存储在云平台）2维护、部署方便（云管理软件）3节能、节约（只需提供终端）3）建设方案：在企业内部集中部署服务器、磁阵，建设好云平台的 IT 环境，安装相关的云桌面软件，和企业需要的办公软 件。2在员工办公桌上，部署云终端 +显示器 +键盘 +鼠 标，插上网线连上云桌面即可实现正常的办公。4) Citrix ：简介： Citrix 即美国思杰公司，是一家致力于云计算虚拟化、虚拟桌面和远程接入技术领域的高科技企业（三）桌面云1）桌面云：可以通过瘦客户端或者其他任何与网络相连的设备来访问跨平台的应用程序，以及整个客户

12、桌面。/ 桌面云与云桌面，是同一对象的不同侧重点的阐述。2）业务价值：集中化 节省维护、管理成本安全性高 数据存储于服务器端，客户端存储影像3节能减耗本减少3）桌面云架构：瘦终端：瘦终端是我们使用桌面云的设备，一般是一个内嵌了独立的嵌入式操作系统网络接入：桌面云提供了各种接入方式供用户连接。 （包括普通连接和安全连接方式）控制台：控制台可以对运行着虚拟桌面的服务器进行配置，例如配置网络连接， 配置存储设备等等。还可以监控运行服务 器的 CPU、内容情况等指标。身份认证：在桌面云中一般是通过 ActiveDirectory 或者 LDAP这些产品来进行用户的认证和授权的。设置和修改密码，设 定不

13、同的角色和权限。应用程序：云桌面架构提供了共享服务的方式来提供桌面和应用。这样可以在特定的服务器上提供更多的服务。服务器：桌面云解决方案中，更多的应用方式是把各种应用分发到虚拟桌面，这样客户只需要连到一个桌面就可以使用所有的应用，（四）云终端1）基本定义：云终端是一台不需要 CPU，硬盘和 CD-ROM的多用户网络终端设备通过虚拟化解决方案， 将一台计算机的全部软硬件 资源，提供给多个用户（无限制）独立使用，拖（变 / 转）成多个云 终端。2）设备特征： 设计轻巧低功耗3节省硬件成本（不需要客户端主机）4节省软件成本（仅需一个服务器软件成本）5节省维护、管理成本（云中心统一管理）3）运算模型：

14、终端机是一种没有硬盘驱动器的计算设备，它显 示来自远程服务器或刀片式 PC的数据和应用程序。基于服务器的计算模型4）解决方案： TCSC-PCSTATIONServer-basedComputing（五）瘦客户机1）基本定义： 瘦客户机（ thinclient ）是使用专业嵌入式处理器、小型本地 DOM电子盘、精简版操作系统的基于 PC工业标准 设计的小型行业专用商用 PC。/ 具有独立 CPU、显卡等，相比于普通 PC更加可靠， 更低功耗和更高安全性。2）区别于云终端：云终端是采用 ARM架构设计 RISC 精简指令集 ， 没有 CPU、硬盘、内存条的一个网络终端。用软硬件一体化设计，即利于维护又方便管理 ;USB控制开放，故障率极低。瘦客户机则采用 X86架构设计 CISC 复杂指令 集 ，继承传统电脑 PC的特色，拥有 CPU、硬盘、内存条等，具有独 立的操作系统。所以我们又称之为迷你主机或迷你电脑3瘦客户机的桌面虚拟化只能通过 RDP协议进行部 署方案，不能实现网络在线高清视频播放， 所以不能用在多媒体教学 方案中，应用的行业比较有限。瘦客户机只是作为云终端的一款过度性产品，随着云计算与大数据据时代到来， 越来越多的企业与用户最终会使用云终