云计算和大数据基础知识.docx

云计算和大数据基础知识.docx

《云计算和大数据基础知识.docx》由会员分享，可在线阅读，更多相关《云计算和大数据基础知识.docx（10页珍藏版）》请在冰点文库上搜索。

云计算和大数据基础知识

1:

100.云计算

（一）大数据（BigData）

1.定义：

海量数据或巨量数据，其规模巨大到无法用当前主流的计算机系统在合理时间内获取、存储、管理、处理并提取以帮助使用者决策。

2.特点：

1）数据量大（Volume）

PB级以上

2）快速（Velocity）

数据增长快

3）多样（Variety）

数据来源及格式多样

4）价值密度低（Value）

从大量、多样数据中提取价值的体系结构

5）复杂度（Complexity）

对数据处理和分析的难度大

3.大数据与云计算的关系：

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。

大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。

它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式

处理、分布式数据库、云存储和虚拟化技术

二）云计算（CloudComputing）

1.定义：

1）云计算是一种商业计算模型。

它将计算任务

分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。

//分布式计算

2）云计算是通过网络按需提供可动态伸缩的廉价计算服务。

2.特点：

1）超大规模

2）虚拟化

3）高可靠性

4）通用性

5）高可伸缩性

6）按需服务

7）极其廉价

3.服务类型分类：

1）SaaS（软件即服务:

：

SoftwareasaService）//针对性更强，它将某些特定应用软件功能封装成服务如：

SalesforceonlineCRM

2）PaaS（平台即服务：

PlatformasaService）//对资源的抽象层次更进一步，提供用户应用程序运行环

境如：

GoogleAppEngine,MicrosoftWindowsAzure

3）IaaS（基础设施作为服务：

InfrastructureasaService）//将硬件设备等基础资源封装成服务供用户使用，如：

AmazonEC2/S3

4.云计算的实现机制（体系结构）

1）SOA（面向服务的体系结构）：

它将应用程序的不同功能单元（称为服务）通过这些服务之间定义良好的接口和契约联系起来。

使得其服务能以一种统一的、通用的方式进行交互。

SOA可以看作是B/S模型、

XML/WebService技术之后的自然延伸。

2）管理中间件：

（关键部分）

3）资源池层：

将大量相同类型的资源构成同构或接近同构的资源池。

4）物理资源层：

计算机、存储器、网络设施、数据

库和软件等

5.云计算与网格计算

1）网格是基于SOA、使用互操作、按需集成等技术，将分散在不同地理位置的资源虚拟化为一个整体。

2）关系类似于TCP/IP协议之于OSI模型

6.云计算与物联网

1）物联网有全面感知，可靠传递、智能处理三个特征。

云计

算提供对智能处理所需要的海量信息的分析和处理支持

2）云计算架构与互联网之上，而物联网依赖于互联网来提供有效延伸。

因而，云计算模式是物理网的后端支撑关键。

*1.1:

1.Google云计算原理

（一）文件系统GFS

1）系统架构

2）实现机制:

1节点分类：

Client>Master>ChunkServer

2Master负责管理。

Client与Master之间只有控制流，而没有数据流【数据流与控制流分离】

3Client可以同时访问多个ChunkServer。

【高度的I/O并行】

3）特点

1采用中心服务器【Master掌握

ChunkServer情况，方便实现负载均衡】

2不缓存数据

3在用户态下实现

4）容错机制

1Master容错：

a.对应ChunkServer留有备份

2ChunkServer容错：

a.多个副本备份（3个）b.GFS每个文件被分为多个Chunk（64MB）c.Chunk分为Block（64kb）,每个Block对应一个32bit校验和

（二）分布式计算编程模型MapReduce

1）编程模型

1划分为M个Map，每一个Map针对不同的原始数据，互相独立、并行操作。

2Reduce操作则是对每个Map产生的中间结果进行合并。

每个Reduce所处理的最终结果互不交叉，通过简单相连即可形成完整的结果集。

PS:

Map:

（inkey,invalue）--->N个Map

Reduce:

（key（value1,value2,...））--->对相同的Key对应

的value进行并行处理//统计单词出现次数，每个Map统计一部分文本，Reduce进行合并。

2）实现机制

3）容错机制

1Master失效：

周期性地设置检查点，一旦任务失效，则从最近一个检查点重新执行

2Worker失效：

Master周期性地pingWorker,Worker不答复即失效，任务调度分配给其他Worker

（三）分布式锁服务Chubby

1）作用：

Chubby是Google设计的提供粗粒度锁服务的一个文件系统，它基于松耦合分布式系统，解决了分布的一致性问题

2）Paxos算法

1proposers（提议）--->②acceptors（接收并做出选择）>

3leaner（决策）//条件？

3）实现

（四）分布式结构化数据表BigTable

1）作用

1基于GFS和Chubby的分布式存储系统。

//类似数据库，存储了Google海量数据，用户通过

Key查询

2）数据模型行、列、时间戳：

（row:

string,column:

string,time:

int64）→string

//依次对应于三级索引

3）系统架构

Chubby保证同一时间内只有一个主服务器（MasterServer）

4）主服务器

1新子表分配②子表服务器状态监测③子服务器之间的负载均衡

5）子表服务器①BigTable中的实际数据以子表的形式保存在子表服务器上。

子表服务器数据存储格式：

SSTable。

（SSTable文件存储于GFS中）②较新的数据存储于内存表（写操作）&&较早的数据存储在SSTable中（读操作）。

（五）分布式存储系统Megastore

1）一种介于传统的关系型数据库和NoSQL之间的存储技术，尽可能达到高可用性和高可扩展性的统一

2）底层数据存储于BigTable

//应用于Google旧时的系统，目前新技术为Spanner

（六）分布式监控系统Dapper

1）Google基于故障驱动而设计的分布式系统的监控基础架构。

*核心技术：

①最关键的代码基础是基本RPC、线程和控制流函数库的实现

2主要功能是实现区间创建、抽样和在本地磁盘上记录日志。

3将复杂的功能实现限制在一个轻量级的核心功能库中保证了Dapper的监控过程基本对应用层透明。

*二次抽样技术

*1.2:

2.Amazon云计算

*1.3:

100.桌面云

（一）云计算（CloudComputing）

1）是一种互联网上的资源利用新方式，可为大众用户依托互联网上异构、自治的服务进行按需即取的计算,云计算的资源是动态易扩展而且虚拟化的，通过互联网提供。

（二）云桌面

1）基本定义：

云桌面是云计算时代的典型应用：

基于分布

式云计算存储技术，集成互联网精华应用，依托高度加密算法，为接入用户提供服务。

2）价值体现：

①信息安全（数据存储在云平台）

2维护、部署方便（云管理软件）

3节能、节约（只需提供终端）

3）建设方案：

①在企业内部集中部署服务器、磁阵，建设

好云平台的IT环境，安装相关的云桌面软件，和企业需要的办公软件。

2在员工办公桌上，部署云终端+显示器+键盘+鼠标，插上网线连上云桌面即可实现正常的办公。

4）Citrix：

①简介：

Citrix即美国思杰公司，是一家致力

于云计算虚拟化、虚拟桌面和远程接入技术领域的高科技企业

（三）桌面云

1）桌面云：

可以通过瘦客户端或者其他任何与网络相连的

设备来访问跨平台的应用程序，以及整个客户桌面。

//桌面云与云桌面，是同一对象的不同侧重点的阐述。

2）业务价值：

①集中化节省维护、管理成本

②安全性高数据存储于服务器端，客

户端存储影像

3节能减耗

本减少

3）桌面云架构：

①瘦终端：

瘦终端是我们使用桌面云的设备，一般是一

个内嵌了独立的嵌入式操作系统

②网络接入：

桌面云提供了各种接入方式供用户连接。

（包

括普通连接和安全连接方式）

③控制台：

控制台可以对运行着虚拟桌面的服务器进行

配置，例如配置网络连接，配置存储设备等等。

还可以监控运行服务器的CPU、内容情况等指标。

④身份认证：

在桌面云中一般是通过ActiveDirectory或

者LDAP这些产品来进行用户的认证和授权的。

设置和修改密码，设定不同的角色和权限。

⑤应用程序：

云桌面架构提供了共享服务的方式来提供桌

面和应用。

这样可以在特定的服务器上提供更多的服务。

⑥服务器：

桌面云解决方案中，更多的应用方式是把各

种应用分发到虚拟桌面，

这样客户只需要连到一个桌面就可以使用所

有的应用，

（四）云终端

1）基本定义：

云终端是一台不需要CPU，硬盘和CD-ROM的

多用户网络终端设备

＞通过虚拟化解决方案，将一台计算机的全部软硬件资源，提供给多个用户（无限制）独立使用，拖（变/转）成多个云终端。

2）设备特征：

①设计轻巧

②低功耗

3节省硬件成本（不需要客户端主机）

4节省软件成本（仅需一个服务器软件成本）

5节省维护、管理成本（云中心统一管理）

3）运算模型：

①终端机是一种没有硬盘驱动器的计算设备，它显示来自远程服务器或刀片式PC的数据和应用程序。

②基于服务器的计算模型

4）解决方案：

TCSC-PCSTATIONServer-basedComputing

（五）瘦客户机

1）基本定义：

瘦客户机（thinclient）是使用专业嵌入式

处理器、小型本地DOM电子盘、精简版操作系统的基于PC工业标准设计的小型行业专用商用PC。

//具有独立CPU、显卡等，相比于普通PC更加可靠，更低功耗和更高安全性。

2）区别于云终端：

①云终端是采用ARM架构设计[RISC精简指令集]，没有CPU、硬盘、内存条的一个网络终端。

用软硬件一体化设计，即利于维护又方便管理;USB

控制开放，故障率极低。

②瘦客户机则采用X86架构设计[CISC复杂指令集]，继承传统电脑PC的特色，拥有CPU、硬盘、内存条等，具有独立的操作系统。

所以我们又称之为迷你主机或迷你电脑

3瘦客户机的桌面虚拟化只能通过RDP协议进行部署方案，不能实现网络在线高清视频播放，所以不能用在多媒体教学方案中，应用的行业比较有限。

瘦客户机只是作为云终端的一款过度性产品，随着

云计算与大数据据时代到来，越来越多的企业与用户最终会使用云终