SAP HANA一体机技术白皮书分布式存储.docx
《SAP HANA一体机技术白皮书分布式存储.docx》由会员分享，可在线阅读，更多相关《SAP HANA一体机技术白皮书分布式存储.docx（72页珍藏版）》请在冰点文库上搜索。
SAPHANA一体机技术白皮书分布式存储
华为SAPHANA一体机
技术白皮书-集群版（分布式存储）
文档版本
V1.0
发布日期
2014-01-26
华为技术有限公司
版权所有©华为技术有限公司2013。
保留一切权利。
非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。
商标声明
和其他华为商标均为华为技术有限公司的商标。
本文档提及的其他所有商标或注册商标，由各自的所有人拥有。
注意
您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。
除非合同另有约定，华为公司对本文档内容不做任何明示或暗示的声明或保证。
由于产品版本升级或其他原因，本文档内容会不定期进行更新。
除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。
华为技术有限公司
地址：
深圳市龙岗区坂田华为总部办公楼邮编：
518129
网址：
前言
修改记录
日期
修订版本
描述
作者
2013-01-26
0.9
初稿
闵小勇00118697
2013-04-10
1.0
评审修改稿
闵小勇00118697
1SAPHANA概述
数字化浪潮正在开始席卷这个星球，如何实时快速处理巨大的数据量，需要一种创新性的处理设备，SAPHANA一体机就是这样一种设备。
本文档描述了基于华为FusionCube的SAPHANA一体机架构、软硬件及其配置形态，本文档供销售工程师、渠道商、高级业务经理以及希望用FusionCube部署高性能数据处理设施的客户。
1.1什么是SAPHANA一体机
SAPHANA是SAP公司于2011/06年推出的内存数据库软件平台产品。
SAPHANA一体机是将SAPHANA数据库软件和经过SAP认证的硬件基础设施结合而形成的一体机产品，其主要目标市场是数据仓库市场（OLAP），支撑企业进行实时的数据分析；同时，也支持交易式数据处理市场（OLTP）：
●SAPHANA是SAP提供的内存数据库平台；
●一般以软件+硬件+管理的一体机形式交付；
●交付主要由经过认证的硬件合作伙伴提供；
●适用于OLAP类型应用，也可以用于OLTP；
●SAP提供丰富的周边应用软件，包括数据复制、BI等；
●向应用层提供SQL\MDX\BICS接口；（MDX:
Multidimensionexpression,BICS:
BusinessIntelligenceConsumerServices）
●提供多种数据导入的方式；
●SAP历史上增长最快的产品；
●世界上最快的数据库，根据已经上线的2000多个例子，比客户原数据库系统快成百上千、甚至上万倍；
图1-1SAPHANA简介
1.2SAPHANA应用场景
图1-1SAPHANA应用场景简介
SAPHANA可以应用于多个场景：
●SAPHANA作为其他数据库的加速器；
●SAPHANA直接作为报表分析的数据源；
●SAPHANA直接用作OLAP分析型数据仓库：
●SAPHANA直接作为OLTP套件的数据库：
●SAPHANA直接作为SAP公司统一的数据库平台；
1.3SAPHANA一体机上下文
图1-1SAPHANA上下文
⏹DataSources和DataServices：
负责向SAPHANA提供分析数据，有些数据（SAPERPSystem）可以直接通过ReplicationAgent直接导入到SAPHANA，有些数据（SAPBWSystem和第三方系统）需要通过DataServices软件转换后导入SAPHANA。
⏹SAPHANAAppliance:
提供内存数据库的实现，进行数据的存储、查询、计算。
⏹AdminWorkstations：
是SAPHANA系统管理员的客户端，可以通过SAPHANAStudio等软件来管理和使用SAPHANA系统。
⏹EndUsersWorkStations：
是SAPHANA系统的终端用户客户端,终端用户可以通过Excel、WebBI等形式来管理和使用SAPHANA系统。
⏹SAPHANADatabaseclient提供JDBC、ODBC、ODBO、SQLDBC等接口，使得各应用软件可以以标准的SQL形式访问到SAPHANA数据库
1.4本文范围
华为SAPHANA一体机包括单机版（SingleNode）和集群版（ScaleOut）：
●单机版本，参见《华为SAPHANA一体机技术白皮书-单机版》
●集群版本的HANA一体机叫做华为FusionCubeSAPHANA一体机，其中集群版又包括两种：
●基于分布式存储的集群版本；如果无特别说明，本文范围都是指基于分布式存储的SAPHANA一体机的集群版本，有时候也叫做基于融合架构的SAPHANA一体机集群版本；
●基于SAN存储的集群版本；参见《华为SAPHANA一体机技术白皮书-集群版（SAN存储）》；
2华为SAPHANA一体机概述
2.1华为FusionCubeSAPHANA一体机
华为作为SAP的全球战略合作伙伴，联合推出了基于华为硬件平台的SAPHANA一体机，我们都统称为华为SAPHANA一体机。
单机版本基于华为RH5885机架式服务器实现，华为已经通过了全系列的单机版SAPHANA一体机认证（包括XS/S/M/L/L+系列）；
集群版本基于华为的FusionCube刀片式服务器，统称为华为FusionCubeSAPHANA一体机（本文后面也简称为华为SAPHANA一体机），目前有2种实现方式，包括：
●融合架构方案：
E9000+FusionStorage
●SAN存储方案：
E9000+IPSAN
本文档描述的是基于E9000+FusionStorage的FusionCubeSAPHANA一体机集群方案。
基于融合架构的华为SAPHANA一体机由SAPHANA内存数据库软件和华为的E9000基础设施组成。
通过采用分布式存储、高速SSD卡、一体化的安装和集成等技术，从而提供高密度、高性能、高性价比的SAPHANA一体机解决方案。
说明：
在华为FusionCube系列一体机产品中，SAPHANA一体机属于数据库基础设施的一种。
数据库基础设施在安装不同数据库软件的时候，可以分别叫OracleRAC（Real-timeapplicationCluster）数据库一体机、SybaseIQ数据库一体机、SAPHANA数据库一体机等。
2.2华为FusionCubeSAPHANA一体机销售形态
华为SAPHANA一体机主要属于被集成的销售形式，即由渠道商/分销商作为主界面与客户进行合同签订，华为提供SAPHANA一体机设备；根据与SAP的合同约定，华为提供SAPHANA一体机硬件设施部分的原厂服务；
华为SAPHANA集群方案有2种节点型号，分别是512G内存的节点（称为M型节点，即中型节点）和1T内存的节点（称为L型节点，即大型节点）；
SAPHANA销售时根据用户的源数据量，用户选择的节点型号，就可以计算出用户需要多大规模的集群。
SAPHANA以64G内存为单位进行软件License的销售。
硬件另外销售，不包含在SAPHANA数据库软件License里面。
硬件伙伴销售的范围包括：
硬件设备（计算、存储、网络）、硬件设备的服务、OS。
用户购买华为SAPHANA一体机需要获得2个License许可：
●SAPHANA软件License：
按照内存大小收费；此License可以由用户直接向SAP购买；
●FusionStorage软件License：
按照磁盘存储容量大小收费，按照每T的收费形式；
2.3SAPHANA一体机软硬件架构
2.3.1SAPHANA一体机集群架构
图2-1SAPHANA集群示意图
SAPHANA一体机集群版本由多个节点（Node）构成，本文约定如下对节点名称的叫法：
●SAPHANA节点：
构成SAPHANA集群的逻辑单元。
1个SAPHANA节点包括了指定规格的CPU、内存、Log盘和Data盘。
SAPHANA一体机销售时，就是按照SAPHANA节点的Size（即每个节点的内存大小）和个数进行报价的。
1个SAPHANA节点在物理上可以有多种表现形态，与硬件厂家的具体实现方案有关。
在华为方案中：
1个SAPHANA节点物理上对应1个CH242刀片，再加上由CH223或者CH222刀片构成的存储池的一部分。
●计算节点：
负责内存数据库计算的部分。
华为方案中，CH242刀片上安装有SAPHANA数据库，负责数据的计算，称为计算节点。
●存储节点：
在SAPHANA解决方案中，负责数据的持久化保存的部分，称为存储节点。
在华为方案中，数据的持久化保存在E9000中的CH223/CH222刀片上，因此一个CH223/CH222刀片就是一个存储节点；
一个SAPHANA节点肯定包括一个计算节点，但是不一定有物理上单独的存储节点；因此，有时候我们说SAPHANA节点，计算节点是同一个概念；
SAPHANA节点的角色（见图4）：
包括三类节点：
主节点、从节点、备用节点，这三类节点在物理部署时不能合设。
●主节点（Master）：
配置有3个，但只有一个激活（从3个Master配置角色中选举，这是SAPHANA软件本身的集群管理机制）。
起到全局事务协调器的作用。
保存计算节点集群信息的全局元数据。
●从节点（Slave）：
缓存需要的元数据，采用分布式架构，承担由主节点分配来的任务，执行对应的数据库操作。
一个集群内多个。
●备用节点（Standby）：
切换时接管故障节点。
一个集群可以0到多个。
正常情况下此节点的软件是运行的，只不过其内存数据库中没有数据，不能执行业务处理。
切换的过程是自动进行的。
图2-2SAPHANA节点角色示意图
SAPHANA节点的主要进程（见图5）：
●每个节点主要包括NameServer、IndexServer、EsEngine、StatisticsServer等进程。
●NameServer有配置角色和实际角色的区分，配置角色包括Master和Slave两种，只会有3个节点配置为Master角色，实际角色只会有一个节点是Master角色。
在实际Master角色的节点故障时，它只能从其他两个也是配置成Master角色的节点中选择1个；
●IndexServer也有配置角色和实际角色，配置角色包括Worker和Standby两种，Standby的配置角色可以是0个或多个；实际角色包括Master、Slave和Standby三种，只会有一个节点是实际的Master角色。
●NameServer和IndexServer是2个不同的集群，但是他们的实际Master角色保持一致
图2-3SAPHANA主要进程示意图
2.3.2SAPHANA一体机部署架构
图2-1SAPHANA主要进程部署示意图
在主节点上安装有：
●SAPHANAStudio:
SAPHANA数据库的管理客户端，可以进行SAPHANA数据库建模、配置、监控、告警等；
●SAPHANAClient：
数据库客户端软件，提供如ODBC等接口，供用户访问数据库数据；
●SAPHANADatabase：
内存数据库实现软件；其部署包括几个进程：
⏹NameServer:
命名服务器，负责集群管理，三个Master角色，1个激活Master角色；
⏹IndexServer:
索引服务器，是真正执行数据库操作的模块。
分为Master、Slave、Standby角色。
⏹StatisticsServer：
统计服务器，负责记录数据库的运行信息，只在Master上运行。
●SAPSMDAgent:
系统统一管理的代理，用于在整个SAP集成解决方案中对SAPHANA进行管理；
●SUMforSAPHANA：
软件升级管理器；Master节点通过这个软件，自动连接到SAP公司的软件更新平台，负责master、slave、standby所有节点上SAPHANA相关软件的升级。
OS和驱动是由硬件厂家厂家负责安装和升级的。
●SAPHostAgent：
主机代理，来自远端的重启/停止等对节点的操作命令通过这个模块来实施；这些操作都是对SAPHANA软件的操作。
●SAPCAR：
安装脚本，这些脚本只对SAPHANA软件起作用。
在其他节点（从节点和备用节点上）
●SAPHostAgent：
●SAPHANAClient：
●SAPHANADatabase：
●SAPSMDAgent：
2.3.3SAPHANA一体机软件架构
图2-1SAPHANA主要软件架构示意图
SAPHANADatabase是整个系统的核心部分，图中红色框之内是SAPHANADatabase按照功能区分的主要模块：
●SessionManagement:
会话管理模块，负责与各种业务客户端软件进行连接管理的模块；
●ReplicationServer和LoadController:
复制管理模块，负责将ERP/SAPNetWeaver/第三方数据库等的数据复制到SAPHANA数据库；
●TransactionManager：
事务管理模块，负责对数据库事务管理，当一个事务完成后，会要求做数据持久化操作；
●AuthorizationManager:
认证管理模块，对连接到SAPHANA数据库的客户端用户进行权限管理；
●MetedataManager：
元数据管理模块。
它会与SAPHANAStudio中的Modelling以及SAPDataService（SAP一种ETL服务软件）相配合，对所有建立到SAPHANA数据库中，或者导入到SAPHANA数据库中的数据的元数据进行管理；
●SQLParser：
SQL语句解析优化器；负责对于业务客户端来的SQL请求进行分析和解析，将一个SQL工作分解成多个子任务，分发给所有的节点去完成；
●MDX:
多维表达式，对来自Excel等应用端的复杂计算进行分析和解析；
●SQLScript：
提供类似于存储过程的复杂编程能力；
●CalcEngine：
执行SQL计算的模块；
●ROWStore：
行记录内存数据库；
●ColumnStore：
列存储内存数据库；
●PageManagement和Logger：
持久化保存处理模块，负责将内存数据库的记录同步或者异步的写入SSD或者HDD中
3FusionCubeSAPHANA一体机系统组成
3.1系统总体架构
如下是华为FusionCubeSAPHANA一体机的总体架构图：
图3-1华为FusionCubeSAPHANA一体机总体架构
华为SAPHANA一体机基于华为的融合基础设施FusionCube一体机（HuaweiFusionCubeConvergedInfrastructure）,这是华为公司IT产品线云计算领域的旗舰产品。
FusionCube遵循开放架构标准，在12U机框中融合刀片服务器、分布式存储及网络交换机为一体，无需外置存储、交换机等设备，并预集成了分布式存储引擎及云管理软件，资源可按需调配、线性扩展。
●计算/存储/网络融合设备：
硬件设备使用E9000，支持计算、存储、交换、电源、风扇等部件的模块化设计，计算、存储、网络都在E9000框内部署完成，计算和存储节点可按需灵活配置。
支持丰富的交换模块，如GE,10GE,FC,FCoE,IB等
●FusionStorage：
使用分布式云存储技术，通过合理有序组织存储刀片服务器的本地硬盘，提供高性能高可靠的块存储业务。
●FusionManager：
负责云平台资源管理、弹性调度以及操作维护等综合管理功能，是云平台管理的核心，提供基于web的统一维护界面；整个系统的业务通过云管理FusionManager呈现；用户管理、集群管理、业务模板管理、虚拟机管理、桌面发放、统一硬件管理、告警、监控等功能均由FusionManager对外提供。
●文件系统：
为实现与SAPHANA数据库层的接口对接，华为适配了OCFS2集群文件系统，以及XFS本地文件系统。
XFS和FusionStorage的结合使得华为可以提供基于块接口的存储，由于无需采用NFS，性能和可靠性都有提高；
3.2计算存储网络融合设备
3.2.1E9000高密度机框
华为FusionCubeSAPHANA的硬件采用华为公司自研的TecalE9000（以下简称E9000）机箱产品，这是一款计算、存储、网络融合的硬件设备，提供12U空间，可安装华为E9000系列计算节点、存储节点、业务处理节点以及相应的资源扩展节点。
●可配置8个横插的全宽计算节点或者16个半宽计算节点，支持槽位拆分。
在SAPHANA一体机中，全部使用全宽刀片节点。
●半宽槽位散热能力850W。
全宽槽位散热能力1700W。
●半宽槽位最大支持2P+24DIMM的计算节点。
●全宽槽位最大支持4P+48DIMM的计算节点。
●单机箱支持32CPU/480core计算密度，最大12TB内存。
●背板最大交换容量15.6Tbps。
●4个（2对）交换槽位，支持Eth/FC/FCoE/IB等多种交换协议类型，支持直出I/O接口。
●FusionCube一柜最大可支持3个E9000机框；
图3-1E9000外观
3.2.2E9000高密度刀片
FusionCube支持多种类型的刀片，其中在SAPHANA一体机中使用的有：
2.2.2.1基于WestmereEX的CH242计算刀片
图3-1CH242计算刀片
主要参数：
形态
全宽单槽4S刀片服务器
处理器数量
2/4个
处理器型号
IntelXeonWestmereE7-4800系列6核、8核、10核处理器
内存插槽
32个DDR3DIMM插槽，最大内存容量1TB
硬盘数量
8个2.5英寸SSD、SAS或SATA硬盘
RAID支持
支持RAID0、1、10、5、50、6、60，1GBRAIDCache
PCIe扩展
支持扩展2个PCIex16MEZZ扣卡
支持扩展1个PCIex8FHHL的标准卡
操作系统支持
MicrosoftWindowsSever2008/2012S
SUSELinuxEnterpriseServer
CitrixXenServer
VMwareESX
工作温度
5℃-40℃
尺寸（WDH）
423mm*525mm*60.46mm
主要特点：
●超强性能：
全宽槽位支持部署4个E7-4800系列CPU，32根内存，最大内存容量达1T
●超大存储：
全宽槽位最多可配置8个2.5寸硬盘，最大硬盘容量8T，适合对性能和容量均要求较高的数据库应用
●灵活开放：
支持标准PCIe扩展插槽，用户可灵活选择标准PCIe插卡进行业务优化
2.2.2.2基于IvybridgeEX的CH242V3计算刀片
结构形状同CH242，主要不同：
⏹CH242支持的CPU是Westmere平台；CH242V3升级到Ivybridge平台，且每个CPU最大有15核。
⏹CH242只支持1个MZ512的10GE网卡；CH242V3支持2个MZ512的10GE网卡。
⏹CH242母板上自带RAID卡；CH242V3母板不带RAID卡，需要另外配置。
2.2.2.3CH222管理刀片
图3-2CH222管理刀片
CH222刀片具有如下特点：
（1）2PIntel®Xeon®E5-2600V1/V2系列高性能处理器；
（2）24个DIMM插槽，支持高达768GDDR3内存；
（3）最大支持15个2.5英寸SSD、SAS或SATA硬盘；
（4）独特热插拔设计，支持单个硬盘带电更换,可选支持1个PCIex16全高3/4长标准插槽。
CH222作为管理刀片使用时，仅安装2个硬盘作为系统盘，其他硬盘位置空着。
2.2.2.4CH222存储刀片
参数同CH222管理刀片，仅是在实际使用时硬盘配置稍有不同。
除了2个系统盘外，还安装有12或者13个硬盘。
2.2.2.5CH223存储刀片
图3-3CH223存储刀片
主要参数：
形态
全宽单槽2S刀片服务器
处理器数量
1/2个
处理器型号
IntelXeonE5-2600或IntelXeonE5-2600V2处理器
内存插槽
24个DDR3DIMM插槽，最大内存容量768GB
硬盘数量
2个2.5英寸SSD、SAS或SATA硬盘
RAID支持
支持RAID0、1
PCIe扩展
支持扩展2个PCIex16MEZZ扣卡（CH220/CH221）（注：
MEZZ2被占用）
支持扩展4个PCIex8FHHL标准卡（CH220）或2个PCIex16FHHL标准卡（CH221）
操作系统支持
MicrosoftWindowsSever2008/2012
RedHatEnterpriseLinux
SUSELinuxEnterpriseServer
CitrixXenServer
VMwareESX
工作温度
5℃-40℃
尺寸（WDH）
423mm*525mm*60.46mm
主要特点：
●超强扩展：
支持标准PCIe扩展插槽，最大支持全宽槽位部署4个PCIe卡，每个可以插2.4TBSSD。
●1.5倍高内存：
支持1.5倍高大内存，大内存应用性价比业界第一
3.2.3E9000高性能交换
以太网交换
HANA一体机以太网交换采用CX310交换模块。
CX310是E9000机框式服务器的交换控制单元，为整个系统内部各服务槽位提供数据交换功能，并集中对外提供业务接口和管理接口。
物理图如下：
图3-1CX310外观
其支持的功能和性能指标如下：
表3-1CX310指标
项目
说明
面板接口数量
●提供1个BMC串口和1个SYS串口。
●提供16个上行10GE以太网光口。
交换容量
1.28Tbit/s
包转发率
960Mpps
Ethernet
●支持全双工、自动协商工作方式
●支持GE、10GE速率
VLAN
●支持Access、Trunk、Hybrid方式
●支持defaultVLAN
●支持QinQ、增强型灵活QinQ
●支持MUXVLAN
QoS
●支持基于Layer2协议、Layer3协议、Layer4协议、802.1p优先级等的组合流分类
●支持ACL、CAR、Remark、Schedule等动作
●支持PQ、WRR、DRR、PQ+WRR、PQ+DRR等队列
升级会员 