H3SE存储培训教材-应用技术.ppt

1、H3SE H3SE 存储培训教材存储培训教材存储相关的应用技术存储相关的应用技术日期：2007421存储产品部总工办学习目标学习目标掌握和存储相关的掌握和存储相关的ITIT应用技术，扩大知识面应用技术，扩大知识面了解各种了解各种ITIT应用技术和存储的关系，从应用技术和存储的关系，从ITIT的角度理解存储的角度理解存储了解存储在各种应用中的作用和关注点了解存储在各种应用中的作用和关注点学习内容学习内容服务器和操作系统1文件系统2数据库系统3中间件和IT应用架构4集群和HA5典型行业应用简介6IT架构相关技术架构相关技术应用技术和存储的关系应用技术和存储的关系应用技术应用技术典型应用典型应用集群

2、和集群和HAHA数据库系统数据库系统文件系统文件系统服务器和操作系统服务器和操作系统中间件和中间件和ITIT应用架构应用架构存储的配置和优化存储的配置和优化共享存储共享存储数据的一致性保证数据的一致性保证性能影响和调优性能影响和调优兼容性兼容性ITIT系统的存储访问关系系统的存储访问关系存储存储底层底层上层上层关系关系主机端的硬件和操作系统分类主机端的硬件和操作系统分类F专用操作系统：z/OSF硬件：IBM ZSeries 900、AS400/390F存储连接接口：ESCON、FICONF接口硬件：存储连接需要专用的驱动程序大型机大型机小型机小型机PCPC服务器服务器FUNIX操作系统：IBM

3、 AIX、HP HP-UX、SUN SolarisF硬件：IBM Power系列、HP PA/Itanium系列、SUN SPARC系列F存储连接接口：SCSI、FC、iSCSIF接口硬件：SCSI接口卡、FC HBA卡、网卡、TOE 卡、iSCSI HBA 卡F操作系统：MS Windows、LinuxF硬件：各种X86架构的服务器，IBM、HP、SUN、DELL、浪潮、联想 F存储连接接口：SCSI、FC、iSCSIF接口硬件：SCSI接口卡、FC HBA卡、网卡、TOE 卡、iSCSI HBA 卡主机端的文件系统主机端的文件系统FIBM AIX：HPFS(OS/2)、JFSFHP HP-

4、UX：VxFSFSUN Solaris：UFS、VxFSFLinux：EXT2、EXT3、ReiserFS、NFSFWindos：FAT、FAT32、NTFS、CIFSFVeritas：VxFS文件系统文件系统特性特性F每种操作系统都采用一种或几种专用的文件系统F操作系统中，文件的创建、更新和保存都需要文件系统来管理F文件系统分32位和64位，主要体现在寻址空间上的差异F文件系统直接关系到整个系统的效率，只有文件系统和存储系统的文件系统直接关系到整个系统的效率，只有文件系统和存储系统的参数（比如块大小、条带大小、对齐方式）互相匹配，整个系统参数（比如块大小、条带大小、对齐方式）互相匹配，整个系

5、统才能发挥最高的性能。才能发挥最高的性能。文件系统分类文件系统分类数据库的定义和存在形式数据库的定义和存在形式数据库定义数据库定义F定义定义：有关联关系的信息通过合理的结构组织在一起的数据集合，可以通过其专用的命令（SQL语言）对信息进行快速的建立、存储、更新、删除、查询F数据库的评价指标数据库的评价指标：数据检索能力、并行处理能力、支持的数据规模、稳定性等几个方面数据库数据库存在形式存在形式F数据库建立在文件系统上数据库建立在文件系统上（比如：工资.DBF 文件），数据的读写操作由操作系统上的文件系统来控制，采用文件系统的数据读写缓冲机制，没有针对数据库做专用的优化，适合小型的数据库应用F数

6、据库直接建立在裸设备（硬盘）上数据库直接建立在裸设备（硬盘）上（没有文件名，只有一个链接符号），数据的读写操作由数据库自己来控制，数据读写的缓冲机制也是数据库自己设定，由于是专门针对数据库应用设计，所以性能相对较快，适合大型的数据库应用数据库分类数据库分类从支持的数据规模、处理能力、管理功能等方面来看，分为三类：从支持的数据规模、处理能力、管理功能等方面来看，分为三类：F桌面型数据库系统：FoxPro、MS ACCESS、PARADOX等F中小型数据库系统：SQL SERVER、MySQL等F大型数据库系统：DB2、SYBASE、ORACLE、INFORMIX等DB2从数据库的组成结构分为三类

7、：从数据库的组成结构分为三类：F关系型数据库：现在绝大部分应用都是采用这一类F非结构化数据库：专用数据库，比如图书馆、数字媒体等针对文件的管理应用F对象数据库：新兴的数据库，还未形成规模应用数据库对存储系统的要求数据库对存储系统的要求文件名称文件名称存储需求存储需求控制文件大部分数据库都建议使用多个控制文件以确保可靠性。控制文件并不需要经常访问，对于存储设备的性能要求不高。数据文件数据文件占用的存储空间是最大的，主要是随机的读取和写入。典型的RAID策略为RAID10或者RAID5，可以使用较多的磁盘组成RAID组，以提高随机访问的性能。索引文件在数据库中，索引文件是被访问频率最高的数据。查找

8、索引文件需要很大的IOPS。另外，有时候数据库被重新索引，这在计算上非常密集，并且需要大量的I/O带宽。日志文件日志文件主要的I/O操作是顺序写操作，所以用RAID-1就可以满足安全性和读写的要求。由于需要两个或以上的重做日志文件，通常将日志文件放在不同的卷上。数据库读写过程示例数据库读写过程示例库缓冲区日志缓冲区数据文件数据库写进程日志写进程用户请求4ABCD1数据写入库缓冲区2日志写入Redo日志缓冲区3ABCD3日志写入日志文件REDO日志ABCD4数据写入数据文件F为了提高效率，数据库的读写均在缓冲区内进行F缓冲区内的数据最终要写到物理文件中数据库的数据一致性特性数据库的数据一致性特性

9、逻辑关系和缓冲逻辑关系和缓冲F数据库的一致性是指日志文件、控制文件、数据文件中的逻辑关系是否正确和完整F由于数据库读写过程中大量使用缓冲，可能出现修改数据未能及时写入磁盘的情况，从而出现不一致的问题数据库同步标记数据库同步标记F日志文件、控制文件、数据文件中均有同步标记，用以检查数据库的一致性（如Oracle 中的系统改变号SCN）F在数据库运行中，同步标记会发生更改，并将改变结果写入数据文件、控制文件和日志文件F当系统退出、缺省的时间间隔到来、日志空间满等事件发生时都会改变同步标记快照代理保证数据一致性快照代理保证数据一致性F快照的数据一致性问题业界大多数的存储系统在做快照时，都仅仅是对磁盘

10、中的数据进行快照操作，而没有顾及服务器缓存中的数据。因此，经常发现快照出来的数据“不对”，与预期中的数据不一致。在存储设备执行数据快照操作时，必须同时兼顾磁盘和缓存中的数据，才能严格保证数据的一致性。F保证快照数据一致性的方法接口调用：接口调用：部分存储厂商提供编程接口，在主机端放置手动编写的脚本程序。做数据快照时，通过脚本调用数据库的接口，将缓存“刷”到磁盘上，以此保证数据一致性。快照代理：快照代理：少数厂商提供完全自动化的快照代理程序，针对不同的客户端应用，比如Oracle、SQL Server、Exchange、Notes等，在客户端安装不同的快照代理程序，与应用程序进行联动，保证各种存

11、储服务运行时关键业务数据的一致性和完整性。数据库的备份方式数据库的备份方式F导出导出/导入：导入：属于逻辑备份，利用数据导出命令将数据从数据库中提取出来，备份的数据可用导入命令送回到数据库中。比如Oracle提供EXP和IMP命令进行导出和导入。F冷备份：冷备份：称作离线备份，是指在数据库关闭的情况下，拷贝所有数据文件、控制文件、日志文件等到另外位置。F热备份：热备份：称作联机备份，是指在数据库正常运行时，在保证数据库一致性的条件下，备份数据文件、控制文件、日志文件等。数据库的热备份数据库的热备份数据库热备份的特点：F调用数据库接口，进行备份模式/正常模式转换。F备份时数据库仍可使用。F恢复快

12、速，在大多数情况下能够在数据库工作时恢复。F数据库使用缓存进行读写，备份时数据文件、控制文件、日志文件可能存在不一致的问题。F一致性检查：数据库启动时，会对数据文件、控制文件、日志文件进行一致性检查。在数据库文件取得一致之前，无法打开数据库。F数据库热备份的重点在于保证数据库的一致性保证数据库的一致性。中间件中间件F是一种独立的系统软件或服务程序F应用软件借助中间件在不同的技术之间共享资源F在操作系统、网络和数据库之上，应用软件的下层F为处于自己上层的应用软件提供运行与开发的环境F帮助用户灵活、高效地开发和集成复杂的应用软件F中间件分类：远程过程调用、面向消息的中间件、对象请求代理 F中间件一

13、般需要安装在单独的服务器上，但是中间件服务器不需要连接后端存储，中间件一般需要安装在单独的服务器上，但是中间件服务器不需要连接后端存储，中间件服务器通过数据库服务器访问数据中间件服务器通过数据库服务器访问数据中间件中间件应用软件应用软件应用软件应用软件中间件中间件（分布式系统服务）（分布式系统服务）数据库数据库操作系统操作系统硬件硬件数据库数据库操作系统操作系统硬件硬件数据库中间件基于Web的数据库中间件中间件的体系结构应用系统的典型应用系统的典型ITIT架构架构 多层应用多层应用服务器Aactive服务器Bstandby心跳连接公用网络应用A磁盘阵列客户端PC集群技术集群技术：至少将两个系统

14、连接到一起，使两个或者以上的服务器能够像一台机器那样工作或者看起来好像一台机器。例如，一个有两台服务器生成的WEB服务器集群系统，它对每个终端用户是透明的，而且完全就像一台服务器在工作。集群概述集群概述服务器A服务器B镜像盘心跳线客户端PC公用网络1、在服务器之间，通过网络方式镜像数据，不需要采购磁盘阵列，节约成本2、大数据量读写时，两台服务器会出现数据不同步3、镜像数据占用大量服务器资源，降低系统性能无磁盘阵列有磁盘阵列1、双机集群的主流配置方式2、采用了共享存储，消除数据不同步的现象，系统性能不会降低3、多服务器集群常采用NAS模式实现存储共享服务器A服务器B磁盘阵列心跳线客户端PC公用网

15、络集群的存储系统集群的存储系统共享卷F:F:F:F:F:F:F:F:F:F:F:F:F:F:F:F:同一个数据卷映射到不同的服务器上SANSAN共享：在共享：在SANSAN环境下，多个客户端对一个卷同时进行读写环境下，多个客户端对一个卷同时进行读写例如：非线性编辑等应用要求多台服务器同时读写相同的卷，并且要求存储系统提供持续、稳定的高带宽读写SANSAN和和NASNAS不同，在不同，在SANSAN环境中不存在对共享数据的监管和访问控制功能，环境中不存在对共享数据的监管和访问控制功能，服务器之间没有办法进行通讯，可能会出现多台服务器同时改写一个服务器之间没有办法进行通讯，可能会出现多台服务器同时

16、改写一个文件的现象，导致数据的不完整或损坏文件的现象，导致数据的不完整或损坏SANSAN共享共享SANSAN可以采用以下两种方式实现卷可以采用以下两种方式实现卷共享共享lSAN共享软件（如IBM公司的SANergy，SGI公司的CXFS等）l集群文件系统（如REDHAT GFS,HP CFS等）刀片式服务器和集群刀片式服务器和集群F常用操作系统为Windows、LinuxF采用FC-SAN 存储：每个刀片需要HBA卡，投入较大F采用IP-SAN存储：通过网口接入，综合成本优势明显典型行业应用介绍典型行业应用介绍SANSAN的的2 2个主要性能评价指标是：个主要性能评价指标是：IOPSIOPS和

17、和ThroughputThroughputIOPS指的是系统在单位时间内能处理的最大的I/O数量Throughput（带宽）指的是单位时间内最大的I/O流量NASNAS的的2 2个主要性能评价指标是：个主要性能评价指标是：OPSOPS和和ORTORTOPS(Operations per Second)每秒有多少个操作，是并发能力的指标ORT(Overall Response Time)表示客户得到服务响应的快慢，单位是毫秒，这个数值越小越好存储主要性能指标存储主要性能指标1.WEB应用既包括简单的页面读取，也包括对数据库的复杂查询和更新，其中包含大量文本、音像等非结构化数据2.WEB服务的存储

18、需求以小文件，共享式读取为主3.WEB应用中也包括数据库应用负载均衡器负载均衡器局域网交换机局域网交换机WEBWEB服务器服务器应用服务器应用服务器数据库服务器数据库服务器NASNAS设备设备SANSAN设备设备WEBWEB应用对存储的需求应用对存储的需求SAN/NAS存储网络LAN网络客户端邮件服务器邮件应用对存储的需求邮件应用对存储的需求1.常见的邮件系统是微软的EXCHANGE SERVER和IBM Lotus NOTES2.邮件系统的数据特点介于数据库和普通文件二者之间。邮件用户等信息属于数据库操作，但是每个用户的邮件又是按照文件组织的3.邮件服务器的读写以小文件随机读写为主SAN/N

19、AS存储网络LAN网络Client数据库服务器1.视频点播服务器集群消除计算和IO瓶颈2.要求存储设备提供稳定的带宽3.以顺序读写为主视频点播服务器WEB服务器认证服务器流媒体应用对存储的需求流媒体应用对存储的需求业务类型性能要求文件服务一般使用较小的数据块请求，并体现随机特征请求大小在512B到64KB之间分布打印服务通常使用较大的数据块请求一般为64KBWEB服务通常使用较小的数据块，并体现随机特征一般为512B-512KBBBS系统使用零散的文件存放文章，访问模式基本是小文件随机读写多在512B到64KB之间分布数据库系统一般都表现为大量的IO访问，对带宽要求较低，主要是随机访问一般为4-16KB邮件服务一般为随机访问，数据块一般为4-16KB视频服务通常是顺序的大数据块读请求，对带宽的压力非常高一般为64KB及以上非线编通常是顺序的大数据块请求，对带宽的压力非常高，而IOPS压力较小。一般为64KB及以上各类应用对存储的性能要求各类应用对存储的性能要求杭州华三通信技术有限公司