登云数据库一体机技术白皮书.docx

1、登云数据库一体机技术白皮书 登云数据库一体机技术白皮书 1 概要 神州数码云科登云数据库一体机（简称登云数据库一体机）是专为运行Oracle数据库而构建。采用集成设计，旨在提供高性能和高可用性的Oracle数据库运行平台。登云数据库一体机利用Oracle的行业标准硬件以及Oracle的智能数据库和存储软件构建而成，为联机书屋处理（OLTP）、数据仓库（DW）以及混合负载在内的所有类型的数据库负载提供超强的性能。登云数据库一体机是一种易于部署的系统，包含了运行Oracle数据库所有的硬件，以及辅助的软件。其中，数据库服务器、存储服务器和网络设备均有神州数码云科预先配置、调试和测试。登云数据库一体

2、机上运行标准的Oracle集群数据库，因此在Oracle数据库上运行的任何应用程序无需进行任何更改即可无缝迁移到神州数码云科登云数据库一体机上。登云数据库一体机采用横向扩展架构，不仅提高了数据库处理的性能，也提供了更高的扩展性，同时采用独特的数据处理技术，能够将数据密集型SQL操作分流到一体机的存储服务器上。通过将SQL的处理卸载到登云数据库存储服务器，当从磁盘中读取数据时，就可以立即在所有存储服务器上并行执行数据过滤和处理。存储分流降低了数据库服务器的CPU占用率，也大大减少了在存储和数据库服务器间传输的数据量。同时，登云数据库一体机采用只能闪存缓存，通过加快I/O操作速度，可以极大的提高O

3、racle数据库的处理速度。通过闪存提供对数据库对象的智能缓存，可以避免物理I/O操作并加速数据库日志操作。智能存储提供的高级压缩技术（混合列压缩，简称HCC），可以提供10倍甚至更高倍的数据压缩，从而将有效数据传输速度提高一个数量级。神州云科登云数据库一体机是业界最安全的数据库服务器。登云数据库一体机的存储是基于Oracle数据库卓越的安全性功能而构建，能够查询完加密的数据库，而开销接近于零，且查询速度可到每秒数百GB。 2 登云数据库一体机产品介绍2.1为数据库而生的集成设计系统登云数设计据库一体机采用集成式系统的设计和构建，旨在使其成为运行Oracle数据库时，性能和可用性达到最高的平台

4、。传统的自定义的Oracle系统无法实现集成式系统可提供的性能水平和可用性。自定义数据库系统中使用的组件往往难以均衡，并且配置不佳，这很可能会造成瓶颈问题，从而降低整体系统性能。登云数据库一体机系统，采用集成设计并且经过端到端的优化，因而能够提供最佳性能。该集成设计系统中的硬件组成、数据库软件和数据库、操作系统和设备驱动程序、固件、网络配置以及所有其他组件都经过优化，能够协同工作。并且，凭借多年的Oracle调优经验和管理经验，登云数据库一体机集成系统是能够提供运行Oracle数据库的最佳平台，通过登云数据库一体机管理系统的管理，登云数据库一体机也是全面而稳定的数据库性能监控和安全管理平台。传

5、统的自定义数据库系统还无法实现登云数据库一体机系统能够提供的可用性和正常运行时间。在自定义数据库系统中，复杂的组件间故障模式未经测试，并且各个组件也未集成为一个单元。而登云数据库一体机系统会处理所有可能的故障模式，包括节点故障、链路故障、存储故障和交换机故障。这意味着，该系统整体的正常运行时间更长，部署和运营风险更小。登云数据库一体机系统是预先配置的系统，在数据库部署过程中能够节省大量集成工作、成本和时间。登云数据库一体机系统在交付时已经经过组装、调试，随时都可以运行。所有登云数据库一体机系统都相同，不存在特别的配置问题，因此所有登云数据库一体机用户都可获得得益于通用平台增强的支持性。由于登云

6、数据库一体机系统具有通用性，因此神州数码云科支持可以为数据库部署提供最佳支持。而自定义的平台的构建和运营往往需要顶尖的专业人才。登云数据库一体机让IT人员免于进行组件集成和测试工作，转而专注于企业业务需求。通过端到端的单一供应商支持以及对所有组件的端到端的统一监视，登云数据库一体机系统可以减少对IT人员所花费的开销。在登云数据库一体机系统上部署应用数据库，不需要任何认证。登云数据库一体机系统可以利用全部Oracle数据库生态系统IT技能、人员、合作伙伴和技术。登云数据库一体机系统甚至可以为最复杂的应用程序如Oracle E-Business Suite、PeopleSoft、Sieble、SA

7、P以及内部构建的自定义应用程序透明地提供最佳的功能、性能和可用性。2.2高扩展性数据库系统。数据库云服务器是一款集成的完整数据库系统，包含了用以快速轻松部署任何最佳性能和可用性的企业数据库的所有组件。登云数据库一体机存储服务器在登云数据库一体机中用作Oracl数据库的存储。它所运行的登云数据库存储服务器软件提供了独一无二技术，包括智能扫描、智能闪存缓存、智能闪存日志、I/O资源管理器、存储索引和混合列压缩。登云数据库一体机数据库云服务器X6-2可以从2个22核数据库服务器（512GB内存，可扩展到1.5 TB内存）和3个存储服务器扩展到8个22核数据库服务器（2 TB 内存，可扩展到6TB内存

8、）和14个存储服务器（全部在一个机架中）运行Oracle Database数据库软件。登云数据库一体机X6-2有四种型号：全机架、半机架、四分之一机架和八分之一机架，具体取决于要部署的数据库的大小、性能和I/O要求。随着处理需求的增长，可以联机尽心升级，确保平稳完成升级过程。另外，登云数据库一体机X6-2可轻松扩展到18个机架网格，该网格能够拥有6,336个CPU核以及24 PB原始存储容量。登云数据库一体机 X6-2 标准机架配置全机架半机架四分之一机架八分之一机架8 台数据库云服器，每台服务器配备：4 台数据库云服务器，每台服务器配备：2 台数据库云服务器，每台服务器配备：2 台数据库云服

9、务器，每台服务器配备（CPU只配一颗22核CPU）： 2 个 Intel Xeon E5-2699 v4 二十二核处理器 (2.2 GHz) 256GB 内存（可扩展至 768GB） 4 个 600 GB 10000 RPM 磁盘 2 个 QDR（40Gb/秒）InfiniBand 端口 4 个 1/10 Gb 以太网端口（铜缆） 2 个 10 Gb 以太网端口（可选） 1 个 ILOM 以太网端口 2 个冗余热插拔电源352 个 CPU 内核和2TB内存（可扩展至6 TB 内存）用于数据库处理（每台数据库服务器配有 44 个 CPU 内核和256G内存、可扩展至 768 GB 内存）176

10、个 CPU 内核和1TB内存（可扩展至3TB内存）用于数据库处理（每台数据库服务器配有 44 个 CPU 内核和256G内存、可扩展至 768 GB 内存）8 个 CPU 内核和高达 1.5 TB 内存用于数据库处理（每台数据库服务器配有 44 个 CPU 内核和256G内存、可扩展至 768 GB 内存） 44 个 CPU 内核和高达 1.5 TB 内存用于数据库处理（每台数据库服务器配有 22 个 CPU 内核和256G内存、可扩展至 768 GB 内存）14 台 登云数据库一体机存储服务器X6-2L：280 个 CPU 内核用于 SQL 处理56 个 PCI 闪存卡，包含 179.2 T

11、B 的登云数据库一体机智能闪存缓存（原始），168 个 8 TB 7200 RPM 大容量磁盘或者112 个 3.2 TB NVMe PCI 闪存驱动器7 台 登云数据库一体机存储服务器X6-2L：140 个 CPU 内核用于 SQL 处理28 个 PCI 闪存卡，包含 89.6 TB 的登云数据库一体机智能闪存缓存（原始），84 个 8 TB 7200 RPM 大容量磁盘或者56 个3.2TB NVMe PCI 闪存驱动器3 台 登云数据库一体机存储服务器 X6-2L：60 个 CPU 内核用于 SQL 处理12 个 PCI 闪存卡，包含 38.4 TB 的登云数据库一体机智能闪存缓存（原始

12、），36 个 8 TB 7200 RPM 大容量磁盘或者24 个 3.2 TB NVMe PCI 闪存驱动器3 台登云数据库一体机存储服务器 X6-2L：30 个 CPU 内核用于 SQL 处理6 个 PCI 闪存卡，包含 19.2 TB 的登云数据库一体机智能闪存缓存（原始），18 个 8 TB 7200 RPM 大容量磁盘或者12 个 3.2 TB NVMe PCI 闪存驱动器2 台 36 端口 QDR（40 Gb/秒）InfiniBand 交换机其他硬件组件： 42U 机架 以太网交换机，用于连接数据库云服务器中的服务器 2 个互为冗余的配电单元 (PDU)随附的备件包包含： 1 个 3

13、.2 TB NVMe PCI 闪存卡和 1 个 8 TB 大容量磁盘，或者 1 个 3.2 TB NVMe PCI 闪存驱动器2.3数据库云服务器登云数据库一体机的数据库云服务器X6-2可以从2个22核数据库服务器（共512GB内存，可扩展到1.5 TB内存）可扩展到8个22核数据库服务器（共2 TB内存，可扩展到6 TB内存）运行Oracle Database 11g R2或Oracle Database 12c企业版数据库软件。所有X6-2数据库云服务器包含以下组件：行业标准数据库服务器，每个服务器与预先先配置有：2.2 Ghz双插槽22核Intel Xeon E5-2699 V4 处理器

14、；256 GB内存4个600GB 10,000 RPM硬盘2个40 Gb/s Infiniband 端口2个10Gb/s以太网端口4个1/10 Gb以太网端口双冗余、可插拔电源Unbreakable Enterprise Kernel Oracle Linux 6 Update7操作系统2.3.1数据库云服务器架构 数据库云服务器在服务器和存储之间使用最新的Inifiniband互联。每个数据库服务器和登云数据库一体机存储单元具有双端口40Gb（QDR）Infiniband连接，以实现高可用性。每个Infiniband链路提供40 Gb带宽比传统存储或服务器网络高出许多倍。此外，Oracle的

15、互连协议使用直接数据放置方法（DMA直接内存访问），将数据直接从线路移动到数据库缓冲区而无需进行额外的数据复制，从而确保极低的CPU开销。Infiniband网络兼具LAN网络的灵活性和SAN的效率。通过使用Infiniband网络，Oracle确保网络不会成为性能瓶颈。该Inifiniband网络同时还可为Oracle数据库Real Application Cluster（RAC）节点提供高性能集群互联。 登云数据库一体机的架构设计旨在横向扩展到任何级别的性能。为了实现更高的性能和更大的存储容量，可以在配置中添加额外的数据库服务器和登云数据库一体机单元例如，从半机架升级到全机架。随着在配置中

16、添加更多的登云数据库一体机单元，存储容量和I/O性能几乎呈现线性提高。在登云数据库一体机配置中，从不进行也不需要进行单元到单元通信。 图2.1为登云数据库一体机四分之一配置的软件架构。登云数据库一体机对使用数据库的应用程序完全透明。数据库云服务器上运行的Oracle Database 11g R2或Oracle Database 12c与传统系统上运行的完全相同但在数据库云服务器上运行更快。当使用登云数据库一体机时，不需要进行任何修改。数据库云服务器完全支持Oracle数据库的所有特性。2.4 存储服务器 登云数据库一体机的存储服务器，每台服务器预先配置有：运行频率为2.2Ghz的双插槽10核

17、Intel Xeon E5-2630 V4 处理器,128 GB内存，3.2 TB登云数据库一体机智能闪存缓存，12个连接到一个存储控制器（512 MB带电池保护缓存）的磁盘，双端口Infiniband连接，嵌入式Integrated Lights Out Manager（ILOM）以及双冗余、可插拔电源。登云数据库一体机存储服务器配备有8 TB高性能 7200 RPM磁盘。在存储服务器上预先安装了所有登云数据库一体机存储服务器软件。 Oracle登云数据库一体机存储服务器运行登云数据库一体机存储服务器软件，提供数据库云服务器所独有的强大软件技术，包括智能扫描、智能闪存缓存、智能闪存日志、I/

18、O资源管理器、存储索引和混合列压缩。 登云数据库一体机存储服务器的硬件组件经过精心选择，可以满足高性能数据处理的需求。同时，登云数据库一体机软件经过优化，以便尽可能充分地利用硬件组件和Oracle数据库。每个登云数据库一体机存储服务器都为数据库提供杰出的I/O性能和带宽。登云数据库一体机存储服务器中的CPU内核专用于提供在登云数据库一体机存储中执行的一些特性，如智能扫描SQL处理。 等于数据库一体机存储是基于每个Oracle数据库卓越的安全性功能而构建，能够查询完全加密的数据库，而开销接近于零，并且查询速度达到每秒数百 GB。这是因为它将解密处理从软件迁移到了登云数据库一体机存储服务器硬件。登

19、云数据库一体机存储服务器中使用的Oracle软件和Intel处理器提供了高级加密标准（AES）支持。2.4.1极速闪存实现创纪录的I/O性能Sun Flash Accelerator F320 PCIe 登云数据库一体机X6-2 引入了极速闪存存储服务器。每一台极速闪存服存储服务器均包含8个最先进的3.2 TB PCI闪存驱动器。PCI闪存并未将闪存设置在低速磁盘控制器和管理器的后方，而是将闪存直接直接置于高速PCI总线上，从而实现超高性能。登云数据库一体机闪存使用最新的非易失快速闪存（NVMe）闪存协议来实现极低的I/O开销。 极速闪存存储服务器取代了登云数据库一体机存储服务器之前采用的高性

20、能磁盘且向后兼容所有受支持的登云数据库一体机系统。 闪存性能通常会受到传统的存储架构的约束和限制。而登云数据库一体机结合使用了横向扩展存储、Infiniband网络、数据库分流和PCI闪存，可提供极高的闪存性能。一台搭载8个数据库服务器和14个极速闪存存储服务器的全机架登云数据库一体机数据库云服务器X6-2 在运行数据库负载时可实现高达每秒350GB的数据扫描带宽和高达每秒450万次随机8K读I/O操作、414.4万次的随机8K写I/O操作（IOPS）。其性能比传统存储阵列架构高数个数量级，也远非当今的全闪存阵列可比。2.4.2分层式磁盘和闪存以磁盘的成本提供闪存的性能 登云数据库一体机的第二

21、个存储选项是登云数据库一体机X6-2大容量存储服务器。该服务器包含12个8 TB SAS磁盘驱动器（共96TB）、4个Sun Flash Accelerator F320 NVMe PCIe卡以及原始容量为12.8 TB的闪存。大容量存储服务器中的登云数据库一体机闪存可直接用作闪存盘，不过一般都是将其配置为磁盘的前端闪存缓存（登云数据库一体机智能闪存缓存），因为缓存可为更多的数据提供闪存级性能，而闪存可直接存储的数据有一定限制。 登云数据库一体机智能闪存缓存可自动缓存频繁访问的数据，同时将不常访问的数据保留在磁盘驱动器中。这样，仅凭磁盘的容量和低成本就实现了闪存的性能。登云数据库一体机智能闪存

22、缓存熟悉数据库负载，知道何时不用缓存那些极少访问或因过大而不适于缓存的数据。例如，登云数据库一体机不会缓存由备份、表扫描或很快会被删除的临时结果所产生的 I/O。除了自动缓存以外，管理员还可以选择提供 SQL 指令来确保将特定的表、索引或分区始终保存于闪存缓存中。表可以保留在闪存缓存中，不必像传统存储那样必须移至不同的表空间、文件或 LUN。一台搭载 8 个数据库服务器和 14 个大容量存储服务器的全机架登云数据库一体机数据库云服务器 X6-2 在运行数据库负载时可实现高达每秒 301 GB 的数据扫描带宽和高达每秒 450万次随机 8K读 I/O 操作、414.4 万次的随机 8K写 I/O

23、 操作 (IOPS)。 登云数据库一体机 智能闪存缓存可将活跃的数据移入闪存，将活跃度较低的数据保留在磁盘中，从而为较大的数据（通常可达到机器物理闪存容量的数倍）提供闪存级的 IO 速率和响应时间。在实际的数据库负载处理中，登云数据库一体机 智能闪存缓存的命中率通常可以超过 90% 甚至达到 98%，而闪存容量却不到磁盘容量的七分之一。这种高命中率意味着登云数据库一体机智能闪存缓存可提供比物理闪存缓存大许多倍的有效闪存容量。 此外，登云数据库一体机智能闪存缓存还可以缓存数据库块写入。写入缓存可消除大规模 OLTP 和批处理负载的磁盘瓶颈。搭载 8 个数据库服务器和 14 个大容量存储服务器的全

24、机架登云数据库一体机数据库云服务器 X6-2 的闪存写入速度每秒超过 414.4 万次 8K 写入 I/O。登云数据库一体机 写入缓存具备透明性、持久性和完全冗余性。登云数据库一体机智能闪存缓存的 I/O 性能相当于数十个由数千磁盘驱动器组成的企业磁盘阵列。 为了进一步加快 OLTP 负载的处理速度，登云数据库一体机智能闪存缓存还采用了一个专用于减少日志写入 I/O 延迟的特殊算法，即登云数据库一体机智能闪存日志。用户事务提交时间或关键更新执行时间对日志写入延迟非常敏感。智能闪存日志利用登云数据库一体机存储中的闪存缓存和登云数据库一体机磁盘控制器中的高速 RAM 内存来大幅减少日志写入延迟，避

25、免其他闪存解决方案经常遇到的延迟高峰。登云数据库一体机 智能闪存日志算法是登云数据库一体机独有的特性。登云数据库一体机智能闪存缓存还采用了一种独一无二的登云数据库一体机列闪存缓存算法来加快报告和分析查询速度。列闪存缓存可以在将频繁扫描的混合列压缩数据加载到闪存缓存的过程中自动将其转换成纯列格式，从而在登云数据库一体机闪存中实现了一种双格式架构。对闪存中处于纯列格式的数据执行智能扫描时，由于仅读取选定列，因此扫描速度大大提高，也减少了闪存 I/O 和存储服务器 CPU 占用。这不仅可加快报告和分析查询速度，还保持卓越的 OLTP 式单行查找性能。登云数据库一体机只采用闪存制造商设计的企业级闪存，

26、具备极高的耐用性。因为登云数据库一体机专门针对关键任务型负载而设计，所以不会采用在使用多年后会性能下降或发生意外故障的消费级闪存。对于大多数数据库负载，登云数据库一体机 X6中所采用的企业级闪存芯片的使用寿命可达到 8 年或更长时间。与其他基于闪存的解决方案相比，登云数据库一体机的另一大优势是支持在 RAM、闪存和磁盘之间自动进行数据分层。许多存储供应商已经意识到其传统存储阵列在架构上有许多内部瓶颈阻碍了闪存性能的发挥，因此研发了新的全闪存式阵列。这些全闪存式阵列在性能上优于传统阵列，不过却放弃了磁盘与闪存之间智能数据分层的成本优势。因此，受益于闪存的总数据大小将受到实际闪存大小的限制，而闪存

27、的成本又非常高。此外，第三方闪存阵列也不能从登云数据库一体机混合列压缩技术中获益。某些闪存阵列提供的重复数据删除技术在 VDI 环境中效果出众，但对数据库不起作用。登云数据库一体机 不仅在容量上比全闪存式阵列更大，其性能也更加出众。登云数据库一体机采用经过优化的集成式架构，基于 InfiniBand 实现完全横向扩展，配备极速 PCI 闪存，将数据密集型操作分流至存储并采用专为数据库而优化的算法，其吞吐量是全闪存式存储阵列所无法企及的。 登云数据库一体机X6-2 容量和性能关键指标指标全机架半机架四分之一机架八分之一机架HCEFHCEFHCEFHCEF最高 SQL闪存带宽301 GB/秒350

28、 GB/秒150 GB/秒175 GB/秒64 GB/秒75 GB/秒32 GB/秒38 GB/秒最高 SQL 闪存读IOPS562500562500最高 SQL 闪存写IOPS518000518000闪存数据容量（原始）179.2 TB358.4 TB89.6 TB179.2 TB38.4 TB76.8 TB19.2 TB38.4 TBHC1 磁盘EF1 磁盘HC1 磁盘EF1 磁盘HC1 磁盘EF1 磁盘HC1 磁盘EF1 磁盘最高 SQL 磁盘带宽25 GB/秒12.5 GB/秒5.4 GB/秒2.7 GB/秒最高 SQL 磁盘 IOPS360001800078003900磁盘数据容量（

29、原始）1344 TB672 TB288 TB144 TB存储数据容量（可用、非压缩）508 TB130 TB254 TB65 TB109 TB28 TB54 TB14 TB最高数据加载速度21 TB/小时21 TB/小时11 TB/小时11 TB/小时5.0 TB/小时5.0 TB/小时2.5 TB/小时3.0 TB/小时实际系统性能因应用而异。1.EF = 极速闪存；HC = 大容量2.该带宽是在不采用数据库压缩的情况下运行 SQL 时得到的峰值物理扫描带宽。在采用数据库压缩的情况下，有效数据带宽将高于此值。3.基于运行 SQL 的 8K IO 请求得出。请注意，IO 大小对闪存 IOPS

30、的影响很大。其他供应商报出的 IOPS 可能基于与数据库无关的、较小的 IO 大小。4.基于运行 SQL 的 8K IO 请求得出。执行 ASM 镜像之后在存储服务器上测得的闪存写入 I/O，这通常会发出多个存储 IO 来保持冗余性。5.原始容量由标准磁盘驱动器术语计算得出，1 GB = 10 亿字节。测量可用容量时使用的是常规二进制空间术语，即 1 TB = 1024 * 1024 * 1024 * 1024 字节。6.采用镜像（ASM 常规冗余）并且保留足够空间（四分之一或半机架上的一个磁盘，全机架上的两个磁盘）以便在常规冗余情况下磁盘出现故障时重建镜像保护，在这种配置之下的实际可用空间。7.有效闪存容量大于物理闪存容量并且考虑了登云数据库一体机智能闪存缓存算法实现的高闪存命中率以及底层磁盘存储的大小。它是指通常可以存储在登云数据库一体机上并且以闪存内存的速度访问的数据文件的大小。8.加载速率通常只受限于数据库服务器 CPU，而不会受限于 IO。速度因加载方式、索引、数据类型、压缩存储服务器9.2.5存储服务器2.6存储服务器10.和分区而异。2.5登云数据库一体机其他组件登云数据库一体机集成系统包含了除数据库云服务器和存储服务器外，还包括如下组件：Infiniband 交换机和线缆，2台Infiniband交换机和连接线缆构成了40Gb/秒 Infiniband 结构以