DSGArchiving归档软件产品技术白皮书V10.docx
《DSGArchiving归档软件产品技术白皮书V10.docx》由会员分享，可在线阅读，更多相关《DSGArchiving归档软件产品技术白皮书V10.docx（11页珍藏版）》请在冰点文库上搜索。
DSGArchiving归档软件产品技术白皮书V10
DSG技术白皮书系列之三
Archiving归档软件产品技术白皮书
（V1.0）
迪思杰（北京）数码技术有限公司
2010年05月
引言
某电信公司，帐务系统上线5年来，存储数据量不断增长，目前已达7TB，系统容量超过警戒线，处理能力瓶颈显现。
上线以来该系统已经进行了2次扩容，但扩容效果越来越不明显。
而目前主机和存储设备已经满配，如要继续从硬件上提升效率，必须重新购置主机和存储设备。
某期货公司的交易系统，经过4年稳定运行，目前总数据量约170GB。
但其中每天用到的实际数据只有不超过10GB，大量的数据是很少访问的历史数据。
由于这些历史数据的存在，使查询、统计的效率明显降低，系统性能受到越来越严重的影响。
某医院，HIS系统中保存了超过6年的数据，容量超过300GB，其中当年数据不超过30GB。
2010年系统出现故障，需要从磁带备份系统恢复数据。
由于大量历史数据恢复后数据库才能启动，系统停顿了近5个小时，其间医院挂号、收费等各项业务均无法开展。
。
。
。
。
。
。
大量的例子表明，随着数据量膨胀，信息系统出现一系列的问题：
效率显著降低；扩容压力增大；系统备份时间长，恢复时间更长；所有业务都堆积在一套数据库系统上，导致系统结构复杂；日常管理难度大，等等。
这些看似无关的问题，有一个共同的根源：
数据库太‘胖’了。
只有通过数据库瘦身，才能有效解决问题。
瘦身的过程，就是数据归档。
1DSG归档软件解决哪些实际问题？
通过DSG归档软件，客户可以解决哪些实际问题？
1.1分离历史数据，实现性能提升
同样一个查询语句，在10,000条记录的表上执行的时间比在10,000,000条记录的表上执行的时间快约100倍。
因此，如果数据库有大量的数据堆积，无论这些数据是否被使用，都会导致系统越来越慢，响应能力越来越差。
通过归档系统的定期转储，可以使历史数据及时分离，从而减少每个业务逻辑的执行时间，大幅提升整体系统效率。
这种效率的提升幅度是采用数据库参数调整等常规优化手段无法达到的。
1.2分担系统压力，实现业务分担
对于绝大部分业务系统而言，仅仅将数据转移到归档数据库中是不够的。
大量查询、统计以及数据分析处理等不仅需要访问当前数据，而且需要使用已经归档的数据。
因此，归档数据必须支持在线访问，可以通过现有的应用程序或者新开发的业务软件进行查询、统计、抽取和分析。
在此情况下，客户可以将一部分原来在主系统上执行的业务转移到归档系统来执行，既能显著提升主系统效率，也能获得更高的数据质量。
1.3减小系统规模，缩短维护和修复时间
大容量的数据对于备份恢复、容灾及系统优化都造成挑战。
对于一个600GB的数据库，发生故障后，全库恢复的时间就需要数小时。
如果实施归档，只保留100GB的常用数据，则备份与恢复只需要数十分钟。
通过，不同数据的重要性不同，因此需要采取的数据保护策略也不同，比如，当前数据可能需要每天备份以确保可恢复到任意时间点；而历史数据可能仅需要备份一次，因为它们基本上不变化。
通过对数据进行归档和分离，并针对不同重要性的数据采用不同的策略，可以大幅降低系统备份、恢复、容灾及优化过程的复杂度，大幅减少系统停顿时间。
1.4缓解扩容压力，优化投入产出
数据量的快速增长导致客户的主存储系统需要不断扩容以满足数据增长的需要。
存储设备的扩容容量是有限制的，不可能无限制扩展，同时存储产品推陈出新，过一段时间就会有型号停产，因此扩容不是简单的加磁盘的过程。
扩容过程中涉及选用不同品牌、型号的兼容性问题；数据迁移、备份问题；系统重新优化调试问题等等。
最大的不合理性则在于我们在不断采购更新的、性能更好的、更昂贵的存储设备，实际上却不是因为当前处理的数据量在显著增加，而是因为历史的、访问越来越少的数据在不断累积：
我们正在使用性能越来越高性能的设备来满足使用频率越来越低的数据的存储要求。
通过归档，可以定时将不再改变或者访问很少的数据迁移出去，从而保证核心数据库的高效率和低容量。
2Archiving归档软件技术原理
2.1归档软件的工作原理图
DSGArchiving归档软件的工作原理如下图所示:
图1DSGArchiving归档软件工作原理图
Archiving归档软件提供两种归档模式，即:
-Snap-Archiving模式，即定时归档模式，图中黑色线条表示部分。
即在客户待归档数据不变的情况下，直接从业务数据库中将指定表中的数据一次性迁移到归档数据库并进行数据核对和业务库删除处理。
该过程可根据设定的策略自动定时执行。
-Real-Archiving模式，即实时归档模式。
图中紫色线条表示部分。
在一些情况下，客户待归档的数据在一段时间内持续变化更新，但经过一段时间后即不再变化。
此时在归档库上不仅需要归档数据，还需要业务数据库的最新数据用于统计、查询等业务。
此时，Archiving软件实时从数据库日志中分析相应的变化信息，并迁移到归档数据库中。
当到指定时间后，执行业务数据库的数据删除。
2.2归档软件的技术要点
2.2.1数据定时归档技术
数据定时归档技术主要实现对历史数据的定时迁移、核对与修补及源数据的删除。
定时归档技术的核心是效率。
通常定时归档的数据量较大，因此，需要快速完成数据的归档和核对，减少归档过程对系统的影响。
在Archiving软件中，采用数据库直接路径技术来获取需要归档的数据，并对记录数据之间的映射关系，便于进行数据校验。
数据库的直接路径技术（DirectPath）由于无需经过数据库解析等环节而直接从数据文件读取数据，因此效率高、速度快。
图2DSGArchiving归档软件数据定时归档过程
2.2.2数据库日志实时分析技术
数据库日志实时分析技术主要解决业务数据库数据向归档数据库实时迁移的问题。
日志分析技术包括如下几个方面:
-数据库日志跟踪技术。
通过跟踪数据库的控制文件，实时获取数据库日志的更新信息和状态，便于及时跟踪日志，获取最新日志块信息。
-数据库日志分解技术。
读取最新写入的日志数据块，对日志数据块进行分解，获得完整的数据信息。
-交易合成技术。
对并发的交易进行分解与合成。
-操作排序技术。
根据业务操作的先后顺序进行排序，确保逻辑一致性。
2.2.3数据验证与修复技术
由于数据归档需要在源端删除数据，因此，在数据删除之前，必须进行数据的验证。
如果由于某种原因导致数据没有正常归档到归档库中，而在源端又进行了删除，则必然会导致数据的永久丢失。
因此，无论在定时归档模式还是实时归档模式，DSGArchiving软件都为数据设置了两个安全阀:
1）数据验证。
在定时归档过程中，在迁移数据时就记录数据之间的映射管些。
数据迁移完成后，根据数据映射关系一次性对所有数据进行校验。
实时归档中，在每条记录操作后都进行数据映射，但只有删除时才启动数据的验证功能进行数据验证。
校验规则根据特定算法计算源端每个表中迁移数据记录的校验值，并根据映射关系与目标表中的对应记录的校验值进行比较。
校验规则根据特定算法计算源端每个表中迁移数据记录的校验值，并根据映射关系与目标表中的对应记录的校验值进行比较。
如果比较发现数据校验值一致，则表明数据正确；如果数据不一致，包括数据缺失或者内容不正确，都会告警，并进入下一个环节:
2）数据修复。
如果发现数据不一致，Archiving软件将根据映射关系将源端记录自动同步到目标端，并添加到目标端或者覆盖目标端的记录。
在完成修复后，归档软件会自动将修补的数据重新进行校验。
直到数据一致为止。
3Archiving工作流程与特点
3.1数据迁移条件定制
在部署完归档软件后，首先需要进行数据归档/迁移条件的定制，DSGArchiving归档软件提供如下条件规则:
1）归档条件支持
-按字段值迁移，如时间字段或者类型/区域标志字段；
-按选定条件迁移，支持where语句，但不涉及其他表关联。
-按关联条件迁移，支持where语句，但可关联其他表内容。
（该方式需确保where语句的查询值保持恒定）。
2）归档策略格式定义
可按crontab格式定义数据迁移和数据删除的时间规则，可精确到分钟。
完成策略定制后，系统自动启动归档进程。
3.2数据自动验证
在归档过程中，归档软件自动进行数据的核对，包括建立数据映射关系、生成数据校验值，并对校验值进行对比。
如果发现有不一致的数据，自动进行记录。
3.3数据故障修补
在发现数据不一致的情况下，自动对数据进行修补。
数据修补以与源端保持一致为原则。
即修补完成后归档端数据与源端相同。
数据修补完成后自动进行增量验证。
3.4数据删除及提示
在执行源端数据删除过程中，Archiving软件将弹出提示，要求客户再一次确认是否进行删除，并进行如下选择:
1）直接在源端执行删除；
2）形成删除脚本，由用户执行删除操作。
3.5删除后优化处理
对于大部分数据库，由于采用优化方式不同，当删除部分数据后，如果没有及时进行优化，系统性能将会减低，因此，DSGArchiving归档软件在完成归档删除后，可选择性的执行下述操作:
1）对源端表进行分析（Analyze），形成新的统计信息；
2）重建源端表上的索引，以提升索引效率，减少碎片等。
3.6执行报表
对于迁移、删除等各种定制的操作，归档软件记录相应的信息，并提供报表。
客户可通过报表了解如下信息:
-归档数据量；
-不一致的数据信息；
-数据修复情况；
-归档库数据量等。
3.7管理界面
Archiving归档软件提供中文化的图形管理界面，采用C/S模式。
通过管理界面，客户可以进行如下管理:
-权限管理/用户管理/角色管理
-系统注册、配置管理
-日常操作、维护管理
-系统告警、错误提示等。
4产品规格
产品名称
DSGSnapArchiving
最新版本
V3.2
工作原理
按照客户要求将使用频度低的数据一次性（从数据库文件读取）或者连续归档（分析数据库日志）到目标数据库中，并在源端进行数据清理，从而减少源库数据量，提升系统效率，分担系统压力。
应用范围
历史数据归档管理。
归档数据查询业务分担。
数据库系统优化。
产品特点
快速、高效一次性归档历史数据；
目标数据库完全可用，可读可写；
可以跨操作系统平台和数据库版本复制；
可实时归档数据，秒级延迟；
实时归档与增量实时同步一体化实现；
归档数据压缩，压缩率3-5:
1;
支持全库或者部分数据复制；
支持断点续传；
提供数据核对/修补内置功能。
支持存储设备
HDS、EMC、HP、IBM、SUN、H3C等主流存储设备
支持操作系统
HP-UX、AIX、SUNOS、TRU64、SCO-UNIX、RedHat/RedFlagLinux
支持数据库类型
Oracle8、8i、9i、10g、11g
网络带宽要求
不限制，根据归档数据量而定
归档模式
1对1、多对1
复制对象类型
表数据
复制可选范围
单表、多表、用户
源主机资源占用
CPU<5%,内存占用<400MB
目标主机资源占用
CPU<5%,内存占用<200MB
5FAQ
5.1归档与备份有什么区别？
备份的主要目的是在数据出现故障时可以快速恢复，防止数据丢失。
归档的主要目的是将数据库中的一部份不常用的数据迁移到数据库之外存储，是业务数据库更精简、更高效、更易管理。
因此，备份是针对全部数据的多版本保存；归档是对部分历史数据的单版本保存。
5.2DSGArchiving归档软件与其他归档软件的主要区别？
DSGArchiving之外的其他归档软件主要在文件/存储级别将客户不常使用的数据，物理搬迁到其他存储位置，实现数据的物理归档。
在实际情况中，只有在特定情况下，如数据以文件的方式按日期/时间序列存储，上述方案才能发挥作用。
而在更多情况下（特别是数据库存储数据情况下），从物理存储的方式无法有效区分常用数据和需归档的数据，而只能以逻辑方法进行区分，如利用数据表中的日期字段、区域编号、特殊标志位以及关联查询等。
DSGArchiving归档软件能够让客户通过逻辑方式对数据进行分类和归档，最终达到有效归档的目的，同时不多占用存储空间。
因此，可以简单总结:
DSGArchiving软件是逻辑归档软件；其他软件是物理归档软件，更接近于备份软件。
5.3归档数据以什么方式保存？
为了访问方便，目前DSGSnapArchiving将采用与主业务数据库相同的数据库（如Oracle数据库）来保存归档出来的数据。
在后续的升级版本中，也支持采用文件保存归档数据。
5.4数据归档后，应用是否需要改变？
归档过程本身不改变原业务系统的数据结构和应用结构。
因此，数据归档后，无须改变应用，现业务系统的应用不会受到影响。
5.5数据归档后，归档数据是否可压缩？
当数据库归档到目标端后，可采用数据库压缩表进行存储，实现2-3:
1的数据压缩率。
压缩率根据数据结构不同而不同。
5.6是否支持OracleRAC或者HA结构。
完全支持。
但在配置上需要将SnapArchiving的代理Agent安装在集群共享磁盘上。
5.7是否支持多个库同时归档？
DSGSnapArchiving支持同时对多个数据库进行归档。
归档数据可存放在一个数据库中，也可以分别存放在不同数据库中。
5.8是否支持归档到远程，对带宽有何要求
DSGSnapArchiving支持远程归档。
由于归档过程中支持压缩，压缩率3-5:
1。
因此比数据拷贝所要求的带宽更低。
由于归档是一个后台的、实时性要求不高的过程，因此，归档可以在较低带宽下实现，包括低于2Mbps的网络带宽。
5.9是否支持异构环境？
DSGArchiving支持跨存储、主机、操作系统和数据库版本的归档。
5.10DSG是否提供归档咨询服务？
归档系统的建设并非在部署完归档软件后即可建成。
在整个归档系统建设中，需要仔细梳理归档数据表之间的关系和业务逻辑；针对不同的数据制定不同的归档/删除策略；为归档后的数据应用提供解决方案等一系列工作。
DSG公司不仅提供成熟的归档软件产品，而且协助客户分析业务逻辑，结合归档软件特点来形成满足客户业务要求的完美归档方案。
因此，在DSG报价中，咨询服务也是报价的一部分。
5.11DSGArchiving软件是否支持对文件的归档？
DSGArchiving归档软件的定位是支持对所有结构性数据和非结构性数据都能实现归档，包括文件归档。
文件归档的技术和数据库归档技术相比，技术难度更低。
目前DSGArchiving已经提供了针对Oracle数据库的归档技术方案，正在开发针对MSSQLServer和针对File的归档技术，开发测试完成后将发布对应的产品。
升级会员 