招商银行数据仓库应用.docx
《招商银行数据仓库应用.docx》由会员分享，可在线阅读，更多相关《招商银行数据仓库应用.docx（28页珍藏版）》请在冰点文库上搜索。
招商银行数据仓库应用
MCICommunicationsCorporation
更快地存取重要信息
对于任何一个公司，能否正确确定它们的市场活动是否对完成收益目标有益是很重要的。
为了更好的了解市场环境，更及时地组织营销活动，都需要及时地存取正确的信息。
在做出一个重要决定以前，管理者需要迅速查询出所需数据，并且要有对这些数据进一步分析的能力。
当MCI公司的丹佛基地的业务部门对一些重要的商业问题的回答要用很长的时间时，他们决定寻求数据存取顾问公司的帮助，该公司是Sybase开放解决方案的合作伙伴，结果SybaseIQ的存取数据的能力和经验，使得MCI业务部门能够存取和分析比原来多很多的财务数据。
太多的数据头绪
MCI是一个以长途电话为主的电话通讯公司，在全世界有45,000多名雇员，为它的客户的通讯、共享和处理信息提供服务。
为使公司扩大并获得收益，MCI在对ROI评价的基础商开展了一项市场普及活动。
这需要一个能够支持大型数据库的交互式决策支持系统，MCI丹佛基地业务部系统开发项目经理ChrisCourim说，“先前，要做出非常详细的分析几乎是不可能的，因为所有的数据都在主机上，我们需要一个程序员存取这些信息，直到正确了再做出答复，这要花很长的时间。
”
整个1995年，MCI都在努力开发一套使用OLTP数据库的系统，Courim说，“我们的工作进展很慢，直到1995年底，我们既没有实质性的减少数据量也没有试图将系统运行在一个更大的平台上，但幸运的是，数据存取顾问公司把SybaseIQ作为一个解决方案提供给了我们，于是我们的工作有了很大进展。
”
数据存取公司擅长于开发决策支持系统，他们在项目管理、系统结构、编程和功能实现方面给我们提供了很多帮助。
数据存取公司正在用SybaseIQ开发国内的决策支持系统，并且已经建立起了许多SybaseIQ的应用项目。
一条新的途径：
SybaseIQ
MCI丹佛基地考察了很多种解决方案，包括Informix、RedBrick和SybaseIQ。
Courim说，“在做过一些比较之后，我们选择了IQ，它确实非常快。
”MCI选择SybaseIQ的另一个重要原因是它不像其它的数据库那样，需要对每一个查询做优化处理。
他补充说，“SybaseIQ的最大的优点是IQ中的数据索引类型不是对特殊查询的优化索引。
而在DSS中，你的一个问题的答案经常会决定你的下一个问题，所以对每一个查询都要重新索引是无法忍受的。
”
“MCI需要这样一个数据库，它能够在几秒或几分钟的时间内，从数十或数百GB的数据中找出所有查询的结果。
”数据存取顾问公司总裁DanDampier解释说，“其它的决策支持数据库，在系统设计时就能预先想到的查询会做的很好，但是这些查询是不是符合实际，是不是真的有用呢？
决策支持查询的答案很可能会引起另外一些问题或者另外一些查询。
”Dampier接着说，“我们觉得SybaseIQ是能够满足MCI需要的唯一的数据库，它对他们的每一个查询的效率都很高。
”
MCI业务部的主要业务目标是提高大型的市场销售和服务的效益，通过高效的分析工具对业务状况和收入统计作出有效的分析。
这些工作包括业务计划和预测、趋势分析、评估市场活动对经济效益的影响、产品和服务的提供情况和客户保有时间。
“我们要知道公司的钱花在什么地方才能得到最好的投资回报，”Courim说，“SybaseIQ给了我们很好的分析能力，有效地帮助我们获得最大的投资回报率。
”
MCI的数据库现有33GB，并以每月50GB的速度增长；而且每月要对数据库做一次增量加载。
SybaseIQ系统运行在SunSPARCserver2000上，它有1.5GB内存和90GB硬盘，原始数据是由在华盛顿的主机提供的，这些数据通过FTP传到SybaseIQ中，用FOCUS作为前端，通过OLAP工具分析和研究业务数据。
这个系统可支持20个并行处理操作，所以50个以上的用户同时工作也不会有问题。
快速加载，快速审核
在OLTP环境下对大量数据加载并且做精确比较是非常费时间的，以前，MCI不得不等一周的时间才能完成每月的数据加载和比较的工作。
自从通过用SybaseIQ开发出了一套灵活的数据加载算法，数据存取顾问公司把MCI的数据加载/审核时间从一周减少到几个小时。
Dampier说，“我们可以随时得到现在的数据而且不会出错，不必花费一周的时间和精力。
”
他继续说，“审核数据，通常需要在数据加载后做大量的数据转换和过滤工作，MCI原来的数据审核需要几个小时的时间，用了SybaseIQ后，数据审核只需几分钟。
SybaseIQ具有独特的列概括的能力，并可以按其它的列分组，一个简单的审核需要在一个表内比较大量的记录，即便它有数百完行数据也只用几秒钟的时间。
”
大量减少数据库维护工作量
管理者不会预先知道他们将做什么样的查询，但是传统的OLTP数据库核其它DSS数据库若不建立新的索引或新的数据库结构，不可能提供给用户高效的查询。
Dampier说，“我们的客户需要低维护的系统，SybaseIQ索引是针对数据的索引而不是针对查询的索引，所以不需要很多程序员和DBA重新加载和索引数据库，节省了很多时间。
”
更快的查询速度
不仅查询速度非常快，而且具有数据一致性。
“一般人们都注意到了数据加载的时间很长，而不注重日常查询的时间，”Dampier说，“如果查询要花很多时间，跟不上用户的思路，就会减低数据库的应用效率。
在我们的系统中，在9亿条记录的表中做分组求和的查询，查询出几千条记录的时间，原来是4个小时以上，而现在这些查询时间不到一分钟。
”
改善磁盘空间需求
行业调查结果表明，在其它结构中数据存储的大小要比原始数据大7倍，这就显著地增加了费用，并给实施造成一定的困难。
SybaseIQ与其它结构不同，它把存储的数据压缩得比原始数据还小。
“在使用SybaseIQ的很多项目中，我们的工作效率都很高，在对数据索引之后，数据可压缩到原数据大小的1/2或1/3，”Dampier说。
战胜挑战：
来自于Sybase的支持
在大量数据移植和分析计划中，MCI和数据存取顾问公司都转向依靠Sybase的支持。
“到目前为止，我们也遇到过一些问题，那是在还没有使用Sybase的经验的时候，当时我们的数据库只有33GB的容量，”Courim说，“他们很快就派人到这里并当场解决了问题。
这非常重要，直到现在Sybase一直给予我们很好的服务。
”
信息可以满足最基本的需求
在一个月的使用之后，系统就已经体现出了它的经济效益。
Courim说，“通过分析，我们可以预测到我们的活动是否能达到预期目标，并切完成我们的业务计划，反之，我们则不能像现在这样快地得到数据。
”SybaseIQ是一个功能强大的工具，它能够帮助我们保持业务的经济效益。
Courim说，“将来，SybaseIQ将支配我们的所有行动，因为，将来我们开展的业务和工作计划都是基于它能挣多少钱。
”
在信息时代，通过使用SybaseIQ，你的公司可以有效地和快速地利用信息，获得潜在的竞争优势，正如Courim所阐述的，“没有SybaseIQ，我们就不能充分利用主机中的可用信息。
SybaseIQ和数据存取顾问公司的努力明显地减少了我们的数据存取时间，使数据更有用，使我们的分析家们随心所欲地按照他们的思路去分析，而不需要等一天的时间才得到一个答案。
”
Telecel葡萄牙移动电信巨头将其巨大成功
归功于强大的Sybase数据仓库
1991年，Telecel获准成为葡萄牙第二家移动电信供应商。
随着市场的不断放开，该公司在角逐中逐渐取得了领先地位。
这家全国垄断企业曾提前三年进入移动电信行业，但那时它知道政府将在近期准许第三家企业进入该领域。
这样它便有一年的时间在葡萄牙各地铺设网络基础结构及记帐系统，用六年的时间巩固其地位。
当谈及占领市场的竞争时，Telecel的数据仓储经理LucienCasta说：
“我们是一家从零开始的私营公司。
我们决定，我们将把客户放在第一位，从在服务质量使用和创新方面进行竞争。
迅速、有效地占领市场的唯一途径便是要尽可能详细地了解您的企业的经营状况，知道客户对什么感兴趣，他们在购买什么，哪些产品利润最大，销售渠道的效率如何，销售的地理分布差异是怎么样的，等等。
数据仓库是我公司努力开发以赢得领先地位的最重要的工具之一。
事实证明了Telecel战略的成功。
Costa说，当公司于1992年启动时，我们的目标是在六年左右的时间内达到盈亏平衡，但我们只用了三年便达到了。
销售收入每年都在翻番；两年前我们在客户数量、收入、利润水平等方面都超过了以前的领先者。
我们将成功归功于数据仓库的实施效果，这是诸多因素之中最重要的。
“我们一开始便使用数据仓库来进行决策，”Costa说，“第一个挑战便是保证我们提供的网络质量比我们竞争对手的好，所以我们使用地理分布数据以保证尽可能早地在需求量最大的地区增加容量。
”
“从那时起，我们就已经用数据库来实现三个关键目标：
减少剧烈变动、认准最盈利的产品并注重对新产品的需求，以及主攻能带来最大效益的客户——这三点决定了我们这类公司的成败。
”
数据仓储基础结构
“最开始，我们用COBOL产生报告，运行我们的DECDBMS网络数据库。
因为这些报告是我们公司的生命线，所以我们不久便积压了难以容忍的大量报告，而且要使用大量宝贵的开发资源来运行它们。
于是我们采用了MicrosoftAccess来处理从数据库中提取的数据。
这办法不错，但仅过了三个月我们的规模就大得无法用MSAccess了。
所以我们转向SybaseSQLServer，仍然把MicrosoftAccess作为前端。
我们选择Sybase是因为它提供了我们所需要的ODBC连接、我们所需的性能，而且我们对这家公司的技术支持服务充满信心。
”
向数据仓库提供数据的多数据源
“我们从未预想到的就是我们的增长速度，”Costa说，“我们目睹了新的服务突飞猛进，以及支持这些服务的应用程序不断更新。
最后我们采用了支持各种应用程序的多数据库环境。
”
“为我们的代理商和直销队伍准备的委托系统基于Sybase，电话中心软件基于Informix，财会软件包基于Oracle，客户服务及计帐系统基于Sybase。
我们采用了SybaseEnterpriseConnect产品系列中的许多产品以集成这些数据源，使我们能向数据仓库供给数据。
”
“我们采用ReflicationServer将实时分级数据复制回数据仓库，运行性能非常好，感觉不到对产品系统有什么影响。
”
创建总数据模型
据Costa讲，“当数据源的数量增加时，我们看到我们的数据出现冗余，这要求我们为全体数据创建一个超模型来控制环境。
我们借助于GartnerGroup咨询公司对市场上的工具做了一次评估。
另外，因为我们想向我们的设计商和开发商灌输这样一种观念，即他们需要为他的系统提供说明，所以我们把他们也拉过来参加模型设计工具的挑选过程。
他们一致选择SybasePowerDesigner，因为它易于使用、模块集成的质量高。
况且，它是能提供数据仓储模块的唯一产品。
对数据仓库需求迅速增长，SybaseIQ提供了解决方案。
”
当谈及这方面的快速增长时，LucienCosta说：
“我们以网络数据库开始，迅速转向SybaseSQLServer，而我们现在又补充了SybaseIQ。
SybaseIQ是Sybase的数据仓库解决方案，它使用了独特的索引技术并数据压缩技术。
SybaseIQ可比常规数据仓库的专项复杂查询速度快出100倍。
”如果我们把IQ上的8GB数据放到相关数据库上，那将是40GB。
“我们需要象IQ这样的技术，”Costa说，“在IQ之前我们使用多维数据库（Arbor的Essbase），用Cognos的PowerPlay作为前端。
它在维数有限的情况下计算分析的效果不错，但我们的规模发展很迅速，很快它就不适用了。
”
“在非常大量的数据中进行高质量的复杂查询，IQ为我们提供了完善的ROLAP的方法。
它即使在高基数的字段中进行查询，比如姓名和地址字段，仍可以获得闪电般的速度。
使用了IQ，过去需要三到四小时才能运行的查询现在只需三到四分钟，”Costa说，“SybaseIQ真是个奇迹。
”
当谈及数据仓库必须面对的速度变化时，Telecol的Sybase数据库管理员RuiRomulu说：
“当我们将数据仓库转向SybaseSQLServer时，我们便转向了一个更强大的HP9000Unix上。
原来我们只有一个处理器，仅仅过了三年，我们现在有两个这样的机器，每台机器有六个处理器，2GB的内存。
我们有500GB的数据，可同时支持30名员工运行复杂的专项分析查询、50名用户运行报表处理，所有的客户服务人员通过一个基于浏览器的系统在数据仓库源查询客户概况，这样每个客户服务人员就无需购买MicrosoftAccess软件了。
以数据仓储管理Telecel
“电信业是全球市场增长最快的行业”，Costa说，“如果你不能快速反应，你便无法适应市场竞争。
迅速反应意味着比所有人都要更快地得到新产品和服务，实施新的收费标准，否则就会很被动。
”
“通过计帐系统的信息我们知道每天都有几百万次的电话呼叫，两年的通话情况意味着100GB的数据，所以我们拥有一大笔信息财富。
使用来自实时分析系统的信息，我们可以降低受欺诈的风险。
该系统将显示出任何非常昂贵的通话，然后我们可以检查通话者的跟踪记录，看看这次通话是否符合其通常的使用习惯。
如果不是，那么我们便有机会及时调查。
”
当谈及Telecel对SybaseIQ将来的打算时，LucienCosta说：
“我们数据仓库提供的服务将继续增长。
我们很可能将该服务的使用范围延伸，从决策支持延伸到日常业务。
服务人员常常收到没有标明所付款项的支票，我们可以使用IQ来把支票信息与某个欠款帐目进行对号，我们还可以用它做许多许多事。
”
从数据库管理员的角度，Romulu补充道：
“Sybase有刚好适合这种工作的产品，这些产品复杂程度不一（有时有很容易，有时很难）但都很管用，功能不错。
对我们来说，很方便的一点就是Sybase的服务。
我是在与多种数据库环境打交道，我可以打电话给Sybase的服务人员，而且相信除了Sybase的问题，他们还可以帮助我解决Oracle或Informix的问题，这对我来说是无价的。
”
AmericanAirlines
用SybaseIQ提高收入降低成本
从1926年CharlesA.Lindbergh携带的一包邮件开始，美国航空公司（AmericanAirlines）已经成长为世界最大的航空公司之一，为全球300多个地方提供航空服务。
拥有640架飞机和8万多名雇员的AmericanAirlines（AMR公司的子公司）平均每天要飞行2000个架次，运送20万名乘客。
今天的航空运输业是世界上市场竞争最为激烈的行业之一。
各个航空公司越来越对成本的最低限度感兴趣。
这种快速变化和竞争激烈的商业环境要求航空公司利用新技术来使商业运作过程更为灵活与快捷。
另外，公司的分析员们也需要利用新技术来更迅速地作出分析与判断从而使决策者得以更为快速地作出关键性决策。
在这样的商业环境中，以最大程度地提高收入和降低成本为目的的数据分析能力显得更加至关重要。
在AmericanAirlines的客运收入财务部（PassengerRevenueAccountingDepartment）里，使用着SybaseIQ™。
对于AmericanAirlines的客运收入财务部来说，航空运输业增长的结果是该部门必须负责处理每年1.25亿张客票、单据和非运输性文件。
这个部门要从客票销售数据入手，最终计算整理出公司的完整财务报告。
该部门分配了90个人来进行数据收集、处理和计算工作以便算出客运营业额、应收款和应付款。
复杂的查询工程与性能问题将带来高额的成本
为了分析所有这些信息，客运收入财务部原来的系统曾将客票销售数据存放在一个基于Teradata的数据库中。
这个数据库从SABRE与其它订票系统接收数据。
出于系统资源的限制，这个系统只能存放三个月的数据，因此无法进行年度比较与逐月分析。
另外，由于系统是由AmericanAirlines的IS部门运行的，在Teradata系统上运行查询非常耗费时间与金钱。
除了征收每月的数据存储费以外，IS部门还要向客运收入财务部为每一个在Teradata系统上进行的查询征收高额使用费，这使得该部的运行成本几乎成了天文数字，而且一些查询需要几小时甚至几天才能得到结果。
由于系统过于复杂，大多数客运收入财务部的分析员无法自己发出查询请求，而必须依靠两到三个SQL高手来进行查询。
这就形成了一个查询的瓶颈：
没有与数据的亲身紧密的接触，分析员们无法掌握数据中的关键性内容，以致无法发现与利用航空业市场的趋势与隐藏的商业机会。
通过移植到一个新系统，这个部门希望能够降低成本，提高数据存储能力，解放用户，消除查询瓶颈，为分析员提供数据查询工具，从而提高该部门对商业形势的掌握能力。
SybaseIQ是获得高性能的必然选择
AmericanAirlines的客运收入财务部需要一个能够让分析员们不必借助SQL专家的帮助就能自己定义查询的系统。
借助一套能够让用户直接查询数据库的系统，分析员们可以在以前的查询结果以及对关键性商业信息的数据开采基础上进行查询以获得更多和更深入的查询答案。
此外，这个部门还希望从这个系统获得开放性、灵活性和性能上的提高。
这个以SybaseIQ为核心开发出来的新系统名为“收入财务数据访问资源（RevenueAccountingDataAccessResource，简称RADAR）”。
在最终决定采用SybaseIQ之前，考察过的大多数系统都因为缺乏开放性而被排除在外。
客运收入财务部向Oracle、Sybase和Informix要求了售前援助，Informix与Sybase都为建立实际性能基准测试系统提供了现场帮助。
AmericanAirlines的RADAR高级财务分析员兼项目经理JohnHagen赞叹说：
“Sybase太棒了。
他们派了一名咨询人员来帮助我们进行性能基准测试以及其它事情，我们非常满意。
”
该部门选择SybaseIQ的决定得到了部门主任的批准，作出这个选择最主要的原因是性能。
“我们选择SybaseIQ是因为我们喜欢这个产品，”Hagen说，“我们没有发现其它什么产品能与SybaseIQ相比。
它比我们测试过的所有其它数据库都要快四至六倍，而且它比我们原来的Teradata系统快了15倍。
”
SybaseIQ将实施的方便性与高性能有机地结合起来
这个新的RADAR应用是个决策支持型数据集市，其设计目的是使客运收入财务部的分析员们能够快速方便地分析客票销售数据。
这个系统能够协助发现那些业已使用但没有销售记录的客票，从而有助于发现非法使用折扣票的情况。
RADAR的重要价值在于其存储与快速访问大量数据的能力。
经过镜像处理的100GB数据库现在存放着七个月的数据，在系统升级后，这个数字可以翻一倍。
这个运行在配有2.5GB内存和240GB硬盘的六路SunEnterprise5000上的系统通过局域网与大约60个分布在Dallas、Tulsa和Barbados的用户相连。
整个系统的规划与开发仅花费了两个兼职人员不到一年的时间。
AmericanAirlines的高级系统分析员WadeMetzinger说：
“SybaseIQ不难安装。
对于我们来说，我们只用了两个对大型数据库非常没有经验的财务人员，而且他们已经有许多年没有使用UNIX了。
从开始到结束，这个项目共花了十一个月的时间，我现在知道我们完全可以在不到两个月的时间完成这项工作。
”
这个新系统使等待查询结果的现象成为了历史，原来需要等待90分钟才能得到结果的查询现在用SybaseIQ只需4分钟就能完成，原来平均需要25分钟的查询现在只耗时一分半。
“由于有了SybaseIQ，我们的分析员们现在拥有了能够真正让他们观察数据和理解商业状况的工具，”Hagen说，“他们对新工具的喜爱程度不亚于孩子走进了糖果店。
现在我们有60个人在进攻和挖掘这些数据，并且已经获得了各种非常有用的信息。
自从我们安装了SybaseIQ以来，这种数据分析活动已经增长了20倍。
”
该系统的快速反应能力使分析员们在对数据进行挖掘时不必打断思路。
虽然其它的一些决策支持型数据库在系统设计时对一些查询反应迅速，但这些查询并不能体现分析员们工作的实际模式，对决策支持型查询应该而且必须引发新的问题。
客运收入财务部发现SybaseIQ是唯一能够跟得上定义查询速度的高性能数据库。
发现隐藏的创收机会和降低成本
AmericanAirlines已经看到了在SybaseIQ上投资的巨大回报。
用Hagen的话说，正是“SybaseIQ及时为我们提供了我们所期望的效果，甚至在我们的系统进入正式运行之前，人们已经带着问题来找我们了。
仅仅发现客票欺诈这一项，这个系统就帮助我们找到了丢失的单据，在系统运行的第一个月里挽回了6万美元的损失。
”
在挽回因客票欺诈而造成的损失的同时，新系统还提高了公司的收入。
“我们寄予SybaseIQ的期望之一是最大限度地提高收入，”Hagen说，“一个很好的例子是SybaseIQ能够帮助我们发现变更票据未收款的情况。
通过让代理遵守规程并征收这些款项，我们可以轻松地将收入提高至少100万美元。
”
新系统也带来了其它方面成本的降低。
“通过使用SybaseIQ，”Hagen说，“我们的用户不必再依赖IS来得到报告与数据查询结果。
”
有了SybaseIQ，AmericanAirlines的客运收入财务部不仅能更快捷地访问数据，而且数据的存储能力也得到了提高。
现在这个数据库可以保存13个月的数据，可以进行年度比较和逐月趋势分析。
事实还证明RADAR系统还可以非常有效地检测到各种形式的欺诈行为，发现各种增收机会，提高运行效率，以及降低运行成本。
这个系统在验证假设与发现其它收入财务系统的问题方面也非常有效。
所有这些，都使企业的运作成本逐渐接近最低限。
SybaseIQ：
创造成功
好消息在公司里传得很快，由于客运收入财务部在SybaseIQ上的成功应用，其它部门也已经排起队来使用这个系统，并获得了很大的收益。
AmericanAirlines的高级系统分析员WadeMetzinger说：
“在正式运行一年后，我们可望看到新系统仅在本部门中就比旧系统节省20万美元以上。
现在，另外十个其它部门也已开始使用这个系统，这些部门每个月将带来1万至2万美元的成本节约，一年加起来又是一个20万美元。
”
通过大力削减访问时间和简化查询过程，条件改善了的用户得以在最大限度地提高收入和降低成本方面获得巨大的成功。
由于SybaseIQ使AmericanAirlines更为高效快捷地把信息用于战略性决策，AmericanAirlines能够在信息时代中获得更大的竞争优势。
AcadianAssetManagement
更快更准确地分析股票市场
如果一个投资公司没有定时更新或补充信息的能力，其准确跟踪与分析股票市场的能力就会大打折扣。
对投资业的严肃参与者来说，这种定时更新或补充信息的能力意味着每晚要从多个地方下载大量的数据。
这就是位于波士顿的投资公司AcadianAssetManagement的日常工作之一。
Acadian公司依靠每夜收到的电子数据跟踪着世界上17000种股票的价格、盈利和新闻等信息，并以不同的时间间隔对这些信息进行处理。
一些报告每天都要处理，有些则只需每周或每月处理一次。
出于这个原因，每夜收到的信息都必须进行一些必要的整理分类，然后存放在一个数
升级会员 