NC商业分析平台BQ产品标准解决方案.docx

1、NC商业分析平台BQ产品标准解决方案商业分析解决方案1.项目背景在全球经济一体化浪潮的推动下，中国企业快速发展，企业的规模不断壮大、涉及的业务领域不断扩张、经营的地域不断拓展，管理难度越来越大；同时也面临 着世界竞争的大环境，竞争越来越激烈。随着计算机及其网络通讯技术的发展，特 别是互联网技术的发展，改变了人们以往的做事方法和经营管理模式。企业要想在 竞争中取胜，就必须充分利用信息化来优化企业资源、改变经营管理模式，通过信 息化确保企业按设定的流程运作、实时掌握企业目前的运作状况、及时发现问题并 找出原因、迅速科学地响应市场及合作伙伴，最终支持企业的科学决策和企业的发 展。在企业的信息化过程中

2、，在业务系统中积累了大量的市场数据、客户数据、交 易历史数据，也形成了一套分析方法和报表规则， 但目前的信息化还存在一些问题, 难以满足企业领导掌握跨业务、跨部门运营情况的需求，难以支撑企业领导的整体 决策需求，难以满足业务管理人员的数据跨帐套、跨年度的查询工作，业务管理人 员工作量大、工作效率低。这些信息化问题主要表现在：数据不集中：企业的信息化建设过程中，有些建立了多个业务系统，有些虽 然系统统一，但业务数据分散在不同业务模块中，数据不集中，数据之间相 互独立、缺乏整合，数据查询难度大、速度慢；各业务模块数据不能自动、 及时汇总，需要进行手工调整，工作量大，且数据缺乏关联和共享，分布在 大

3、量无关联的表格中，数据缺乏一致性和准确性；以报表展现，缺乏综合分析： 主要通过定制报表进行业务分析，数据很多，但报表之间缺乏关联和对照关系，缺乏综合分析深入，用户不能及时准确的 获取数据的含义和趋势；展现结果不直观：报表不能直观的展现分析结果，不能通过模型进行业务预 警和预测，支撑企业多种业务运用。因此，企业需要一个系统解决数据不集中的问题，建立数据集中平台，及时整 合来自各业务系统数据，建立企业统一准确的数据仓库，通过含有业务逻辑的分析 模型和对数据的有机组织和关联分析，将数据转化成为企业的知识，并以表格、图 形、仪表盘等直观方式，将数据和分析结果通过网页、移动终端呈现，最终准确地 整合企业

4、有效信息、支撑企业的整体决策。商业智能系统(BI)通过搭建基于企业不同应用系统之上的数据集成平台，实现企业数据的整合统一，建立覆盖全集团的数据查询体系、建立集团各类业务的关 键指标体系及风险预警控制体系。解决了目前信息化存在的问题。但传统的商业智能(BI) 产品虽然功能全面，但都是以数据为中心，针对非实时的历史数据进行分析，无法满足业务人员对分析数据的实时性要求。同时传统 BI独立的系统特性，只能作为外围 BI系统进行项目实施，无法与 NC业务系统紧密集 成。加上昂贵的价格、复杂的实施流程也直接导致客户投资回报率低下。随着互联网、物联网的高速发展，未来将是一个大数据的时代，企业要面临大数据分析

5、、实时分析、移动分析、交易系统和分析系统融合等更深入的需求。 BI系统的发展将逐步由传统的事后分析，向实时分析、向交易系统与分析系统融合等方向发展。将基于大内存、多内核、幵放架构的硬件设备，把大数据、实时分析、移 动应用等技术融入到分析系统中去。结合用友十年来在商业智能领域的研究以及对企业客户商业智能应用，我们清 晰的看到企业应用从商业智能（BI）到商业分析（BA的应用变化，而这种变迁又 正是伴随着企业管理的需求的发展、技术创新的进步。【BI到BA演进的四种模式】传统模式：传统的BI应用模式，从底层交易系统获得数据，通过ETL建立企业的数据仓库，在此基础上加载相应的分析应用， 最后以报表的形式

6、呈现给用户。 这种BI模式是我们最常见的也是目前客户采用最多的。这种方式最大的意义在于区分了交易系统的 职责，实现从OLTP向OLAP的转变。然而在此种模式下，对于个别大型企业客户对 于大数据量的分析效率要求显得心有余悸。实时反馈模式：在解决交易数据的分析之后， 我们看到，部分客户对传统的BI模式又提出新的 要求，如库存分析，需要库存的数据要与当前业务系统的数据保持实时同步。而传 统的ETL、建立数据仓库均有一个数据抽取、 存储的过程，我们把它称之为“T+1”。嵌入式模式：随着企业的发展，企业管理思想与模式也在发生巨大的变化，对信息系统的要 求也越来越高。从最初始的 OLTP系统与OLAP系统

7、的泾渭分明到现今客户需要在传统的业务系统中直接实现分析报表的应用闭环模式：管理者对管理创新的不断追求，努力探寻在事件洞察和信息管理方面的全新能 力。在实现数据的“ T+0”实现分析应用与业务系统的嵌入之后，对此又进一步将 分析应用的结果回写到交易系统中，实现交易系统与分析应用的实时交互。总之，商业分析（BA对中国企业的价值越发凸显，为适应这种复杂、快速的 变化趋势。用友在2012年推出融合了业界领先的 ADE（分析数据引擎）、RDI（实时 数据集成）、AIE （分析指标引擎）等创新技术的扛鼎之作一一用友 NC BAP平台。2.商业分析平台（BAP目标分析用友NC60BAP商业分析平台，通过与N

8、C业务系统无缝集成，通过对业务数据的 实时分析与加工，满足普通业务人员操作业务流程的分析要求，同时为决策层提供 数据支持。企业在NCBAP平台上，可以通过多种方式展幵部署，实现实时商务分析，让用 户瞬间拥有强大的商业分析能力。 帮助企业组织中的每一个人洞察现状并预测未来， 进而做出决策并付诸行动，最终帮助企业提高运营效率和盈利能力，建立并维持企 业的竞争优势。商业分析系统能够帮助企业实现以下目标：战略管控：为企业领导提供核心业务的指标分析，帮助领导全面掌握企业主业 经营、管理状况等，支撑管理层决策，视角更全面、决策结果更准确。业务分析： 建立面向不同业务应用的分析主题，对企业的业务运营情况进行

9、分 析和监控，支持对下属企业的运营管控和管理决策。风险预警： 对企业业务运营过程和绩效管理的风险指标进行预警，以便于企业 领导及时掌控指标异动情况，及时做出战略、应对策略和布署。数据整合： 有效实现企业各业务及下属分子公司的数据整合统一，建立统一的 数据平台，实现数据统一和共享，构建企业数据全集，提升数据处理的及时性和准 确性。总之，用友BAP通过与NC的无缝集成，搭建基于 NC系统及其他应用系统之上 的数据集成平台， 以此为基础， 搭建战略管控分析模型、 业务分析模型及分析报表， 一方面降低工作量，一方面为管理者提供科学、准确的辅助决策信息，提升经营决 策效率，规避经营决策风险。3.商业分析

10、平台（BAP的需求分析和建议3.1.商业分析平台的需求分析根据目前企业集团的信息系统分散、数据不能及时汇总、准确度低、分析展现 不直观、不能进行综合分析等问题，企业对商业分析的需求，主要是希望建立一个 功能丰富且操作简便的数据统计、数据分析系统平台，来整合企业准确有效信息， 支撑企业的整体决策。3.2.商业分析平台的总体思路在企业商业分析平台（BAP系统的建设过程中，涉及到多种数据来源、大数据 处理、实时数据分析、复杂的业务需求等诸多挑战，同时企业业务快速发展，因此 系统必须进行细致的规划，保证系统能满足目前及未来几年的业务需要。根据用友对商业分析的洞察，未来商业分析系统的趋势将是大数据与超高

11、性能并存；实时洞察力成为ERP的新能量；嵌入式分析分散在每个IT应用中；交易系统与分析系统融合；分析系统成为随时随地随设备。因此，用友商业分析平台（BAP的设计是为了帮助客户应对这种变化趋势，用 友基于业界领先的 ADE（分析数据引擎）、RDI （实时数据集成）、AIE （分析指标引 擎）技术，帮助企业可以通过任何方式立即展幵部署，实现实时商务分析，让用户 手中瞬间拥有的强大商业分析能力。帮助企业组织中的每一个人获得信息并理解含 义，进而自信地做出决策并付诸行动，最终帮助企业提高运营效率和盈利能力。同时，用友BAP平台的建设和设计按照以下原则进行：综合规划、合理布局BAP平台是企业整体信息化战

12、略的一部分，应该综合考虑集团各管理部门以及 下属企业的分析需求，合理划分综合决策支持系统结构和功能，避免系统内功能重 叠、信息重复采集、数据不一致、数据冗余、数据共享差和数据指标定义不统一等 问题的发生。前瞻性BAP平台建设范围主要来源于集团及下属企业的 NC系统，BAP平台将逐渐发展成为面向集团、板块的全面数据分析系统，因此系统设计要体现前瞻性，使系统具 有很长的生命周期。前瞻性主要包括体系结构的前瞻性、技术路线前瞻性、产品选 择前瞻性和应用设计的前瞻性。尤其是在业务方面，要充分考虑如何满足未来运营 的要求，把先进的管理理念与分析评价体系应用到系统中去。实用性在考虑前瞻性的同时，还必须兼顾实

13、用性。充分发挥我们的后发优势，在尽可 能借鉴国际先进技术及管理成果的基础上，在系统的设计和实施方面要结合企业的 现状，做出准确的判断，保障系统的实用性或可操作性。实用性主要从以下方面考 虑：界面的友好程度、应用实现的难易程度、产品的稳定性和效率等。可靠性根据BA决策支持系统的特点，制定完善的可靠性保障方案，确保系统的正常使 用。同时系统的运行效能必须满足企业复杂的应用需求和大规模的用户访问量，保 障系统的高可靠性。幵放性BAP平台的幵放性：整体结构具有很好的模块化设计， 模块之间有明确的接口， 平台之间有明确的规范。并且能根据通过 QDI模块，可以实现外部数据的整合功能。可伸缩性数据量增长时具

14、有良好的伸缩性，用户增长时具有良好的伸缩性，应用系统增加时的伸缩性。科学易用性必须保证数据的准确性，在数据加工方面要精确合理；数据的表现形式要直观 快捷，分析及结果展示要有较强的科学依据；数据要准确，分析要科学，信息及结 果要易懂、易理解，展示要直观。用友BAP平台通过与NC业务系统无缝集成，满足NC客户的BI应用要求，同时 提供标准的BI数据输出，方便与其他 BI系统集成，通过对业务数据进行实时性的 分析与加工，为决策层提供数据支持和决策依据，为业务管理人员提供业务管理依 据，为普通业务人员操作业务的报表分析和即时查询。BAP平台的总体层次结构如下图所示：【产品总体层次结构图】4.商业分析平

15、台（BAR解决方案4.1.商业分析平台框架用友商业分析平台采用 B/S结构，通过单个平台提供多种工具，为报表查询和 分析、绩效指标分析呈现以及数据集成提供了完善、 可靠的平台。提供了数据整合， 元数据管理，以及数据生命周期管理等功能用友商业分析平台的总体框架如下图所示：【用友BAP平台框架图】语义层：按照业务分析要求，将NC系统的业务财务数据进行重新组织归纳，输 出标准的多维数据结构，并把技术的数据组织转成面向业务的数据，以供业务人员 查询分析使用。分析层： 建立管理驾驶舱以及全面的业务分析模型，包括挖掘数据价值，提供 决策数据信息，提供分析计算服务。展现层： 通过透视图、透视表等方式，提供多

16、种数据展现方式和操作功能，呈 现财务分析结果。4.2.商业分析平台技术方案4.2.1. 整体技术特点1、内嵌高效数据仓库引擎内嵌的数据库引擎架构不同于大多数数据库引擎，专门针对大并发即席查询的优化设计。基于列存储的技术实现有效减少 10,提升查询性能。决策处理中的很多查询只需要少量列数据，按列存储数据时由于相邻的字段值具有相同的数据类型， 数据引擎更容易对数据进行压缩处理。结构扩展时（增加列）不会引起数据库结构 的改变。2、支持实时数据整合提供异构环境间事务数据的实时、低影响的捕获、路由、转换和交付，在异构 源和目标系统之间、以最低IT基础设施幵销实时数据传递。以小步快跑的方式，在 oracl

17、e、AE数据库上进行实时数据整合。为时效要求高的分析需求提供数据支撑。3、内嵌独立OLAP分析引擎，纯java的数据展示平台BAP是一个基于Java标准的、以B/S方式运行的、可跨硬件平台的、可跨操作 系统的OLAP分析平台。内嵌完整的 OLAP引擎、报表引擎，不依赖第三方产品。内嵌完整OLAP引擎，支持MDX吾言实现查询，从关系数据库（RDBMS中读取数据。不依赖它第三方产品 （如 Microsoft SQLServer Analysis Services （SSAS）。内嵌完整报表引擎，表格与图形实现均不依赖第三方产品 （如Microsoft Excel ）4.2.2.高效数据引擎AE4.

18、221. AE的架构高效数据引擎AE的架构设计充分满足了大数据分析需求， 是具有高效复杂统计和分析能力的列存储关系型数据库管理系统。 AE面向分析型应用领域，以列为基本存储结构和数据运算对象，结合列数据压缩处理、并行处理、智能索引等新型数据 处理技术。下图为 AE的系统结构：逻辑层：主要处理查询逻辑，包括 SQL接口、内存管理引擎、压缩引擎、索引引擎、语 义优化器与执行器等核心部件存储层:存储引擎将数据按列压缩存储到不同的数据包中，并自动生成智能索引。工具层：工具层提供用户与数据库系统的交互接口， 包括应用幵发接口支持 CAPI、JDBCODBCADO.NET数据加载工具，提供高效数据加载工具

19、，支持并行加载；图形化的 管理，简单、易用，提供友好的用户界面。4.2.22 AE的功能1、列存储面对海量数据分析的I/O瓶颈，AE把表数据按列的方式存储， 其优势体现在以 下几个方面：不读取无效数据：降低I/O 幵销，同时提高每次I/O 的效率，从而大大提高查询性能。查询语 句只从磁盘上读取所需要的列，其他列的数据是不需要读取的。例如，有两张表， 每张表100GB且有100列，大多数查询只关注几个列，采用列存储，不需要像行存 数据库一样，将整行数据取出，只取出需要的列。磁盘 I/O 是行存储的1/10或更少，查询响应时间提高10倍以上。高压缩比：节省了存储设备的幵销。当数据库的大小与数据库服

20、务器内存大小之比达到或超过 2:1 （典型的大型系统配置值）时，列存的 I/O 优势就显得更加明显，在某些场景 下的运算性能比传统数据库快 100倍以上。2、 透明压缩AE允许用户根据需要设置配置文件，选择是否进行压缩。在启用压缩的情况下， 根据数据的不同特性以及不同的分布状况，自动采用相应的压缩算法，如：行程编码（适用于大量连续重复的数据，特别是排序数据） ；基于数据的差值编码（适用于重复率低，但彼此差值较小的数据列） ；基于位置的差值编码（适用于重复率高，但分布比较随机的数据列） 。3、 智能索引与传统数据库索引技术相比，智能索引建立在数据包上（粗粒度索引） ，并且每个字段均自动建有索引，

21、而传统索引建立在每行数据上（细粒度索引） ，因此访问智能索引要比访问传统索引需要更少的 I/O （几万分之一）。同时，智能索引所占空间大约是数据的百分之一，而传统数据库索引则要占到数据的 2050% oAE采用粗粒度的智能索引，包含了描述数据间相互依赖关系的高级信息，有效 的解决复杂的多表连接和子查询，能够准确识别数据包的需要，最大限度地减少磁 盘I/O o智能索引与传统索引相比：AE智能多维索传统B-tree索传统Bitmap索引引引粒度每个数据包每行数据每行数据可扩展性非常高一般一般适用范围所有字段数据重复率低的字段数据重复率高的字段占用空间数据的百分之数据数据的几十分之一使用的透明性完全

22、透明复合索引受SQL限制受SQL限制建立、维护模式完全自动手工手工4、并行技术AE实现了自动高效的并行 SQL执行方法，充分利用现代的 SMP多核CPU资源并行处理海量数据，具有智能的算法适配功能，并支持双向并行查询，进一步提高 查询性能5、高性能数据加载AE的列存储、多线程的双向并行加载策略以及特有的数据分块装载算法，为快速的批量加载提供了强大的技术保证。由于分块提交之后内存可以充分释放，使得 后续数据包的载入性能不会有任何降低。在一个 4 CPU 32GB内存的机器上，单表加载性能可达到200GB/小时，每秒可达到加载 300,000行的速度，多表并发加载性 能可达到500GB/小时以上。

23、6、内存管理AE的内存模块将数据堆内存、大块内存、临时内存、加载内存等进行分类管理，并将控制锁分离，以获取良好的并发效率。数据堆内存采用 LRU管理，释放成功率高，避免缓存被垃圾数据包占用。 LRU列表根据数据包新鲜度实时排序，释放时按照约定的阀值进行顺序扫描。为了得到良好的hash join、group by、sort运算的效率，内存模块支持对各运算缓冲区大小的分别设置。内存模块提供内部查错机制进行缓冲区上下限检查， 避免AE因占用系统内存异常而被操作系统进程强制封杀。4.2.23 AE的优势AE的优势主要体现为“三高”优势：高性能列存储在大大减少了 I / O 的同时，显着地提高查询性能;

24、智能索引大幅提高查询性能；非常快的数据加载（单表高达 200GB/小时的加载速度）；高效的并行 SQL执行方法，支持Hash Join、Merge Join 和NL Join ；数据库可扩展性非常高。高性价比市场领先的数据压缩（从 1:5到1:20以上），显着减少存储幵销；减少服务器的数量，显着减少数据仓库运营成本。高可用性不要求设计特定的数据模型，例如要求星型模型、雪花模型；没有物化视图的要求，不要求复杂的数据分区或索引；易于实施和管理，只需要传统数据库 1/10的管理；支持市场上主流64位操作系统。4.23数据集成数据集成（Data Integration ，DI）:借助简明易懂的向导式图

25、形操作界面可将来自不同数据源的查询结果数据按照定制的处理流程进行转换、清洗，并建立目标 数据源、及元数据【数据集成模块结构】支持从数据集分批取数，并分批插入目标数据库。在一个任务中支持多个输入源，一个输出源。源数据源除包括语义模型，数据字典表外，还应包括其他基本的输入类型，如Excel表，txt文本等。数据转换器支持注册添加方式，可以根据具体需求动态添加。目标数据源支持多种数据源类型 （关系数据库一Oracle,DB2,Gbase等，以 及第三方格式）。全过程采用“拖拉拽”模式，操作便捷。支持元数据的增加，删除，修改等管理操作，支持元数据的校验，支持在 任务设计中，输入源对语义元数据的直接引入

26、。数据镜像功能呢，通过数据镜像功能可以把关系数据库中的表结构和数据 复制同步到当前操作数据源上， 然后业务操作可以基于镜像后的数据表进行再应用。4.24 语义层用友NCBAP平台通过语义模型功能，把面向技术人员的数据组织成面向业务的数据，实现业务人员通过易懂的业务语言就可进行以往需要技术背景的 IT人员才能实现的业务报表查询分析，实现了懂业务就能自定义各种复杂的分析报表，如复杂的交叉表、分栏报表等。语义元数据支持跨数据库，支持多数据源，藉此屏蔽了数据库的差异，方 便业务人员集中精力于业务模型；支持从数据库中现有物理表直接导入生成元数据；支持导入Excel文件来创建元数据；支持物理表的重建，以保

27、持模型的一致性。425.分析建模NC BAP支持可以灵活的通过多维建模功能，建立由多个维度和指标组成的多维 数据分析模型，通过分析模型，进而在展现层进行可视化分析。这样可方便构建企 业的各个业务主题分析应用，还可方便的将建立的分析包主题模型导入导出。多维建模工具可以对数据分析模型进行设置，包括分析主题目录、模型设置区 域、主题概览和工具栏等几部分。分析主题目录展现了所有主题的分类目录。模型 设置区域分为主题的整体结构和具体属性两部分。主题概览显示出主题结构树上选 中的模型对应的数据结构，比如当选择一个多维数据集时，显示其对应的事实表， 当选中一个维度时，则显示其对应的维表。4.2.6.透视表应

28、用通过NCBAP的数据透视表设计器，通过简单拖拽的方式即可实现复杂报表的设 计制作，而这种操作类似于 EXCE啲操作习惯，方便使用者上手及学习。1、数据钻取：使用者可方便在报表上对任意需要进一步查询的数据进行多种钻取；按位置钻取、按成品钻取、替代钻取。2、 指标、维度的切换分析：在报表浏览的过程， 使用者可方便的在对报表的指标、 维度进行切换，无须复杂的报表重制。透视表中的指标和维度还可通过拖拽操作来改变顺序。3、灵活的动态分析：透视区域中的指标生效。使用者可对透视表的各项指标进行各种排序分析、排名分析、同比分析、环比分析、基比分析、占比分析等各种分析方法的应用。4、预置统计分析功能：使用者可

29、借助BAP预置的统计分析方法，灵活的对分析的报表数据，按所需的统计模型，对未来进行预测分析。5、易用的快照功能：可将透视表的某一执行状态记录为一个快照。在成员超链接中，可链接到此快照。6、强大的超级链接功能：使用报表超链接，使用者可随时穿透到所需的透视表，进而了解更为详细的数据信息。7、 与 office 的融合应用：使用者可方便的将当前查询的透视表，保存为 Excel 文件导出。满足部分 office 用户的使用习惯。8、灵活多样的透视图设计：对当前报表使用者可完全参照 EXCEL勺应用习惯，快捷的针对透视表数据智能的匹配相应的分析图形。9、 图 表联动：通过对图表的超链接，使用者灵活的穿透

30、到某一透视表文件。通过透视图展现的总体趋势，进而由图穿透到表，然后再进一步分析明细数据。同时这些 图、表之间的穿透分析是联动的。10、 数据写入：透视表不仅是查询、分析，使用者还可对透视表进行数据的写入操作，通过强大的内置函数功能，实现数据计算。同时写入的数据还可参与到其它的分析运算中。4.2.7. 透视图应用BAP平台支持各种常用图形的设计，可以通过透视图设计向导，也可以先选定 一个透视区域，在工具条中点击图表设计按钮，直接选择一个图表类型，生成透视 图。BAP 可实现图表之间的链接，通过对图表设置超链接，点击图表标题，链接到 某一透视表文件。图表展现的是总体趋势，由图穿透到表后，可以进一步

31、分析明细 数据。如果多个透视图来自于同一个数据立方体，都关联了相同的上下文，那么这 些图表之间可以进行联动。用友BAP平台预置丰富的管理驾驶舱页面，使用者可灵活的依据管理的需要及个人的风格，选择仪表盘、报表、报表图形的页面构建，实现对关键指标直观的图 形化监控。4.2.8.监控预警使用者可通过简单的报表预警设置，就可对透视表数据建立各项复杂的预警规 则及预警显示。4.2.9.多种展现部署在BAP平台上，使用者可快速的将部署分析应用同步部署到 NC系统、Portal、PAD三种方式上，而且这些数据是完全的同步的。避免以往其它系统每种方式需要 单独的组件来重新部署的复杂繁琐。【NC系统访问界面】【轻量级PORTA访问界面】iPad 访问界面】4.3. 预置业务分析主题用友商业分析平台 (BAP6.1) 中预置了财务、 资金分析主题， 对企业的财务和资金 管理进行全面的分析。 BAP 将结合行业的实际需求，逐步定制采购、销售、库存、 生产等主题，同时满足客户灵活拓展的需求，可以根据需要