商业智能BI数据分析平台解决方案.docx

1、商业智能BI数据分析平台解决方案商业智能BI-数据分析平台解决方案 数据分析平台解决方案成都四方伟业软件股份有限公司2017年1月1. 背景概述当前，我们的世界已经迈入大数据（Big Data）时代，随着互联网、物联网、云计算等信息技术的迅猛发展，信息技术与人类世界、经济、军事、科研、生活等方面不断交叉融合，催生了超越以往任何年代的巨量数据。数据正在变得无处不在、触手可及，数据的背后隐藏着信息，而信息之中蕴含着知识和智慧。 而数据创造的真正价值，在于我们能否提供进一步的稀缺的附加服务，就是数据分析。数据的分析过程往往离不开机器和人的相互协作与优势互补。从这一立足点出发，大数据分析的理论和方法研

2、究可以从两个维度展开：一是从机器或计算机的角度出发，强调机器的计算能力和人工智能,以各种高性能处理算法、智能搜索与挖掘算法等为主要研究内容，例如基于Hadoop和MapReduce/Spark框架的大数据处理方法以及各类面向大数据的机器学习和数据挖掘方法等，这也是目前大数据分析领域的研究主流；另一个维度从人作为分析主体和需求主体的角度出发,强调基于人机交互的、符合人的认知规律的分析方法，意图将人所具备的、机器并不擅长的认知能力融入分析过程中，这就是大数据可视化分析。 商业智能（Business Intelligence，简称BI）是进行数据可视化分析的一种重要手段。2. 现状分析2.1. 主流

3、BI模式Gartner的2016 BI和分析平台魔力象限报告指出：当今数据分析向可视化设计UE、自助式探索分析、分析和展现一体化平台发展已经成为大势所趋。2016年，传统的BI厂商已经集体沦陷，全部被驱出了领导象限。2.1.1. 传统BI模式在对数据进行分析的过程中，传统BI的做法是，IT人员事先根据分析需求来进行建模（以及做二次表或打Cube），提前汇总好数据，业务人员在前端查看分析结果报表。分析过程如下所示。这种做法很成熟，持续了很多年，但是也存在着一些问题：1、业务人员查看的报表相对静态，分析的维度和度量的计算方式已在建模时预先设定好，不能更改，比如定好了是求和或求平均数，想改成求方差必

4、须回去修改模型。2、分析需求变更时，业务人员不能直接调整报表，需要IT人员重新建模或修改已有分析模型，耗时较长，响应速度较久。2.1.2. 敏捷BI模式随着技术的发展和演进，BI领域已经迎来了新一代敏捷BI的革新。基于大数据的处理技术，其对TB-PB级的数据可实现秒级响应。敏捷BI的数据展现是起点，而不是终点。看到了数据，能交互式分析，能深入向下挖掘，能发现问题找到答案。敏捷BI的分析报告能让非IT部门的同事直接在分析平台上做出来。不能把所有的分析报告需求都提交到IT部门，这样会严重增加IT部门的工作负担。敏捷BI的实施和操作相比传统BI都要来得更为简单，可以说是以业务人员为使用对象的BI，支

5、持自助探索式分析。分析报告需求经常需要数据层的改动，需要IT部门去改进数据层和业务层，传统BI平台需要一两个月去梳理模型。敏捷BI无需事先建模，可在分析过程中灵活调整分析维度和报表展现，需求变更可以在一天之内响应，提升企业的洞察力决策力。与传统BI的重量建模、统一视图不同，敏捷BI采取轻量建模、N个视图的方法，数据连进来直接可以进行分析，并且业务人员可以实时调整分析的维度和度量的计算方式，极大增加灵活性，真正做到和数据对话。2.2. 平台推荐模式从前文可以看出，敏捷BI以“快而有效”的方式解决了业务与技术长期的矛盾，为数据市场带来了新的活力，也引领了商业智能可视化分析的走向。但我们也要冷静思考

6、：敏捷BI和过去二十五年一样，无法替代Excel，这是为什么？大众化的敏捷BI产品和过去二十五年一样，只能通过Ctrl+C/V才能进入Word/PPT当中，而这“交付的最后一步”却是每个领导真正才会看到的数据分析！大众化的敏捷BI产品还是基于表格和图表化的分析，似乎没有改变数据的堆砌，用户很难为其增加辅助性的说明文字，加入自己的观点！如果分析出报表之后，想要将这些BI图表有机地结合起来，并形成一套完整的数据展示系统，难道还需要专门让IT技术人员编写一套WEB系统，将这些图表嵌入到这个系统中去？大众化的敏捷BI产品即使具备报告/WEB页面的发布能力，但这些报告发布之后都是一些静态页面，无法让最终

7、使用者（业务人员或者领导）再次进行动态分析。比如：根据不同查询条件进行分析、动态切换维度和指标。大众化的敏捷BI产品不能与外部系统进行交互，他们发布的报表是独立存在的。这样就导致无法与外部业务系统有效地结合，从而让分析者、查看者有整体的感知，并不能根据外部系统的参数进行动态分析。所以，我们的数据分析平台应该在基于“业务主导的自服务模式（Business-User-Driven）”的敏捷BI基础上，增加了高级UI页面编排的功能。在进行可视化设计UE分析的同时，也能设计出一套完整的WEB数据展现系统，体现了“分析和展现一体化”。3. 整体需求3.1. 数据源支持支持大多数源系统，只对数据进行抽取和

8、呈现，不对数据进行任何操作。支持结构化、非结构化、API接口的方式作为数据源进行数据管理，结构化数据库支持关系型数据库，非结构化数据支持nosql相关数据库，API接口支持soap、rest等方式。3.2. 自助式查询对于清单数据的查询，用户可以直接通过即席查询设计界面，在可视化界面中以拖拽式的构建查询，无需编写SQL语句，直接查询出数据平台的数据。即席查询应满足业务人员自助式的、零编程的、快速定制的查询需求。提供各种快速和高级查询功能，满足如下要求： 支持通过拖拽式的可视化查询外，还可以通过向导式查询，提供向导界面，通过选择查询字段、查询条件，快速完成数据查询过程，让每个业务用户都可以自己动

9、手创建查询分析。 支持用户对即席查询的结果进行灵活的排序、过滤、分组、小计、合计、告警等高级功能，并选择要展现的方式，如表格、柱图、趋势图等。 通过在界面上选择查询条件，可以快速的进行数据过滤，查看所需的数据。查询条件支持多种方式：文本框输入，下拉框、下拉树、弹出对话框方式，支持单选及复选的方式，日期控件方式，满足不同用户的查询需要。3.3. OLAP联机分析具备多维度的联机分析功能，用于展示重要业务指标的统计数字和分析比较。基于多维分析技术，使内外部的决策者和知识工作者访问关键数据，可以从任意角度探察和分析任何形式组合的数据，快速识别使用其它分析方式无法发现的影响环境的因素，从而提高工作效率

10、。具备大数据可视化分析，从各个维度对数据进行分析，具备如下功能： 用户可以基于多维模型实现任意的切片、旋转、钻取等操作，更可实现自定义指标、统计分析等操作； 从宏观到微观的信息洞察。支持在多维模型上实现钻取操作，可以在多维报表之间进行关联分析，更可从多维报表钻取到明细报表，以发现问题背后的根源； 预定制的分析报表过于死板，业务问题经常需要多个角度的交互分析，需要运用多维分析技术来解决； 多维分析以特有的方式满足了业务用户和管理层的多维分析需求，通过鼠标拖拉即可实现任意的切片、旋转、钻取，具备多维的、交互式的分析功能，用户界面友好。允许用户全方位的、不同角度、不同层面进行剖析，任何层次的决策人员

11、都可以进行自己所需的分析，制订关键决策。 对于多维分析中的不同角度，比如时间、地区等维度，可以通过上钻、下钻等操作来逐步分析；并支持切片、切块、旋转、分页等多维分析；还可以进行各种排序，以及最大值、最小值、平均值、分组合计和总计等计算； 多维分析应具备丰富的信息展示及发布方式，包括趋势图、对比图、比例图、三维图等大量的图形分析，图形具备缩放、旋转、动态效果，帮助用户更加直观地进行分析决策。 在分析过程中形成多维分析报表，可对其数据进行计算、编辑等操作，可以基于多维分析报表生成多种多样图形展现形式，而且在对数据作分析时，数据与图形可实现联动的数据刷新。3.4. UI编排功能具备UI编辑功能，利用

12、业务画布构建报表的UI界面，系统支持拖拽组件栏任意组件，容器组件可嵌套基础组件、图表组件、地图组件、业务组件，表格组件内可以嵌套链接、复选框、单选框组件，GIS上嵌套表格或图等。3.5. 丰富的组件 基础组件支持丰富的组件库，并支持组件自定义。基础组件、图表组件、地图组件、动态数据组件及业务组件具备相同的公共属性，各分组组件有不同的高级属性设置。用户可以根据自己的需要，对组件的各类属性进行调整，并保存为用户自定义组件库。系统既支持柱状图、折线图、饼图、雷达图、散点图、玫瑰图、气泡图、矢量地图等多种基本图表，同时支持漏斗图、词云图、GIS地图等特殊图表，满足不同场景的数据展现需求。特别是系统支持

13、丰富多样的WEB组件。 动态组件具备提供流状数据实时呈现功能，需要在线实时流处理模型支持。结合GIS组件可以构建基于地图的动态数据呈现效果 GIS组件具备GIS组件，支持嵌套基础组件和图表组件，构建基于地理位置信息的数据呈现方式。3.6. 多种展示方式 决策仪表盘展示具备决策仪表盘，将数据应用平台中的各种报表、分析、图形组合起来，形象、直观、具体的展示各种指标数据，形成面向业务、面向角色的展示界面。决策仪表盘往往采用驾驶舱的形式，通过各种常见的图表形象标示经济运行环境情况的关键指标，直观的监测各地区环境情况，并可以对异常关键指标预警和挖掘分析。 大屏综合展示 支持通过大屏展示技术和可视化的解决

14、方案，支持多种类型的数据接口，从数据仓库中抽取出各种各样的数据，依据中心设定的应用逻辑，梳理出资源数据对应的使用逻辑关系，利用数据加工技术和渲染技术进行可视化处理，依托可视化引擎，实现涉及相关指标数据的大屏幕的自动呈现。 APP报表查询支持通过手机端APP应用实现报表查询和图表展示。3.7. 外部数据服务数据分析平台发布的报表工程、页面，能通过URL或者API接口方式嵌入到第三方应用系统。根据安全要求以及第三方系统特性，同时支持免登陆方式和权限认证方式。4. 总体设计平台支持通过所见即所得的可视化拖拽、配置的简单操作就可实现报表的快速生成。通过拖拽、配置、右键菜单和工具条，利用丰富的组件库、事

15、件库等，通过熟悉且直观的交互方式，快速构建分类、钻取、旋转的交叉表和图形报表，依托图形化组件，提供分析结果的可视化展现功能，支持可视化图表，如：柱状图、散点图、交叉图、雷达图等各种常规图表以及热力图、动态分布图等非常规图表，并且支持执行其他诸如打印、导出Excel等常见操作。数据源多样，数据仓库、数据集市、ODS以及源业务系统都可以作为可使用的数据源，无需数据仓库、第三方数据库或CUBE文件。下图为数据分析平台整体架构设计图：4.1. 数据分析通过数据适配接口，从外部数据源抽取分析展现所需要的数据，进行实时分析、计算以及多维分析，并通过数据建模，将分析结果存储在数据分析平台缓存区。4.2. 设

16、计运行通过丰富的组件库，对数据分析结果进行可视化UI编排，实现自助式分析、查询；并通过可视化运行引擎、事件引擎以及GIS引擎将结果实时、生动的展示出来。4.3. 系统管理由我的报表、工程化管理、主题/布局管理、数据源管理、数据建模管理和基础管理等模块组成，实现全方位、多视角的数据分析平台管理体系。4.4. 可视化展示通过仪表盘报表、交互式WEB界面和基于GIS地图的数据可视等丰富的展示形式来全方位、多视角地展现数据分析结果。5. 功能设计5.1. 数据分析5.1.1. 多数据源支持大多数源系统数据，而且剔除了传统BI基于数据仓库才能实施的弊病，可以直接挂接用户的业务系统，采集业务数据并进行多维

17、度的分析。支持多种数据源的连接，包括：主流关系型数据库RDBMS、Excel/CVS文本数据源、基于hadoop的大数据平台数据源以及其他多种JDBC数据源。 RDBMS数据源可直接使用已有数据源，也可以定义新的数据源。支持：Oracle、MySQL、SQLServer、PostgraSQL等主流关系型数据库。 支持高级数据源 基于JDBC的数据集市DataMart、基于hadoop的大数据平台数据源 Excel数据源支持 可直接上传.xls .xlsx 或.cvs 文件，并可读取其中的每个sheet页签。 API定制化的第三方数据源 预留通过标准的API接口，实现读取第三方自定义定制化数据源

18、的能力。5.1.2. 数据建模数据源建好之后，支持对数据表进行进行数据建模，构建BI分析需要的维度、指标。Sefonsoft可视化设计UE平台支持星型、雪花模型，拖拽式可视化建模。模型创建后，系统自动生成Cube，供BI分析使用。5.1.3. 多维BI分析数据分析平台提供了各种常见的OLAP分析操作，除基本的分组聚合外，还可以进任意多维度分析，包含：钻取、切片、切块、旋转、排序、过滤等分析功能。多维分析示意图如下所示： 拖拽式自由分析在多维BI分析一体化工作台中，您可以选择任意数据模型中的任意维度、度量进行自主拖拽分析。同一个模型中，所有的数据已经关联在一起了，这就决定了多维及时分析的自由度。

19、同时，在一个页面就能进行数据模型选择、维度指标选择、图表选择、图表样式设置、数据预览。 多层钻取在进行BI分析时，支持自由创建维度间的层级关系，构建维度分级。将具备层级的维度应用到各种图表上，即可实现自动多层钻取能力，逐层分析和查看各种数值情况。下钻之后，还能自由地返回上级。 组合过滤提供以条件过滤的方式进行多维切片、切块分析。条件过滤可以应用到任意一个维度，即使该维度没有被用在图表上进行分析，增加了过滤的宽泛和强大性。过滤条件支持：大于、小于、大于等于、小于等于、包含、不包含、不等于、等于等各种条件判断，同时，每个条件判断支持采用逻辑表达式的方式组合，形成强大的过滤模型，满足各种切片和切块需

20、要。 数据聚合在数据分析工作中，除了对普通数据的维度、度量进行直接分析和观察数据的整体效应外，分析平均数、最大值、最小值、分位数等需求也是常见的。如果汇总方式仅有单一的求和汇总，则很难满足这类需求。在数据分析平台中，能进行数据动态呈现的所有表格、图表、基本WEB组件除可进行分组或交叉汇总外，可以针对以选择的任意度量进行求和、求最值、求平均、求分位数等，并且它们之间可以实时切换。5.2. 设计运行5.2.1. UI编排数据分析平台可以在各种浏览器下实现报表制作。通过所见即所得拖拽方式实现灵活的可视化布局，极致的用户体验。您只需要通过拖拽，无需编程能力，在设计器上任意发挥创意，即可创造出专业的BI

21、报表和可视化数据展现Web页面。支持字体对齐，组件对齐，组件分布，组件层级控制等等，相关操作非常便利。 字体对齐支持：文本左对齐、文本居中对齐、文本右对齐。 组件对齐支持：左对齐，左右居中，右对齐，顶端对齐，上下居中，低端对齐。 支持组件横向自动分布，组件纵向自动分布。 画布上支持标尺，提供标尺对齐线。 提供坐标显示、设置，长度、宽度直接设置。 支持画布大小选择，自定义社会。 支持拷贝、粘贴、上下左右移、回退、重做、保存、全部保存等快捷键。 当组件重叠的时候，支持设置组件层级，可以置顶或者降底。5.2.2. 丰富组件系统既支持柱状图、折线图、饼图、雷达图、散点图、玫瑰图、气泡图、矢量地图等多种

22、基本图表，同时支持漏斗图、词云图、GIS地图等特殊图表，满足不同场景的数据展现需求。特别是系统支持丰富多样的WEB组件。 图表组件图表组件支持的有：面积图、条形图、趋势图、混合图、饼图、折线图、柱状图、折线堆积图、柱状堆积图、面积堆积图、表格、条形堆积图、南丁格尔玫瑰图、嵌套饼图、仪表盘、大规模散点图、标准气泡图、漏斗图、雷达图等等，样式丰富,且支持自定义扩展。 表格组件表格组件支持的有：每页行数控制、加载上限、滚动高度设置、单元格冻结、复选框、行序号、分页、搜索、多了排序、表头设置、数据区设置、背景及背景图片设置、奇偶行设置、边框设置、网格线设置，同时支持动态筛选、动态列选择、动态排序、异步

23、加载、表格渲染、数据导出等动作。 GIS地图组件GIS组件支持用户自定义图层，提供多种控件和渲染方式，支持两种底图，支持卫星图。将带有“地域性”或“区域性”特征的信息通过地图的形式进行展现，更加直观地监控每个地区的业务情况。GIS组件功能列表如下：一级功能二级功能功能点描述图层管理基础图层支持卫星、矢量、地形图三种，支持天地图、google、高德的底图业务图层通过图层展示业务数据绑定的结果，支持用户在地图上进行对象选择，并进行业务属性查询。每个图层上承载的是单一类型的对象，可以对应一种渲染规则。支持第三方业务图层，如县级以下行政区划边界，河流、道路等，自定义图标、展示字段、符号样式、可以设置过

24、滤条件图层事件绑定支持图层响应鼠标单击，支持弹窗、跳转、联动模型绑定空间数据模型支持空间数据绑定业务模型绑定支持业务模型关联，配置关联条件渲染设置基本渲染按照图层类型（点、线、面）提供不同的基础渲染形式条件渲染可根据业务数据配置条件，满足不同条件采用不同的渲染形式热力图支持热力图渲染，可调节模糊半径、取值范围以及渲染配色控件图层管理控件控制图层的显示、层级、透明度以及文字图例可根据图层和渲染器配置，设置显示图例类型和样式，支持图片图例放大缩小地图放大缩小拖拽平移支持鼠标拖拽卫星/矢量底图切换切换底图，依赖基础图层配置测距、测面距离、面积测量鹰眼图比例尺显示比例尺筛选器可按模型和图层设置过滤条件

25、位置检索按图层检索定位，能够控制检索范围（当前业务图层，本期不支持第三方接口的位置检索）5.2.3. 事件引擎通过事件引擎，支持对容器组件进行监听设置，容器组件自动根据设置的监听参数对容器中的子组件产生的事件进行监听。当这些事件发生时，可根据设置的事件处理信息进行相应的处理。5.2.4. 运行引擎 智能数据SQL引擎支持与数据可视化UI的对接。支持对数据可视化UI的OLAP请求进行解析，生成对应的SQL，响应可视化UI报表结果。 分布式多维分析查询引擎支持对于数据可视化UI的请求进行解析，生成对应的多维查询结果，响应可视化UI报表结果。分布式多维分析查询引擎具备如下特点： 可扩展超快OLAP引

26、擎 目标是降低百亿级别的记录的OLAP查询时间 提供ANSI SQL接口 为Hadoop提供标准SQL支持大部分查询功能 亚秒级别延迟的交互式查询 用户可以与Hadoop数据进行亚秒级交互，在同样的数据集上提供比Hive更好的性能 MOLAP Cube能力 用户能够在引擎里为百亿以上数据集定义数据模型并构建立方体 与BI工具无缝整合 提供与BI工具，如Tableau，的整合能力，即将提供对其他工具的整合 其他特性 Job管理与监控 压缩与编码 增量更新 利用HBase Coprocessor 基于HyperLogLog的Dinstinc Count近似算法 友好的web界面以管理，监控和使用立

27、方体 项目及立方体级别的访问控制安全 支持LDAP5.3. 系统管理5.3.1. 我的报表数据分析平台的页面支持按照工程级发布，在发布时，可以对这个工程及所有页面进行授权管理，确定能被哪些用户查看。报表查看人员可以在“我的报表”查看在自己权限内的所有报表工程以及相关页面。报表发布页面以缩略图的方式只管呈现。 报表预览具备编排好报表之后，对编排的报表进行在线实时预览，核对运行时的带数据的展现效果，以便及时地对编排的报表进行修改。 报表发布编辑好报表之后，可以对每个报表工程进行发布。发布之后的报表就可以配置访问权限，决定哪些用户可以查看到该报表。5.3.2. 工程化管理支持工程模式的管理，一个工程

28、下支持多个页面，也支持多个分组，分组下还可以新建页面，便于对多个可视化页面进行分类管理。工程发布后，工程名字即是发布报表的一级菜单，里边的分组是二级菜单。5.3.3. 主题管理提供多种风格的预定义主题供用户选择，主题皮肤支持用户自定义，用户可以编辑使用自己的主题皮肤。5.3.4. 布局管理布局模板可以协助用户高效快速的构建个性化报表，产品提供多种预定义布局模板供用户使用，用户也可以设置个性化布局模板并添加至布局模板库。5.3.5. 数据源管理支持结构化、非结构化、API接口的方式作为数据源进行数据管理，结构化数据库支持oracle、mysql、sqlserver等关系型数据库，非结构化数据支持

29、nosql相关数据库，API接口支持soap、rest等方式。5.3.6. 基础管理 任务管理具备支持设置定时任务，可在指定时间导出某一报表数据，导出格式支持EXCEL，并通过邮件方式发送至指定接收人员的邮箱中。 分析管理提供分析报表管理页面，并在该页面提供模糊搜索报表的功能，搜索结果能够分类呈现。当查看某一张报表时，能够提供树状列表显示所有分析报表，并提供搜索能力。在分析报表管理页面提供新增、删除、修改报表的功能，当修改时，仅能修改自己创建的报表。支持用户将自己编辑的报表通过授权方式分享给其他用户或者角色查看。支持用户将自己编辑的报表通过导出并发送邮件附件的方式分享给其他人员。支持单张报表页

30、面的数据导出至EXCEL文件和PDF，多部分数据则导出至多个页签。 图谱管理提供图谱管理页面，并在该页面提供模糊搜索图谱的功能，搜索结果能够分类呈现。在图谱管理页面提供新增、删除、修改图谱的功能，当修改时，仅能修改自己创建的图谱。支持用户将自己编辑的图谱通过授权方式分享给其他用户或者角色查看。支持将图谱的数据导出至EXCEL文件和PNG图片。5.4. 可视化展示5.4.1. 决策仪表盘具备决策仪表盘，将数据应用平台中的各种报表、分析、图形组合起来，形象、直观、具体的展示各种指标数据，形成面向业务、面向角色的展示界面。决策仪表盘往往采用驾驶舱的形式，通过各种常见的图表形象标示经济运行环境情况的关

31、键指标，直观的监测各地区环境情况，并可以对异常关键指标预警和挖掘分析。该制作需要遵行以下要求： 个性化设计具备面向不同的业务部门、不同的人员角色，提供不同的个性化页面。支持面向角色的默认页面，不同的用户角色都能方便的查看自己关注的页面和数据。支持系统级、个人级的默认页面，每个用户可以定义自己专属的个人页面。每个用户都可以将个人关注的报表添加到收藏夹中，方便快速浏览。 支持集成多种展现在门户定制中能够集成多种展现，包括报表、图形、地图、预警等等。能够支持嵌入展示其他系统的内容。 布局灵活为满足不同的展现需求，定制门户时布局方式应该灵活配置。通过在一个HTML定义表的单元内嵌入一定的JSP标记，可以提供广泛的可行布局。除了内置常用的布局样式外，还运行用户自己定义的布局。 操作简易使用向导的方式定制门户，通过拖拽方式快速定制页面内容，无需开发代码。5.4.2. 大屏综合显示 支持通过大屏显示技术和可视化的解决方案，支持多种类型的数据接口