数据开放共享平台解决方案-数据共享平台.pptx

1、,数据开放共享解决方 案,2009-2016 BAIFENDIAN CORPORATION ALL RIGHTS RESERVED.,1,目录页CONTENT PAGE,2,P1,P2,P3,P4,背景,解决方案,核心技术,行业案例,大数据的未来在于数据开放共享,3,数据开放与共享是大数据竞争战略核心,21世纪，互联网、移动互联网、3D打 印、人工智能正如摩尔定律所言，人类的科技革新发展迅速，其中大数据 的发展潜力最被看好。大数据的概念非 常火爆，但少有人真正理解大数据的核心内容，一个普遍而且严重的误解就是：大数据=数据大，即大数据就是量大的 数据。但实际上，大数据的核心在于数 据的交叉与流动

2、，即数据的开放与共享。,数据开放共享基础设施建设完善,4,数据安全保障制度全面,政府政策推动2015 年国务院发布促进大数据发 展行动纲要，其核心就是推动数 据资源开放共享。2017 数据资源共享共用格局基本形 成。2018 年实现数据统一共享交换平台 的全覆盖。,2020 年逐步实现数据集向社会开放。,数据资产管理平台建设完善各单位企业数据资产管理平台已逐 步建设形成，用于解决企业内部存 在的信息孤岛问题，实现数据的互联互通。有效推动数据开放共享脚步。,国务院促进大数据发展行动纲要 明确落实信息安全保护，风险评估 等网络安全制度。建立健全大数据 安全保障体系,强化大数据安全支撑,采用安全可信

3、产品和服务,提升基础 设施关键设备安全可靠水平。,数据开放共享建设面临的问题,5,数据提供者,用多久？,如何对外提供？,安全吗？,用途是什么？,需要 什 么数据？,谁需要？,我有什么 数据？,数据使用者,要什么 数据？,问谁要？,不会开放共享 缺技术，缺人才不愿开放共享 数据无法再利用、产生价值不敢开放共享 数据安全及隐私无保障缺乏总体规划，未建立数据共享机制缺乏统一标准信息系统间自成体系，相互割裂，存在大量信息孤岛数据质量无法保证不同数据混合存储，数据分析复杂度高,数据在哪个,系统？,能提供么,能用多长 时间？,如何获取？,解决手段,6,总体统筹规划,打破系统间数据壁垒,统一数据标准,以全量

4、数据为范畴,开放共享平台,服务精细化碎片化,一站式商业运营挖掘数据深度价值,标准流程应用,可视化应用配置,全栈安全保障数据服务用户安全全管控,目录页CONTENT PAGE,7,P1,P2,P3,P4,背景,解决方案,核心技术,行业案例,数据开放共享解决方案,8,一方数据,二方数据,三方数据,相对 较低,相对 较高,高,数 据 价值,数据应用,数据 交换,数据 加工,数据 接入,数据服务应用,数据开放共享平台数据服务运营,数据资源目录,数据服务化,大数据资产管理平台-（BD-OS）数据接入数据接入,数据开放共享平台功能架构,9,身份认证,权限认证,应用,开发者平台,门户,商品列表,KHan,M

5、ongoDB,HBase,ES,Hive,MySQL,数据源,数据选定,主题创建,数据网关 在线调试,API文档,流量控制日志审计协议(HTTP/WebSocket),API路由监控告警数据结构（JSON/CSV/XML),API发布,A PI执行,API开放,API调用,商品管理,使用统计,账单管理,血缘分析,影响分析,A PI监控,服务监控,目录发布,目录导航,数据商城,定价系统,商品搜索,支付系统管理,商品发布/下架,用户认证,用户授权,API 日志审计,用户日志审计,提供页面调试工具,数据开放共享平台,数据开放共享平台,数据开放共享平台,数据开放共享平台-API 生命周期管理,数据开放

6、共享平台,自动生成API 文档，大大降低人力成本,数据开放共享平台,创建,生成,运行,发布,监控,API生命周期管理,10,数据开放共享平台-API 托管服务,11,API,提供全面、可靠的一站式API 托管服务，企业既是API 提供者，又是API 的消费者；将企业内部已有的服务或外部第三方服务接入平台，建立企业的API 生态；拥抱API 经济，助力企业通过API 粘合更多合作伙伴。,数据开放共享平台,第三方服务接入,天气预报,股票行情,车型大全,合作商,用户,企业,合作伙伴,应用,12,SDK,API服务,Java Web,逻 辑 处理,流 程,获取API逻辑,规则引擎 执行API逻辑,按需

7、调用函数,推送,数 据 库,MySQL,MongoDB,HBase,其他,Codis,变 更 推 送,定时 任务,CDC,监控数据变化,RPC,定期,计算,RPC,订阅/推送WebSocket/TCP/UDP,订阅推送,数据应用,数据开放共享平台,分业务主题的订阅/推送模式。,对用户设置标签分组，用户群组一键推送。,通过API或Web 推送的历史过程全纪 录，问题可追溯。,数据开放共享平台-数据推送,数据开放共享平台-数据资源目录,13,数据资源目录,综合应用（数据商城、统一数据门户）,主题1,主题2,主题n,标准规范体系,数据资源目录管理内容,元数据库,基础数据库 专业数据库,数据库,系统,

8、目录注册,目录导航,元数据管理,权限管理,目录发布,目录检索,计费管理,计费设置,账单管理数据开放共享平台,数据开放共享平台,数据开放共享平台,使用统计,包流量，频次，包月，包年，按需灵活设置细化到单个用户的计费方式定制个性化定制折扣优惠,实时统计用户账单，及时预警用户余额不足按金额，使用流量或次数多方式排序,多维度TOP10排名图表展示统计结果，清晰明了,数据开放共享平台-计费管理,14,影响分析,15,元数据管理,血缘分析,数据开放共享平台,审视数据关系溯源数据错误预测改动影响,完整细致的描绘源数据、表、A PI和函数的关系分业务主题场景的血缘分析,全面描述数据的背景、内容、数据结构及其生

9、命周期管理包括业务元数据和技术元数据,数据开放共享平台,数据开放共享平台,数据开放共享平台-元数据管理,数据开放共享平台-运维监控,16,用户监控,服务监控,API 监控,运维 监控,API 全过程可视化状态监控。,用户使用状态实时监控，清楚了解用户使用现状。,服务运行状况实时监控。,数据开放共享平台,数据开放共享平台,数据开放共享平台,数据商城,17,账单管理,定价 系统,订购清单,商品 管理,商品 列表,数据商城,数据开放共享平台,商品展示、查询、试用，购买,商品上架、下架等,管理用户使用商品的计费情况数据开放共享平台,用户订购商品清单数据商城,出售的商品进行事前定价数据开放共享平台,数据

10、开放共享平台-数据商城,数据开放共享平台-安全中心,用户日志,服务日志,A PI日志,18,数据 安全,访问安全,安全审计,数据开放共享平台,数据开放共享平台,数据开放共享平台,数据开放共享平台,数据开放共享平台,数据开放共享平台,用户管理,身份认证,权限认证,数据开放共享平台,多租户管理,数据开放共享平台,数据加密解密,开放数据审批,数据开放共享平台,安全保障,目录页CONTENT PAGE,19,P1,P2,P3,P4,背景,解决方案,核心技术,行业案例,关键技术Netflix 微服务架构体系,20,基于微服务的架构模式，建立松耦合高内聚 的单体服务。,zuul网关,服务发现EUREKA,

11、ServiceC,ServiceB,ServiceA,ServiceC,ServiceB,ServiceA,ServiceC,ServiceB,ServiceA,配置中心 Config Service,GIT,消息中间件Rabbit MQ,Turbine,Hystrix Dashboard,Spring Cloud Dashboard,用户请求,服务间松散耦合，服务自治，支持持续 化交付部署。,每个服务可以独立扩展。,1,2,3,关键技术 分布式任务调度,任务调度器触发器,触发器：用于定义任务调度时间规则,任务实例,日历,JobDataMap,线程池,JobDataMap,JobDataMap

12、,JobDataMap,JobDataMap,JobDataMap,任务运行环境,1,完全基于Java实现。,2,强大的调度功能，支持丰富多样的调度方法，可以满足各种常规及特殊需求。,3,灵活的应用方式，支持任务和调度的多种组 合方式，支持调度数据的多种存储方式。,4,分布式和集群能力。,很容易与Spring 集成实现灵活可配置的调 度功能。,5,关键技术HARPC 消息通信,22,自主研发并开源，为实现服务之间高 效通信、统一管理服务。,具备高性能、可视化及轻量级等特性。,2,支持跨语言Java、Python和C+的 开发者使用。,高可用的RPC框架。,3,4,RPC方案,跨语言高可用高性能

13、可视化轻量级,Thrift,Avro,Hessian,业内方案Dubbo,Dubbox,Ice,HARPC,Thrift,5,可实现A PI数据实时更新、系统间跨语言脚本等功能。,关键技术 流量控制,23,大规模的API 请求,大规模的用户请求,流量控制,API 流量控制,用户流量控制,流量控制粒度,分钟,小时,天,稳定的后端服务,流量控制的目的是为了保证 后端服务的稳定。后端服务 不至于被瞬间增长的流量挤 爆服务而使得服务挂掉。,关键技术 实时访问数据统计,24,利用Spark进行实时计算统计。,1,通过Logstash实现日志的收集管理。,2,通过高吞吐的分布式订阅消息系统kafka集群

14、提供实时的消费。,3,网关访问日志,网关访问日志,网关访问日志,kafka 集群,kafka 集群,kafka 集群,Spark实时统计,logstash 日志收集,logstash 日志收集,logstash 日志收集,KHan,MYSQL.,数据开放共享平台优势特性,25,开放性-打破信息孤岛和数据壁垒高度兼容各种系统以及Word等各种文档数据，提供标准数据接口，打通数据传输通道。,安全性-全方位的安全保障通过用户认证，权限认证，数据加密等多种技术全方位保障数据安全和运行环境安全。,标准性-建立数据规范屏蔽不同系统间的差异性，对系统间接口进行规 范统一，用标准化的接口实现系统集成。,易用性

15、-良好的界面体验全Web界面的在线操作提供丰富的可视化组件,屏蔽技术门槛，降低学习成本。,审计性-实时平台监管实时监控API生命周期，服务运行情况，用户行为等，保障数据供销的稳定可靠、数据流通的有据可查。,适配性-兼容各种数据需求提供各种配置功能，满足不同用户对存储，接 口，并发，缓存等个性化需求。,目录页CONTENT PAGE,26,P1,P2,P3,P4,背景,解决方案,核心技术,行业案例,按深股，基金，债券等分类，提供数据开放目录提供高性能、高可用的数据服务支持高并发的数据接口访问支持个性化订阅，及时推送行情等数据资讯用户个人管家，数据使用情况，账户余额，账单详情一 目了然,27,目标

16、通过给金融机构或上市公司等提供行情类和基础的公告 资讯数据，帮助公司进一步扩展用户范围，拓展数据业 务收入,实现数据资产变现,解决方案,案例 证券信息交易所大数据交易平台,价值展示,数据流量统计,数据开放目录,数据预览,消费账单,创客数据管理平台,28,服务平台,数据商城,数据采集,数据应用发布,数据应用消费,行业云22 个,50PB,1000+,创客,案例-某政府大数据创业孵化平台解决方案,数据 生产,案例-某地产多业态数据资源共享平台解决方案,29,目标在全集团内建立标准的大数据流程和体系，建立客户统 一视图，提供大数据平台和系统支持，并通过数据接口 服务的方式对接各业态应用，以提升数据的整体运营能 力以及各业态的经营销售效率。解决方案搭建集团层面的多业态数据资源共享平台，统一接入 并存储多方数据；构建基于集团的统一大数据体系标准；面向集团领导的领导驾驶舱展现；,通过数据接口服务的方式对接各业态的应用系统，为 各业态的营销应用场景提供数据服务支撑；对内、对外的数据运营管理。,集团生态,谢谢！,30,