智慧城市运行大数据平台项目可行性研究报告Word文件下载.docx

1、（11）陕西省工业和信息化厅专题会议纪要（第7次，2012年7月24日）；（12）陕西省工业和信息化厅关于成立西咸大数据处理与服务产业园区筹建工作组的通知（陕工信发2012339号）（13）促进大数据发展行动纲要（国发201550号）（14）关于促进云计算创新发展培育信息产业新业态的意见（国发20155号）（15）陕西大数据产业发展战略（16）沣西新城大数据处理与服务产业园发展规划（17）大数据与云计算产业发展五年行动计划（18）大数据与云计算产业示范工程实施方案1.5项目建设目标、规模、内容、建设期1.5.1建设目标依托#城投集团及下辖一卡通、燃气、供水等18个企业的信息化建设成果，先期以#

2、城市一卡通为基础面向集团18个子公司的现有各类业务系统数据进行整合归集，逐步建成以城市运行信息资源为核心的集内部城市运行管理、运营监控、应急协调、辅助决策、民生服务等服务为主的城市运行管理与服务的大数据平台，构建统一、标准的城市基础数据中心，规范化城市运行管理数据交换和共享机制，进一步规范、优化业务处理流程，实现城市运行统一管理与监测，促进全市跨地区、跨行业、跨部门的城市信息共享融合，保障信息安全，为各级领导科学决策、业务协调和社会公共信息服务提供数据支撑，实现安全互联互通、资源共享和业务协调，最终提高城市运行管理的工作效率和质量水平。1.5.2建设规模基于#城市一卡通，覆盖至#城投集团下辖各

3、业务子公司的各类业务应用数据资源。1.5.3建设内容根据总体规划，#城市运行大数据平台项目建设主要内容总结为：一个中心、三个平台。一个中心：城市运行管理基础数据中心；三个平台：城市运行体征指标平台、预警管理和应急处置平台、信息共享推送平台。1.5.4建设周期项目建设周期三年，自2016年1月份至2018年12月份。1.6项目总投资及资金来源根据该项目的建设内容与规模概算，其总投资为6000万元。其中工程费用5400万元，约占总投资的90%；其它费用200万元，约占总投资的10%。该项目资金来源途径由#城投集团自筹。1.7经济与社会效益经济效益：项目建成后可为大数据交易市场提供安全、真实、科学的

4、数据资源和数据挖掘分析服务。社会效益：项目建成后可以为城市管理部门提供城市公共交通、热网、气网、新能源消费等民生行业运行的数据资源，有利于政策制定时的数学建模、帮助推演政策制定后的实施效果。提高政府服务效率和政府服务质量、提升百姓生活生活质量和市民幸福感。最终实现缓堵保畅、节能减排、治污减霾的目标。共建绿色、文明、和谐、顺畅的美好家园。1.8主要结论与建议结论：陕西省政府先后制定发布了大数据与云计算产业发展五年行动计划、大数据与云计算产业示范工程实施方案，明确提出了大力实施行业应应、产业环境建设、关键技术研发和国际合作三大计划，以及秦云、城市信息融合示范、大数据应用示范、产业基地示范四大工程，

5、因此，在#开展基于城市信息融合示范为主要内容的大数据中心建设工作正是政策所向。同时在#建设国际化大都市、建设丝绸之路经济带新起点、打造智慧城市的关键时期，城市运行管理大数据平台的建设和发展不仅是实现城市公共服务信息化、现代化、智慧化的关键性支撑技术、也是一个城市科学、高效的顶层设计，对完善优化城市综合管理功能、促进资源整合、提升城市形象具有重要意义。因此，该项目的建设符合陕西省、市总体要求和发展方向，对加快城市运行管理和服务，提高城投集团业务管理质量和效率有良好的推动作用，同时也有助于提高我市城市基础设施建设和民生服务水平。建议：该项目是通过平台搭建实现#城投集团面向城市运行的信息资源的整合与

6、共享，构建城市运行管理的数据服务平台，是提高城市管理水平和服务能力，改变公共服务水平的必然趋势。为进一步促使城市运行大数据平台的建设，应抓紧启动项目的方案论证与建设。主要建议：一是按#城市一卡通公司为基础试点，开展城投集团各业务数据的统一归集与融合建立统一的平台及软件，并加强对各子公司的应用数据引导，避免各行其是、分散建设带来的浪费；二是为保证高质量、按时完成该建设项目，建议省、市各级政府对本项目给予必要技术、财力支持，确保建设资金的及时到位，从而保证系统建设顺利进行。第2章项目建设单位概况2.1项目建设单位与职能#城市一卡通有限责任公司（以下简称“#一卡通”）成立于2008年12月，是经#政

7、府批准特许经营#城市一卡通IC卡制作、发售、结算及系统投资、建设和管理，授权独家拥有#城市建设事业IC卡密钥的管理权和使用权的专业公司。公司的目标是启动并推进城市一卡通建设和发展，实现一卡多用、一卡通用、方便市民、服务社会，建设数字#，打造信息城市。2.2项目实施机构与职责为了顺利完成本次项目顺利实施，成立#城市运行大数据中心项目领导小组，组织推进本项目的实施。组长：张志文 、李振高副组长：高满石、桑中玲、徐龙、孔建辉、傅丽、王双文成员：集团下属各公司主要领导领导小组下设项目管理办公室，办公室设在城市一卡通公司，办公室主任由马敏同志担任。主要职责：（一）通过组织、协调、检查控制等各种有效手段，

8、确保本项目的顺利完成；（二）确定项目展示的总体设计、主题及关联内容；（三）确定项目展示的具体工作计划和实施安排；（四）组织、协调业务对接、数据共享、系统设计开发、测试和实施等工作，确保项目进度。第3章需求分析和项目建设的必要性3.1问题和目标分析3.1.1存在问题目前，由于通过对城投集团内部的五家公司业务系统、数据资源调研时发现，在项目建设时均经历了一个较长时期内按照各自的规划、建设目标、功能需求、投资强度和技术现状等因素分阶段逐步实现的，因此造成了条块分割，不能互联互通，资源不能共享等问题，主要表现在：（一）数据难以利用;（二）系统孤立形成信息孤岛;（三）缺乏公共服务与决策支持;（四）信息无

9、法共享与交换;（五）统计口径不一致;（六）数据价值难以体现;（七）缺乏监控与预测。由于缺乏统一规划，所建纵向网络和应用系统大都是以行政系统为背景和依托的，各部门按照各自的规范、标准、需求构建不同的业务应用系统。各应用系统中信息的种类和数据存储格式差异很大，内部之间和各应用系统之间信息共享程度低。因此，在平台建设中，应提供标准的、统一的信息表示和传输方式，提供一个基础信息交换平台，使信息在系统内有序流动，实现各公司之间的数据互联互通和信息资源共享。应满足#城投集团的业务信息资源的存储和管理服务，也满足数据交换服务，是#城市运行管理服务的大数据中心。在#城投集团同级各部门间、各子公司相互间、各级政

10、府和公众间实现城市运行数据交换，是网上城市运行公众数据交换中心，更是城市运行管理决策支持中心，进行数据挖掘、分析、比较，提供辅助决策信息。3.1.2目标分析通过对项目前期调研中发现的问题，可以通过以下技术和行政手段进行解决，从而达到项目既定目标。进行数据分类：通过对城投所属各公司的数据资源进行汇总分类，使同一类型的数据汇集到同一个数据中心。从而达到数据快速汇集统一管理的目的。建立数据接入备份系统：对已有接口规范的业务系统数据，在不影响现有业务系统正常运行的前提下直接接入数据。对没有数据接口的业务系统，通过建立大数据接入备份系统接入数据，保证数据的接入可行性和业务系统运行的安全性，同时为数据提供

11、方提供数据灾备服务。设置数据接入中间件：建立完善的数据清洗脱敏机制，保证数据的合法性，将涉及隐私的敏感数据清洗过滤掉，以解数据拥有者的后顾之忧。3.2业务功能、业务流程和业务量分析3.2.1应用功能分析数据中心业务功能：负责汇集、清洗、整理、存储城投集团各企业的数据资源。确保数据汇集过程中已经对敏感的隐私数据进行脱敏处理，并将同类型的数据资源进行整理。同时保证数据资源存储的安全性。建立科学、统一的对外接入的接口规范。城市运行体征平台业务功能：将汇集后的数据进行整理，抽取城市运行体征的相关数据，按照平台使用者的需求，提供相关的数据参考演模型。帮助决策部门对新政实施效果的推演；管理部门对应急预案的

12、管理；安全部门对突发事件的处置。信息共享平台业务功能：向信息需求者提供数据共享交易服务和数据挖掘分析服务；向信息订制者提供商业信息定向推送服务。向市民提供突发时间预警信息。3.2.2应用流程分析基于各行业汇集后的数据，建立三个业务平台。三个业务平台的业务流程如下所示：3.2.3应用业务量分析（请自行分析现有各业务的数据量）3.3信息量分析与预测（请自行分析）3.4系统功能和性能需求分析3.4.1系统功能需求3.4.1.1数据交换与开放需求抽取数据库中的数据除了进行数据挖掘之外，还可以作为数据源对外提供一个统一的数据交换接口。定义各子公司基础数据、业务数据和服务数据等数据源。业务数据按照各自的业

13、务规范或相关国家、行业标准定义数据交换格式。数据交换接口采用Web Service和http数据文件等方式传输，小数据量通过Web Service传输，大数据量通过http文件传输，并支持文件压缩。数据接口分为查询类、验证类，数据交换类等不同的业务类型。查询类支持各种数据的明细查询，验证类则不给出明细数据，仅仅给出验证结果（如查询某企业的检验结果状态，仅仅给出具体数据）。数据交换类分为数据索取和数据提供，可以通过http文件传输，适合大量数据交换，支持XML、TXT、JSON等多种通用格式，也可以选择各种数据库系统的备份文件等二进制格式，只要接口定义规范有明细的定义即可。数据交换接口具有完善的

14、身份验证和数据访问安全控制体系，仅允许授权的数据访问。数据开放分为三类，Web Service接口服务，网站服务，手机App服务。Web Service接口服务以可编程接口方式对外公开安全访问许可的数据，客户可以通过编程方式直接调用数据，比如天气信息。网站服务则通过门户网站的公告栏，数据开放板块等开放数据，在安全访问许可的条件下，允许互联网用户直接在网站上查询需要的数据。网站后台应当调用数据交换服务，实现在线式数据公开服务。手机App的功能和网站服务完全相同，仅仅是表现形式从网站变更为手机App模式，更方便移动用户的使用。数据公开具有完善的身份验证和数据访问安全控制体系，仅允许授权的数据访问。

15、3.4.1.2决策数据抽取服务可以一个抽取服务仅仅连接一个业务系统数据库，也可以一个抽取服务同时连接多个业务系统数据库。本期抽取数据库要求支持MySQL、Oracle、SQL Server三种数据源。具备自动识别数据源架构，浏览数据表的功能。可以选择需要的抽取数据表，并对抽取的数据字段附加中文名称的功能。抽取过程支持全量、增量、条件过滤、投影等不同的抽取过程。增量抽取模式，支持全表扫描、时间戳标识、主键标识、事务日志提取等不同模式，能满足各种形式的数据源形式。可以叠加不同的抽取规则，包括简单直接抽取、汇总抽取、交叉查询抽取、一列到多行的抽取、重复数据选择规则抽取等。比如临时数据明细记录，抽取时

16、只需要按照年度、季度、月份、日期汇总统计数据。可以对数据进行验证，包括时间日期类型的有效性检查，地址类信息的规格化处理（将省市县区的名称规范化），全角数字转换等。可以附加高级的数据验证。可以附加脱敏去秘规则，比如最简单的身份证信息、姓名、电话号码、银行卡号、信息中间加“*”号保护个人隐私。可以自定义或者导入数据字典转换，比如数据源的IA代表结婚，IB代表离婚，既可以自定义，也可以从数据源的代码表中匹配。可以进行视图数据抽取，支持内连接、外连接和交叉查询的数据源，然后对结果映射到目的表。抽取任务支持定时、条件驱动、手动等多种方式。抽取任务可以浏览、监控，可以手工停止和删除。历史抽取任务有记录，并

17、带有数据抽取统计信息（抽取时间、数据量、数据源、数据目的等信息）数据抽取任务具备Web Service远程控制接口，可以通过编程方式控制。3.4.1.3分类业务数据浏览抽取到的各业务基础数据，允许对数据进行基础浏览浏览权限根据业务范围限制浏览的内容、项目、形式，由各业务处室给出具体要求浏览的方式，按照业务处室、业务项分类导航浏览的具体数据包括业务明细和简单汇总汇总数据可以按日期、地域或其他自定义条件分组汇总3.4.1.4统计汇总及数据挖掘统计和挖掘部分包括三个主要功能，数据报表设计和制作工具，数据报表库的浏览和检索，以及可视化数据展示客户端。数据报表设计和制作工具在数据抽取服务获得的数据表的基

18、础上，经过数据建模，选择适合的数据向量，以便通过适合的数据钻取，从而获得对业务评估就价值的参考数据，工具支持拖放式编辑。数据报表库是设计和制作工具创建的所有数据挖掘报表的存储仓库，可以按照自定义分类存储，具备浏览和检索能力，并能再次通过报表涉及和制作工具修改编辑报表。可视化数据展示客户端，则是通过可定制的数据报表导航门户，以分类图标的方式共用户查阅，同时支持桌面和手机，将负责的数据挖掘分析结果，以简单的可视化图表形式展示，手机和移动设备的支持，实现了数据随处可得。数据报表分为在线和历史等不同类型，在线数据报表连接数据抽取数据库，可以随着抽取数据的增加而发生变化，历史数据则统计分析的是一定范围内

19、不再变化的数据，可以脱离抽取数据库独立存在。统计报表的结果可以导出不同的格式，方便存档或者嵌入各类报告中。对统计和挖掘的数据结果，可以利用地图层数据叠加，实现地图数据关联。地图显示服务可考虑用第三方免费地图平台服务。3.4.1.5大数据管理 需要建设满足海量城市运行大数据分布式并行计算、多副本机制、没有单点的高可靠体系架构，兼容Hadoop标准要求。支持结构化、半结构化、非结构化数据的管理和搜索。支持实时及用户行为数据的高效管理和分析；支持PB级的海量数据管理。支持海量用户的高并发访问（千万级用户、万级并发）；充分释放硬件的潜力（多核、大内存等）；大规模部署的自动化和运行状态监控。创新的多检索

20、引擎机制，提供开放的二次开发接口。3.4.2性能需求1、应具有海量数据存储和管理能力，支持100G以上的总数据量及30G以上的空间数据量的存储和管理。2、应具有良好的并发响应能力，整体响应性能在5s以内，正常情况下并发访问量支持应不小于60。3、应具有较强的用户容量，可以支持1000个用户。4、应具有完备的信息安全体系，能对登录用户的身份进行认证。5、应具有良好的数据安全保障机制，对数据采取集中管理和存储的模式，数据库结构设计良好，具有迅速的数据检索能力。6、文本信息交换的响应时间应控制在1s以内。7、应具有高度的灵活性，能适应日常业务变更的需求，提供日常系统管理和维护。8、正常工作状态下，系

21、统响应速度：电脑终端的事、部件地理信息位置查询和定位时间不超过2s，移动终端不超过3s；地图查询定位时间不超过3s，大数据接收信息时间不超过5s，大数据中心对外发送任务时间不超过5s；本地信息查询响应时间不超过2s，服务器数据查询响应时间不超过3s；单次数据无线交换和传输时间不超过5s；文本信息交换的响应时间应控制在1s以内。10、网络通信质量稳定，信息传递成功率宜在99.9以上；11、具有良好的数据安全保障机制，具有较强的容错能力和灾难恢复能力；12、具有高度的灵活性，能适应日常业务变更的需求；3.5大数据应用现状与差距在现如今各大城市相继建设“智慧城市”的进程中，各种行业业务系统，产生了大

22、量的行业数据。以交通行业为例：交通数据容量大、增长快、结构多样化，不少数据价值密度低，有待深入的处理挖掘。随着智能交通建设进程的逐步推进，交通数据已经从稀缺走向了极大丰富，并带来了交通大数据的严峻挑战：极大丰富的交通数据未能有效整合，数据依类别、行业、部门、地方被隔离，数据之间的关联性被遗忘，车辆运行状态作为最大的交通信息源没有被充分利用，公众无法获取准确连贯的出行服务信息；数据来源众多，存储方式多样，数据类型复杂，包含大量视频、图像等半结构、非结构化数据，并且数据无统一标准，在组织、融合、清洗和转换这些数据时的难度较大；为深入挖掘交通数据的潜在价值，需要一个数据管理平台来处理各种类型和规模的

23、数据，该管理平台还需要同时能处理结构化数据、半结构化数据和非结构化的数据。针对高增长、规模日益庞大的交通数据，我们需要一种高效的大数据处理技术，对交通数据进行快速有效的挖掘分析，从中提炼出高价值的信息，并灵活支撑日益增多的各类交通业务应用需求。作为#交通消费数据的拥有者，#一卡通于2015年底开始调研城市运行大数据平台的建设方案。计划在2016年底完成基础数据中心的建设，并将“长安通”卡交易数据接入基础数据中心，为城市运行大数据平台提供基础数据。3.6项目建设的必要性3.6.1从产业发展需求角度分析建设城市运行大数据平台是产业升级的需要目前，各地的智慧城市项目正在如火如荼地推进中，城市运行大数

24、据的有效建设与合理应用，无疑是一个很好的有效载体和途径。建设城市大数据是创新创业的需要 行业信息不通、数据壁垒保护，让许多系统、信息在各部门地区间重复建设，造成资源利用效率下降、甚至效率极低等现象，形成较大的社会浪费。而这，对大数据创新创业无疑是极大和无形的掣肘。在目前国家大力提倡大数据创新创业的大背景下，城市运行大数据建设无疑能够较好破解行业信息孤岛问题。3.6.2从政府服务的角度分析政府提供公共服务、促进经济社会发展的职能发挥同样需要大数据支持。政府掌握了大量关于人口、法人和城市空间地理等数据，提供满足群众需求、针对性的公共服务需要对所掌握数据的精细分析。凭借大数据，城市公共卫生、教育、城

25、市规划、交通服务能够得到改善，基于大数据分析结论的政府公共服务决策能够更好的满足市民需求。3.6.3从政府管理角度分析智慧城市建设已成为国内信息化建设的潮流，“智慧”的关键在于对大数据的研究，只有利用大数据分析，才能实现各行业信息系统有效整合，实现跨部门的信息资源共享和业务协同，让政府的管理服务效能提升，让民众感受到政府无处不在服务。政府另一项职能是促进经济社会发展，如在经济异常波动时实施宏观调控，政府对大数据信息的掌握和分析，直接决定了宏观调控的效果。第4章总体设计 4.1设计思路#城市运行大数据平台的基本设计思路：基于#城投集团及城市一卡通公司现有的数据应用现状，制定数据归集接口规范，确定

26、城投各系统数据采集与共享内容，先期以#一卡通进行数据归集，成功后逐步将各业务公司的数据资源进行归集处理，建设基础数据库、主题数据库、共享数据库和数据仓库，构建面向城投集团及政府、社会公众服务的城市运行大数据中心，基于此数据中心，逐步完善建设城市体征指标、预警管理和应急处置、信息共享推送等服务性平台，面向领导和社会公众提供全方位的服务。4.2设计原则#城市运行大数据平台建设坚持“规划自上而下，保证整体性；实施自下而上，保证可行性”、充分利用现有资源解决实际问题的指导思想。在项目建设中遵循以下原则：（一） 顶层设计，整体规划按照#城投集团及各子公司信息化建设的总体部署和要求，结合实际情况,在详细调

27、研分析的基础上，充分利用、整合各种资源，避免重复建设、资源浪费。（二） 分步实施，试点先行依照整体规划，落实分步骤、分阶段实施，集中资金和技术优势，先行试点，跟进推广。（三） 遵循标准，急用先建平台设计和建设须符合国家及省市行业的有关数据标准和技术规范，功能须符合国家相关管理规范要求。在分期建设过程中，遵循急用先建的原则，优先建设基础的、急需满足应用的系统。（四） 实用先进，安全可靠平台要满足各机构的业务需要，要求成功案例和实用性，借鉴国内外先进系统架构理念，采用成熟技术，追求性价比，保证系统的安全性，数据的完整性、可靠性。（五） 扩展性好，兼容性强为平台采用的技术、实现方法和软件架构留有升级

28、发展空间，保证日后性能、功能、结构的可扩展。同时须满足与行业内外多种异构信息系统的兼容，实现与其它系统的信息交互，满足扩容和集成需求。4.3设计目标以现有的信息化基础设施为依托，基于#城投集团各业务数据，构建#城市运行大数据服务平台，以#城市一卡通为基础围绕集团18个子公司的现有各类业务系统数据进行整合归集，以城市运行大数据中心的信息资源为核心，充分利用移动互联网、移动物联网和云计算等先进技术，统筹建设面向城市运行管理、监测预警、应急指挥、统计分析、辅助决策的大数据信息平台， 运用信息和通信技术手段感测、分析、城市运行核心系统的各项关键信息，基于城市运行信息融合数据对包括民生、环保、公共安全、

29、城市服务、工商业活动在内的各种需求做出智能响应，实现城市智慧式管理和运行，进而为城市中的人创创造更美好的生活，促进城市的和谐、可持续成长，实现智慧城市的信息化、系统化、程序化管理。4.4总体构架#城市运行大数据服务平台是一个基于云计算、大数据技术，以面向服务（SOA）并体现云计算模式的“五横三纵”的体系框架。“五横”分别是基础资源平台、数据资源服务平台、数据支撑服务平台、数据应用平台和数据门户服务，“三纵”为信息安全保障体系、运维监控服务体系及政策法规标准规范作保障，总体框架如下图所示：4.5总体建设任务与分期建设内容4.5.1总体建设任务建设面向城市运行管理者和城市资源使用者的一个资源整合和

30、应用整合的大数据服务平台，基于#城投集团及一卡通公司，通过对城市供热、供气、交通、通讯、安全保障等城市基础运行业务信息和实时数据进行整合，逐步将更多城市民生行业的数据进行整合归集，建设起城市统一的实时运行态势和体征检测系统，提升城市运行综合管理水平和应急处置效率。基于城市运行资源数据，构建#城市运行大数据中心，进行大数据分析，发掘数据的商业价值，提高数据的综合使用率，使得城市管理更加趋于精准和高效，使得百姓生活更加趋于便利和快捷。4.5.2分期建设内容一期建设内容：完成项目调研、项目立项、数据中心建设、接入1-2家城投集团内部企业数据，初步建成城市运行体征指标平台。二期建设内容：接入城投集团内部3-4家企业数据，完善城市运行体征指标平台的功能，建设预警管理和应急处置平台。三期建设内容：实现城投集团内部剩余企业数据接入，开始信息共享平