智慧城市中的大数据资料下载.pdf
《智慧城市中的大数据资料下载.pdf》由会员分享，可在线阅读，更多相关《智慧城市中的大数据资料下载.pdf（10页珍藏版）》请在冰点文库上搜索。
针对无所不在的传感器网对智慧城市的大数据进行了分析，面对智慧城市中大数据将带来的诸多问题和挑战，提出了应对大数据的策略和思路，重点论述了云计算与数据挖掘，并给出了云平台的基础框架，提出了建立智慧城市运营中心的建议，最后展望了智慧城市未来美好的前景。
关键词：
智慧城市；
大数据；
数字城市；
物联网；
云计算；
数据挖掘；
智能服务中图法分类号：
文献标志码：
智慧城市的概念智慧城市的概念与内涵数字城市存在于网络空间（）中，虚拟的数字城市与现实的物理城市相互映射，是现实生活的物理城市在网络世界中的一个数字再现。
智慧城市则是建立在数字城市的基础框架上，通过无所不在的传感网将它与现实城市关联起来，将海量数据存储、计算、分析和决策交由云计算平台处理，并按照分析决策结果对各种设施进行自动化的控制。
在智慧城市阶段，数字城市与物理城市可以通过物联网进行有机的融合，形成虚实一体化的空间（）。
在这个空间内，将自动和实时地感知现实世界中人和物的各种状态和变化，由云计算中心处理其中海量和复杂的计算与控制，为人类生存繁衍、经济发展、社会交往等提供各种智能化的服务，从而建立一个低碳、绿色和可持续发展的城市。
用易于理解的简单公式表达，可以这样认为：
智慧城市数字城市物联网云计算。
智慧城市的发展历程智慧城市的发展历程按照信息化、数字化、智能化的程度主要分为三个阶段：
信息化城市阶段、数字城市阶段和智慧城市阶段。
其中可以代表每个阶段的标志性事件如下：
）年月，美国启动“信息高速公路”计划；
年，中国推动全国信息化的“八金”工程，标志着城市信息化建设开始起步。
）年，美国副总统戈尔提出“数字地球”概念，“数字化舒适社区建设”标志着城市信息化开始步入数字城市建设新阶段。
我国已有多个城市初步建成数字城市基础框架，国家测绘地理信息局发布在互联网上的“天地图”成了数字中国和数字城市的载体，已有数亿网民使用。
）年，物联网、云计算等新一代信息技术正式推出形成对城市信息系统的综合集成与整合应用；
年，国际商业机器公司（，）提出智慧城市的新理念；
年，首席执行官彭明盛武汉大学学报信息科学版年月向美国总统奥巴马提出要推进智慧基础设施的建设，旨在打破金融危机，对社会经济发展带来新的动力，标志着城市开始由数字化迈向智慧化建设的新阶段。
智慧城市的发展与早期的信息基础设施以及数字城市的建设一脉相承，但智慧城市阶段更注重信息资源的整合、共享、集成和服务，更强调城市管理方面的统筹与协调，时效性要求也更高，是信息化城市和数字城市建设进入实时互动智能服务的更高级阶段，同时也是工业化和信息化的高度集成。
中国智慧城市建设的目标与动力中国智慧城市建设的目标就是要推进城市向着低炭、绿色、和谐和可持续发展的方向发展。
中国的城镇化和工业化相对于发达国家还有一定差距，但在信息化上基本与之同步；
而西方国家的城镇化和工业化已经趋于成熟与稳定，在推进智慧城市的过程中，其实际需求、动力以及资本的支撑也没有中国这样巨大而迫切。
中国当前正处于城镇化、农业现代化、工业化、信息化同时推进的大好时机，四化一同建设有利于相互促进更加高效的协调发展，智慧城市建设从国家部委到地方政府，再到相关行业和企业都非常活跃，并逐步从探索、设计迈入建设阶段。
智慧城市的总体架构及支撑技术城市为人类提供生产繁衍、经济发展、社会交往和文化享受这四大类职能，而智慧城市将在这四个方面为人类提供各种智能化的应用和服务，从而使得人与社会、人与自然更加协调的发展。
智慧城市能够为人类生存繁衍、经济发展、社会交往和文化享受这四大类职能提供的智慧应用如表所示。
表城市职能及智慧城市的应用城市职能智慧城市应用生存繁衍智慧安防、智慧环保、智慧能源、智慧城管、智慧养老、智慧医疗、智慧社区、智慧家居等经济发展智慧制造、智慧工业、智慧物流、智慧国土规划等社会交往智慧交通、智慧购物、智慧社会综合管理等文化享受智慧教育、智慧旅游、智慧户外流媒体等智慧城市依托数字城市技术将城市中的人和物按照地理位置进行组织，通过物联网获取并传输数据和信息，将海量实时运算交由云计算进行处理，并将结果反馈到控制系统通过物联网进行智能化和自动化控制，最终让城市达到智慧的状态。
智慧城市的总体架构主要由获取数据的感知层对信息进行传输交互的网络层，提供海量数据存储、实时分析和处理的服务层，以及面向最终用户的应用层组成，如图所示。
以下就支撑智慧城市的数字城市、物联网和云计算这三大类支撑技术分别进行介绍。
数字城市技术数字城市是一个无缝的覆盖整个城市的信息模型，把分散在城市各处的各类信息按城市的地理坐标组织起来，既能体现出城市中各种信息（自然、人文、社会等）的内在的有机联系，又便于按地理坐标进行检索和利用。
将基础地理数据、正射影像数据、街景影像数据、全景影像数据、三维模型数据、专题数据等各类数据按照地理位置在数字城市里进行整合，通过面向服务的架构，把各类空间和属性数据通过网络服务发布并提供给用户。
各类用户通过网络注册共享自己的信息，并以服务的形式在数字城市地理空间框架平台上进行发布，政府、行业和公众等各类用户都通过网络方便地获取交通、旅游、医疗、教育、应急等相关服务。
物联网技术通过射频识别、红外感应器、全球定位系统、激光扫描器等信息传感设备，按约定的协议把任何物品与互联网连接起来进行信息交换和通讯，以实现智能化识别、定位、跟踪、监控和管理的一种网络。
具体地说，就是把感应器嵌入和装备到电网、铁路、桥梁、隧道、公路、建筑、供水系统、大坝、油气管道等各种物体中，并且被普遍连接，形成物联网。
物联网实现了人与人、人与机器、机器与机器的互联互通。
世界无线研究论坛曾预测，未来世界是无所不在的物联网世界，到年，将有万亿传感器为地球上的亿人口提供服务。
这些传感器通过各类有线和无线网络为用户提供固定、游牧和移动式无所不在的应用和服务。
云计算技术云计算是一种基于互联网的大众参与的计算模式，其计算资源（包括计算能力、存储能力、交互能力等）是动态、可伸缩、被虚拟化的，而且以服务的方式提供。
云计算是一种基于互联网模式的计算，是分布式计算和网格计算的进一步延伸和发展。
云计算支撑信息服务社会化、集约化和专业化的云计算中心通过软件的重用和柔性重组进行服务流程的优化与重构，提高利用率。
云计算第卷第期李德仁等：
智慧城市中的大数据图智慧城市的总体架构促进了软件之间的资源聚合、信息共享和协同工作，形成面向服务的计算。
云计算能够快速处理全球的海量数据，并同时向上千万的用户提供服务。
智慧城市中的大数据年月，出版专刊，年月，出版专刊，指出大数据时代已到来；
年月，美国奥巴马政府宣布正式发布了“大数据研究和发展倡议”，并正式启动了该计划，认为大数据是未来世界的“石油”，该计划的意义堪比世纪的信息高速公路计划。
从科学界到政界，都逐渐意识到大数据将是挖掘信息和知识的一个宝藏。
而随着智慧城市的逐步建设和应用，人类将和各类传感器一同产生越来越多的数据，数据矿藏越来越大，数据量级将从现在的（）和（）级逐步增长到（）级甚至（）级。
若能透彻分析这些结构复杂、数量庞大的数据，以云端运算整合分析，便能快速地将之转化成有价值的信息，从中探索和挖掘自然和社会的变化规律，人们的生活及行为，社会的潮流、思维和舆论趋向，推断市场对产品、服务甚至政策等各方面的反应。
利用大规模有效数据分析预测建模、可视化和发现新规律的时代就要到来。
高速增长的大数据智慧城市通过无所不在的物联网将现实城市与数字城市连在一起。
全球每日产生超乎想象、数据量不断扩张的大数据。
人们每分每秒以极速在网络上交换思想、数据和信息。
内，就有万次的搜索查询，有万条贴文，逾亿个电子邮件被发送；
百度每天要处理亿次搜索请求，新增，处理超过的数据，产生一个的日志。
目前，互联网网页总数近万亿，数据总量接近。
腾讯月活跃用户超过亿，微信用户超过亿，在线人际关系链超过亿，经压缩后的数据总存储量达，每天千亿次服务调用，日新增以上的数据。
数字地球中的海量空间维和维大数据在快速增长，也将达到到级。
单个高清摄像头每小时产生数据，全中国摄像头数目超过万个，数据量将达到到级。
民航飞机装有大量传感器，每个引擎每飞行产生数据，从伦敦到纽约的飞行将产生数据，这些引擎状态的数据在飞行过程中通过卫星传回发动机公司进行监测。
根据赛门铁克年的调研报告，全球企业数据存储总量达到，年增长率达武汉大学学报信息科学版年月。
北京公交一卡通每天使用量达千万人次，地铁千万人次，北京市交通调度中心每天的数据增量为，存储量为；
国家电网年均产生数据（不含视频），累计产生数据；
单个病人的影像往往多达两千幅，数据量已经到了数十，如今中国大城市的医院每天门诊上万人，全国每年门诊更是达数十亿人次，住院已经达到两亿人次。
按照医疗行业的相关规定，患者的数据通常需要保存以上，医疗大数据也将会达到级。
智慧城市中大数据带来的挑战智慧城市中由海量传感器组成的物联网将不断地采集海量的数据，而这些大数据需要经过存储、处理、查询和分析后才能充分用于各类应用，从而提供智慧服务，并且对大数据存储、处理、查询和分析的实时性要求越来越高，随之将带来一系列的问题和挑战。
）大数据存储成本过高存储技术发展带来的存储成本下降的速度远赶不上数据增长的速度，现阶段按照理想的标准存储和保存所有大数据还存在成本上的巨大障碍。
以天津市安防系统为例，按理想状况进行建设的存储能力，成本就超过亿元，相当于年整个西藏的总值。
快速增长的数据规模及随之带来的过高成本已成为制约城市安防等系统发展的重要因素。
目前我国绝大部分城市均采取缩短数据保存时限，降低数据存储质量的方式来降低建设成本，但这样又会严重降低视频数据的可追溯性和辨识价值。
）大数据的快速检索、信息提取自动化程度较低传统的信息系统只对数据进行简单的采集和存储，而对行为等关键语义信息缺乏有效的自动提取和分析。
在大数据时代，尤其是空间、视频等大数据规模的急剧扩大进一步凸显了传统方法的困境，各种遥感对地观测卫星每天向地面发回级的数据，城市中视频每天采集级的数据，现阶段复杂的语义自动分析与理解还存在障碍。
而城市中的大数据中蕴含摔倒、扭打、翻墙、徘徊以及车辆碰撞、逆行等较为重要的异常行为、事件和特征等信息，可以进行识别并进行预警，如重大抢劫事件前通常会伴随踩点这类徘徊行为。
高效地通过对象与行为识别及检索等自动化技术提取城市大数据中的语义信息，可对犯罪进行事前预警和有效震慑，对事件做到事前预防、事中实时掌握信息和事后及时处置，最终使得城市突发事件中的人民生命财产安全以及日常生产生活秩序得到全方位的保障。
）挖掘大数据中丰富的知识十分困难大数据中不仅包含数据和信息，同时也隐含着丰富的规律和知识，而数据中的规律与知识并不是直接给出的，而是需要通过深度的挖掘与分析，而大数据由于自身的特性存在难以有效集成与管理、难以自动化处理与分析的问题，尤其是涉及空间相关的数据挖掘十分困难。
想要挖掘与分析大数据中蕴含的规律和知识，在解决数据异构和检索等问题外，还需要解决数据筛选、语义描述、语义理解、不确定性、知识表达等一系列关键技术。
而现阶段有效可行的数据筛选、语义理解、语义关联等方面还无法直接面向大数据进行应用，同时导致大数据中的规律和知识无法被充分利用。
面对人类可持续发展的九大问题人类健康、能源、气象预报、气候变化、灾害应急预测、水资源、可持续农业、生态环境和生物多样性等至今未能得到有效的回答。
基于时空信息云平台的大数据服务面对智慧城市中各类数量庞大的大数据，尤其是空间、视频等非结构化的大数据，应积极面对挑战，通过充分发挥云计算的优势并重点研究数据挖掘理论，对大数据进行有效的存储和管理，并快速检索和处理数据中的信息，挖掘大数据中的信息与知识，充分发挥大数据的价值。
在云计算与数据挖掘等技术支撑下，智能服务将从任何人可在任何时间、任何地点获取任何信息的服务（，）转变为在规定的时间、关注的地点将正确的信息传递给需要的人的灵性服务（，），从而使得城市真正达到智慧的状态。
时空信息云平台基础框架基于云计算技术，建立从基础设施、数据、平台到服务的一体化的时空信息云平台，将空间大数据、视频大数据以及各类应用中的大数据进行有效管理，并按照实际需求进行处理、存储、管理，并提供相应服务，满足交通、物流、城市管理、旅游、安防、应急等各行业和城市综合的智慧应用。
如图所示，时空信息云平台基础框架包含层。
第层为设施虚拟化管理平台，采用虚拟化技术，将计算、存储、网络等多种资源形成一个第卷第期李德仁等：
智慧城市中的大数据虚拟化资源池，实现资源虚拟化管理，通过对基础设施的集中管理实现智能资源调配和动态负载均衡。
第层为云数据管理平台，实现多源、异构、海量时空数据的一体化存储与管理。
第层为云服务管理平台，为用户提供多种类型的服务，服务统一通过服务总线进行注册，通过服务访问接口请求服务，可以根据实际业务需求实现服务自助开发和注册。
第层为云服务门户，通过门户网站和各类应用的形式为用户提供服务，门户对各种专题服务进行封装，如二维地图、实景地图等各种地理信息的专题服务，智慧城管、智慧社管、智慧养老、智慧交通等各种行业的专题服务，并支持各种主流开发语言的网络版和移动版开发接口，快速构建各类智慧应用服务。
图时空信息云平台基础框架大数据的存储基于时空信息云平台的云存储与智能压缩算法可以初步解决大数据最基本的存储问题。
在设施虚拟化管理平台中，将存储资源直接作为服务实现云存储，云存储能够通过集群应用、网格或分布式文件系统，将网络中大量的不同类型的存储设备通过应用软件集合起来协同工作，共同提供数据存储和业务访问功能。
云存储可以实现存储完全虚拟化，所有设备对云端用户完全透明，任何云端被授权用户都可以通过网络与云存储连接，让用户拥有相当于整片云的存储能力，从而突破传统存储方式的性能和容量瓶颈，实现了性能和容量的线性扩展。
智能压缩方法将从整体获取大数据冗余产生的机理出发，将编码层次从传统的信号编码层和特征编码层提升到语义编码层。
针对视频大数据，将基于全局运动估计的高效视频编码在视频对象所在的空间中对前景和背景、全局对象、运动估计进行提取和表达，对全局冗余对武汉大学学报信息科学版年月象特征进行抽取和语义映射，在语义层上进行编码，同时也为后期的快速检索与分析提供良好的支撑。
结合云存储与智能压缩，可以大幅降低存储成本，对智慧城市中的各类大数据进行有效的保存将成为可能。
大数据的快速检索和处理在解决基础性的存储问题后，还需要针对应用范围进行高效快速的数据检索。
在检索到有效的数据集后，结合各类智慧应用的具体需求进行处理，并按需提供可靠服务。
下面以检索、遥感影像处理和位置服务为例进行说明。
）检索云在弹性计算能力支撑下的检索云服务不仅能够自动地提取图像和视频内的特征，还能够对翻墙、奔跑、尾随、聚集、徘徊等行为进行提取并建立索引，如图所示。
针对视频检索，首先将视频分割成各个镜头，并实现对各个镜头的特征提取，得到一个尽可能充分反映镜头内容的特征空间，这个特征空间将作为视频聚类和检索的依据。
特征提取包括关键帧中的颜色、纹理、形状等视觉特征和镜头的运动特征的提取。
镜头运动特性的提取通过对镜头的运动分析（主要针对镜头运动的变化、运动目标的大小变化、视频目标的运动轨迹等）来进行。
然后根据提取的关于镜头的动态特性和关键帧的一些静态特性进行索引。
对于最终用户而言，只需选择感兴趣的行为和地理位置，如对某小区搜索奔跑行为，即可快速检索到小区内与奔跑有关的对象位置、关键帧以及视频信息。
）遥感云图自动提取翻墙、奔跑等行为遥感云通过整合各类遥感相关的信息资源，建立面向网络服务的架构，通过云计算平台为用户提供直观、便捷、定制化的地球空间服务。
具体来说，遥感云就是将分布在不同地理位置的空天地传感器资源、空间数据资源、处理算法及软件资源、地学知识资源、模块化的工作流资源等进行有效组织，并通过注册服务中心统一发布，借助于云计算平台的可伸缩性，通过计算资源、网络资源、存储资源的共享和自动控制机制以及各种网络为全社会提供地球空间信息可视化服务。
国家测绘地理信息局主导建设的国家地理信息公共服务平台天地图，采用分布式存储将全国各省市的电子地图、影像、地形等基础地理空间数据通过门户网站提供一站式的数据资源服务，并且可以扩展到三维城市、水雨情等各类型的数据。
采用将注册的数据与算法服务在云计算中心的支撑下虚拟成桌面，让用户无需搭建专业平台，在选择遥感数据和算法后自动分配计算资源快速获得相应的处理和分析的结果。
采用空间信息服务链可视化建模工具，通过简单的拖拉图形对象的方式，构建从数据到算法到处理流程的完全可视化的服务链模型，分配计算资源，并获得相应的处理结果。
正在建立的空天地一体化对地观测的传感网第卷第期李德仁等：
智慧城市中的大数据将实现全球、全天候、全天时、全方位的空间数据获取，将成为遥感云中获取地理空间数据，快速响应和预警各类灾害、资源安全等重大事件和应对全球可持续发展的重大问题的基础。
国际对地观测组织把基于观测网的卫星星座观测作为未来年的核心计划，并在年非洲及年缅甸洪灾等重大灾害监测中发挥了巨大作用。
）位置云全球卫星导航系统由于存在各种误差，定位精度还无法达到很多行业用户的要求。
为了提高定位精度，出现了连续运行参考站系统（，），现在用户将卫星定位信息传送到位置云服务中心，位置云服务在内即可将定位精度解算到亚米级。
通过地面基准站系统的增强服务，可以实现北斗等卫星定位系统米级高精度导航定位服务。
而对于卫星信号无法覆盖的室内和地下空间，可以采用加速度计、陀螺仪、电子罗盘、摄像头等传感器和（）、无线通信网、蓝牙等无线信号方式进行定位，提供高精度室内外连续定位，充分满足森林等各类环境的监测、勘察、调查，以及城管和公安等从政府、行业到公众的需求。
图为采用多传感器多网络的位置服务。
大数据的数据挖掘科学家格雷对科学发展的四个阶段进行了划分：
在几千年前，科学是经验法；
在几百年前，科学是理论的分支，由假想到印证假想的过程；
在最近几十年前，科学是计算的分支，通过计算进行模拟和验证；
现在，科学是数据探索与挖掘，通过数据挖掘来统一理论、模拟和实验验证。
数据挖掘图基于多传感器多网络的位置服务已经成为从大数据中发现和探索科学以及知识发现的一个重要手段和解决现实重大问题与需求的有效方法。
通过对智慧城市中的大数据进行数据挖掘，可以从中探索和发现自然和社会的变化规律，包括人们的生活、行为及喜好，社会的潮流、思维和舆论趋向，推断市场对产品、服务甚至政策等各方面的反应等。
下面具体分析大数据的数据挖掘过程以及空间、属性相关的数据挖掘。
）数据挖掘的过程对大数据进行数据挖掘需要对整个过程都面向大数据的特点往前端和后端延伸，具体过程包括从海量、多源大数据中进行处理和分析，自动发现和提取隐含的模式、规则和知识，通过可视化并融合为易于人类理解的方式进行展现，具体过程如图所示。
数据挖掘与数据检索、处理和信息提取相比较而言有更大的难度，需要基于大数据和知识库的智能推理等相关理论技术的支持。
图大数据的数据挖掘的过程数据挖掘首先获取并存储数据，按照挖掘需求在大数据中进行数据采集、检索和整合，并对数据进行筛选，包括去噪、取样、过滤、合并、标准化等去除冗余和多余数据，建立待处理数据集。
接着对数据集进行处理和分析，包括线性、非线性、因子、序列分析、线性回归、变量曲线、双变量统计武汉大学学报信息科学版年月等处理和分析，按照一定方式对数据进行分类，并分析数据间及类别间的关系等。
然后对分类后的数据通过人工神经网络、决策树、遗传算法等方法揭示数据间的内在联系，发现深层次的模式、规则及知识。
对发现的这些模式、规则及知识按照变量的关系以人类易于理解的可视化方式给出变量间的关系分析，对于各类不同又有一定关联的内容，可以将其融合在一起，更直观展示并供人类分析和利用。
）集成空间和属性数据的数据挖掘空间数据是与对象的地理和空间分布有关的、反映现实世界各种现象及其变化的记录，与一般数据相比，空间数据不仅具有空间性、时间性、多维性、海量性、复杂性等特点，还包含空间不确定性。
而属性数据是对象的非空间数据，可以具有离散类别值或连续值。
基于空间和属性数据的数据挖掘是指从空间和属性数据及关联信息中提取用户感兴趣的空间模式与特征、空间与非空间数据的普遍关系及其他一些隐含在数据中的普遍的特征、规律和知识。
基于空间和属性数据的数据挖掘与其使用的挖掘方法与发现的知识类型密切相关，空间数据挖掘理论与方法的选取将直接影响到所发现知识的优劣。
空间数据挖掘的主要理论和方法包括概率论、证据理论、空间统计学、规则归纳、聚类分析、空间分析、模糊集、云模型、数据场、粗集、神经网络、遗传算法、决策树等。
以上方法不是孤立应用的，为了发现某类知识，常常要综合应用这些方法，根据特定的需求综合选择和使用相应的数据挖掘理论、方法和工具，并充分利用机器学习和人工智能等自学习技术来提高自动化程度，减少人机交互的参与程度。
智慧城市运营中心智慧城市需要运营中心一个城市在完成物联网、云计算、数字城市地理空间框架等相关平台和基础设施的建设后，如何更好地在城市运行中充分发挥其巨大的智能作用，就需要一个融合各类实时数据、信息和汇聚各种服务的机构智慧城市运营中心（，）。
作为智慧城市的“心脏”，将全方位地收集和监控城市运行中的各类数据与信息，并面向政府、企业和个人提供智能化和个性化的定制服务。
的建设，在规划和设计上首先对智慧城市进行顶层设计，制定相关政策法规与标准；
统一规划各行业信息化发展的目标、框架、任务、运营管理机制等；
在顶层设计上进行各种规范和标准的统一。
在城市运营中，整合与共享城市信息资源；
实时监控城市运行状况，并实现多部门的协同与指挥。
在服务全社会上，全面促进面向全社会的大数据开放应用、服务与交易体系的形成，形成完善的基于大数据的包括公益及商业化深加工在内的各层次应用和服务体系。
智慧城市运营中心的组成一般由大数据中心、城市运行监控与指挥中心、城市基础设施运维中心、智慧服务中心个部分组成。
大数据中心将成为城市运营的数据资源池和物联网的枢纽，实现城市运营数据的实时全面感知。
城市运行监控与指挥中心将在实时全面感知的基础上，实现跨部门、跨区域、跨系统的高效协同与应急响应。
城市基础设施运维中心负责对的基础设施进行维护和更新，保证全天候的安全和稳定运行。
智慧服务中心除面向政府提供服务外，还能面向城市中的各类企业和公众提供服务。
传统的政府信息化架构将逐渐被“云端”互动的智慧城市所取代，降低城市信息化建设与运维的成本，最大程度地降低政务成本，全面提升城市运营效率。
政府治理的模式也将通过真正从城市管理走向城市运营与服务。
智慧城市运营中心的作用对城市不仅能够提供城市运营和服务，还能将政府治理和重大决策以大数据为基础，基于数据和实证事实，避免个人主观意志及各类商业利益集团的影响。
城市运行将实现可视化、可控化、智能化、可预测
升级会员 