面向空间大数据的GIS.docx

面向空间大数据的GIS.docx

《面向空间大数据的GIS.docx》由会员分享，可在线阅读，更多相关《面向空间大数据的GIS.docx（6页珍藏版）》请在冰点文库上搜索。

面向空间大数据的GIS

摘要：

大数据因具有巨大的研究发展潜力，已经得到了学术界和产业界的持续关注和利用。

本文总结了目前的大数据利用现状，以及大数据引发的科学研究新思维和新观念。

空间数据作为大数据的主体数据集，在泛在测绘、多源异构时空数据等方面给传统GIS的发展带来了巨大的挑战。

面对挑战，文章总结了大数据环境下GIS应该具备的基础特征，以及在空间数据挖掘和空间分析方面的研究进展。

最后，文章从商业模式、智慧城市、云计算、城市计算和大数据驱动的人类移动规律等方面展望了大数据背景下GIS的研究热点和发展前景。

关键词：

空间大数据，GIS，空间数据挖掘，空间分析,云计算

1空间大数据

1.1大数据倍受关注和利用

在学术界，0’ReillyMedia于2008年出版了《数据之美》，随后Nature、Science等陆续刊登了大数据专辑，麦肯锡从经济和商业维度分析了大数据在不同行业的应用潜力。

2012年，我国科技部发布的十二五国家科技计划信息技术领域2013年度备选项目征集指南中把大数据研究列在了首位。

在产业界，IBM、亚马逊、Google、甲骨文等信息技术巨头都纷纷推出了大数据解决方案和应用。

在中国，百度、腾讯、淘宝、阿里巴巴等也采用了Hadoop处理大规模数据。

大数据的研究与发展涉及国防安全、生活健康、气候变化、地质调查、减灾防灾、智慧地球等众多领域。

以美国为例，2012年3月，奥巴马政府率先在全球宣布推出大数据的研究和发展计划，将大数据研发上升为国家意志，并投资2亿多美元资助美国国家科学基金和美国地质调查局等6个联邦政府部门的大数据项目，以提高从大量的、复杂的数据集合中获取知识的能力。

1.2空间数据是大数据的基础

大数据具有体量巨大、多种多样、高速变化、真实质差等特点。

在这些数据中，大约80％的数据与空间位置有关。

空间数据描述了对象的具体地理位置和空间分布，包括空间实体的位置及其空间关系等，涵盖从宏观、中观到微观的整个层次，可以是点的高程、道路的长度、多边形的面积、建筑物的体积、像元的灰度等数值，也可以是空间关系等拓扑结构。

空间数据具有空间性、时间性、多维性、空间关系复杂等特性。

用于采集空间数据的设备包括红外、卫星、多光谱扫描仪、全站仪等各种宏观与微观传感器或设备，也包括野外测量、人口普查、土地资源调查、地图扫描、地图数字化等空间数据获取手段，还可能是计算机、GPS、RS和GIS等技术应用和分析空间数据的过程。

遥感对地观测技术形成了一个多层次、多角度、全方位和全天候的全球立体对地观测网，传感器的地面分辨率数量级从千米到厘米，波段范围从紫外到超长波，探测深度从几米到万米，新型的高分辨率卫星遥感数据如QuickBird等已提供使用。

空间数据基础设施积累了大量的城市电子地图数据库、工程地质信息数据库、用地现状信息数据库、市政红线数据库、建筑红线与用地红线数据库、地籍数据库，以及土地利用及基本农田保护规划数据库等空间基础数据。

此外，人类活动每时每刻还在采集和产生新的空间数据集[1,2]。

1.3大数据引发科学新观

维克托.迈尔.舍恩伯格对大数据引发的思维变革进行了总结，他认为：

分析数据时，要尽可能地利用所有数据，而不只是分析少量的样本数据；人们应该更为关注事物之间的相关关系，而不是探索因果关系；大数据的简单算法比小数据的复杂算法更为有效。

科学家格雷对科学发展的进行了四个阶段的划分：

在几千年前，科学是经验法；在几百年前，科学是由假想到印证假想的过程；在最近几十年前，科学通过计算进行模拟和验证；现在，科学是数据探索与挖掘，通过数据挖掘来统一理论、模拟和实验验证。

2010年，美国地质调查局制定了美国地质调查局核心科学体系科学战略（2013-2023），以期构建一个新的地球科学框架体系，服务于复杂问题的解决。

新制定的核心科学体系就是通过对海量数据的交换、整合、分析，实现科学和技术的新发现，形成新知识，以应对国家在自然资源管理、自然灾害防治等方面面临的复杂性问题[3]。

2GIS面临新的挑战

2.1泛在地理信息时代的挑战

目前GIS已发展为由地理信息科学、地理信息技术和地理信息工程、计算机科学等交叉体系组成的泛在GIS。

地理信息的泛化具有数据类型丰富多样、时空粒度不断细化两个显著特征。

泛在地理信息强调动态性，对于地表要素或区域，强调与其关联的实时属性变化。

对于移动对象，强调其几何位置的连续表达和其他社会属性的实时变化表达。

同时，数据时空粒度不断细化，从而使得地理空间概念越发重要。

泛在地理信息时代数据以惊人的速度在增长，如何利用泛在地理空间数据挖掘、信息提取、空间智能技术为决策提供依据，如何实时处理各种方式产生的地理空间隐喻大数据，使之成为生活助理等挑战已经超越了传统GIS的能力范畴。

因此，泛地理信息时代要求GIS能处理广义地理信息，包括各种具有地理空间分布特征的异构信息，具有地理空间语义的网络文本，以及基于位置的复杂社交网络关系与内容。

近年来GIS的快速发展主要是由于IT技术的驱动，IT技术的每一次重大进步，都深刻地影响着GIS技术的发展，促使其技术体系和应用模式，乃至商业模式的演化和变革。

当前大数据、移动技术和物联网等技术的发展，已经直接反映到了GIS技术和应用模式之中[4,5]。

2.2多元异构时空数据的挑战

随着地理信息服务的需求从基础信息的管理走向智慧解决方案,GIS技术处理多源异构信息的局限性也越发明显。

首先，由于大数据来源具有复杂性、多样性、多尺度性和不确定性,利用现有的数据模型难以真正实现异构多尺度数据的描述与管理。

其次,多源异构信息的接入、关联、融合需要制定统一标准和规范,为决策分析、联动指挥等提供可靠的多源异构融合信息。

再次,用户需要的是无缝、便捷与自适应感知全方位、多层次、多粒度的信息,以满足立体的生产生活需求。

大数据时代的信息具有异构、多维、海量、多时相等特性,如何实现各种架构的互联互通,以及不同数据格式的转换,是信息智能应用必须解决的问题。

目前,时空数据模型和时空数据库的应用研究主要集中在地籍历史变更数据的组织管理、智能交通和导航信息系统、城市气候环境变化分析、城市发展和土地利用模拟等方面,本质上依然是一种静态的信息化城市,仅有少量专题数据以离散时间点的全局空间快照或长时间序列来组织管理,尚难以进行时空数据高效存取。

为适应各种城市问题分析决策需要，研究基于异常变化发现的数据更新机制是保证数据的准确性和现势性，提高数据质量、支撑智慧城市运行的重要基础，因此，GIS的发展依然面临巨大的挑战[6]。

3大数据GIS

3.1大数据GIS的基础特征

大数据没有改变GIS的基本特征，但是对传统GIS提出了巨大的挑战。

在架构层面，大数据体量大、速度快、模态多等特性带来的挑战终将引起GIS数据存储与管理的质变。

相对于静态、有限的数据集，大数据GIS的数据存储管理系统需要具备扩展性，以处理动态无限增长的数据的存储和查询问题。

在数据层面，针对传统关系型数据库难以适应大数据可扩展和非结构化的要求，以及云计算部署环境的问题，近年来以Key-Value为代表的NoSQL数据库迅速发展，非关系型数据库已经成为和关系数据库并存的空间数据存储及管理的方式之一。

在数据处理层面，大数据GIS的数据源头以秒、分为间隔采集，且经年累月不间断，数据无限增长，长期积累的数据不可能全部存储在可随机访问的磁盘或内存中。

当数据继续不断积累后，必须采用一定的数据粗筛策略，即数据通常在存储前需要进行预处理，保留有价值的信息；原始数据经过处理后，要么被丢弃，要么被存储，但是存储后再次提取代价昂贵。

这个预处理过程通常以应用为导向，需要构建适于实时分析的概要结构、时空聚合和多尺度表达等方法，实现高效的数据筛选和聚合机制，以解决数据冗余及噪音问题[2]。

3.2面向空间大数据的数据挖掘

大数据必然要和数据挖掘相结合，但是空间数据挖掘不同于传统的数据挖掘，多了空间维度以及在不同空间尺度上的挖掘，所以不能完全套用普通事物数据挖掘的策略和方法。

早在1994年我国科学家李德仁院士等首次提出了从GIS数据库中发现知识,使GIS成为智能化的信息系统。

随后李院士又将从GIS数据库中发现知识发展成为空间数据挖掘与知识发现,并出版了<<空间数据挖掘理论与应用>>专著（2006、2013），系统的介绍了空间数据挖掘的理论与方法。

其经典理论与方法主要包括概率论、证据理论、空间统计学、规则归纳、聚类分析、空间分析、模糊集、云模型、数据场、粗集、地学粗空间、神经网络、遗传算法、可视化、决策树、空间在线数据挖掘等。

随着技术的进步，出现了针对时空数据集的时空模式发现、时空聚类、时空异常检测、时空预测和分类等时空数据挖掘技术和算法。

从空间数据中可以发现的基本知识类型有普遍的几何知识、空间分布规律、空间关联规则、空间聚类规则、空间特征规则、空间区分规则、空间演变规则等,可用特征表、谓词逻辑、产生式规则、语义网络、面向对象的表达方法和可视化等GIS知识和规则。

基于GIS的数据挖掘在许多领域得到应用,如基于位置的服务、土地利用分类及地域范围预测、全球气候变化监控、犯罪易发点发现、交通协调与管理、疾病监控、水资源管理、自然灾害预警、公共卫生与医疗健康等[7,8]。

3.3面向大数据的空间分析

空间分析主要研究空间格局、空间位置、空间行为、空间关系、空间过程，广义的空间分析包括空间分析、空间建模、空间优化三部分。

大数据时代，地理信息系统数据极大丰富，数据已经成为一种类似水、电、气等按需服务的基础设施。

过去，空间数据的收集工作量巨大，人们总是通过减少模型复杂度来尽量使用较少的参数和数据进行预测建模，这从一定程度上影响了模型的精度。

大数据的出现为复杂空间过程建模的深入研究提供了可能，特别是对一些严重依赖背景信息的迭代计算模型，实时的数据获取和实时的建模计算为这种问题提供了解决方法。

另外，大数据还可以聚合展现空间对象在复杂模型中的具体行为，从微观尺度上弥补宏观模型构建上的错误和不足。

大数据时代，数据的精度越来越高，空间数据也越来越丰富，这对于复杂优化问题的求解是一个新的机遇。

在实际应用中，空间优化对于交通建模、位置建模、商业地理学、政治地理学、土地利用规划、城市规划等有着重要的应用价值，可用于区域空间综合评价、资源空间优化配置、突发事件优化管理以及空间决策支持等方面[9]。

4大数据GIS的发展前景

4.1面向大数据的商业模式

在2012瑞士达沃斯世界经济论坛上与会学者宣称：

数据是一种新的经济资产，将对国家治理模式、企业决策、组织和业务流程、个人生活方式产生巨大的影响。

基于大数据的企业特征层面的商业模式创新主要表现为：

价值主张创新、价值创造和关键业务与流程创新、收益模式创新，以及外部关系网络和价值网络重构。

从产业链来看，基于大数据产业链的模式可以从两个方向进行描述：

以大数据产品价值链为线索沿横向从数据采集、整理、分析到决策逐级递进，以大数据技术为中心沿纵向从底层的基础设施供应、大数据技术提供到完整IT解决方案服务。

在行业层面，一些前瞻性的公司已经开始尝试跨界与融合，这种跨界与融合主要来自三个方向：

一是产业链外企业依托天然拥有的大数据资源向大数据产业链扩张，涉足大数据生产；二是产业链内企业依托大数据资源向其他行业扩张，涉足大数据行业外应用；三是以大数据为核心资源的全方位扩张。

总之，面向大数据的商业发展模式及变化才刚刚开启序幕[10]。

4.2从数字城市到智慧城市

为解决城市现代化发展中的一系列问题,地理信息领域从数字地球的角度提出数字城市的概念。

近年来,学者们进一步提出智慧城市的概念,认为城市的未来发展将在各种IT技术的支持下,保障物质流信息流、资金流的自动、实时、安全地流动,实现城市管理的智能抉择与市民生活的智能服务,保障城市的社会、经济、民生的和谐发展。

智慧城市是基于物联网、云计算等新一代信息技术以及社交网络、智能搜索、智能分析等工具和方法,实现城市信息全面透彻的感知、宽带泛在的互联、以及智能融合的应用，无所不在的传感网络将实现城市部件的实时感知与自主联网,地理信息系统将水、电、气、交通、环境等基础信息与特定时空下的城市事件、紧密关联实时融合,将全面满足城市人与物的联通、管理、响应的需要，在这个环境中,各种传感器能够方便接入城市信息网络,确保来自任何空间位置的信息源,能在任何时候经过接入、关联、融合等处理后发送并服务于在任何地点且有相应权限的数据管理与更新服务器，实现人与人、人与物、物与物之间进行信息获取、传递、存储、认知、决策[6,11]。

4.3从云计算到城市计算

在全球化和人类活动地域扩张的21世纪，理解变化变得越来越重要。

云计算的出现为解决理解变化的挑战带来了可能的解决方案。

地理空间科学与所描述的密集问题可以受益于最新的云计算框架，并充分利用时空原理以优化云计算。

早期的调研发现云计算不仅能够帮助地理空间科学，而且能够采用时空原理进行优化以最好地使用分布式计算资源。

为说明云计算如何能潜在解决四个密集问题，YANG总结了数据密集型、计算密集型、发访问密集、时空密集型四个科学和应用场景来分析这些问题、时空原则和潜在空间云计算解决方案间的内在联系。

城市计算是以城市为背景，与城市规划、交通、能源、环境、社会学和经济等学科融合的新兴领域。

城市计算将无处不在的感知技术、高效的数据管理和分析算法，以及新颖的可视化技术结合，致力于提高人们的生活品质、保护环境和促进城市运转效率[12,13]。

4.4人类移动模式研究

随着带有定位功能的移动计算设备等的广泛应用，大量具有个体粒度的时空标记的大数据的产生（包括手机通话数据、社交网站签到数据、出租车轨迹等）为长时间、高精度、高效地跟踪个体空间移动提供可能。

同时，地理信息系统与科学的不断发展使得时间地理学从数据采集、存储、分析到可视化等整个过程都获得了极大的便利，其强大的可视化和空间分析功能增强了个体时空轨迹的直观显示及其隐含模式的识别能力。

研究表明，个体移动模式识别与分析能够为交通监控与预测、信息与疾病传播、旅游监测与分析等众多领域的研究提供工作基础与方法指导。

基于大数据研究个体或群体行为，发现活动中蕴含的空间认知规律及空间行为和交互模式，建立基于人类活动规律的地理信息服务，已成为地理信息科学研究的前沿问题。

当前，关于人类移动模式的研究从人类移动模式度量、移动模型构建方面取得了很多的进展，但是如何更好的和地理空间结合并将发现的模式应用于相关领域还有很多需要研究和解决的问题[14]。

5结语

经过近半个世纪的发展，地理空间数据表达、管理与分析方法已经比较成熟。

然而，随着大数据时代的来临，对GIS的应用又提出了更高的要求。

基于位置的社交网络、城市计算、社会计算等新兴领域的不断涌现，云计算、物联网基础设施不断成熟，移动对象、社交关系、智慧城市、大数据商业模式等作为典型大数据的重要性会越加凸显，同时也将极大地推进面向大数据的GIS的核心问题研究，如异构时空时空数据模型的统一，面向大数据的数据挖掘和空间分析，海量移动对象管理与轨迹数据挖掘、复杂时空网络分析、图像内容时空语义分析等方面的研究已经成为当前业界及学界共同关注的问题，大量新出现的理论和技术问题亟待解决。

参考文献

[1].王树良等.大数据下的空间数据挖掘思考[J],中国电子科学研究院学报，2013.

[2].李清泉,李德仁.大数据GIS[J].武汉大学学报.信息科学版,2014年6月.

[3].维克托.迈尔.舍恩伯格.大数据时代（生活、工作与思维的大变革）[M].杭州:

浙江人民出版社,2012.

[4].陆锋，张恒才.大数据与广义GIS[J].武汉大学学报.信息科学版.2014

[5].钟耳顺，地理控制与实况地理学--关于GIS发展的思考[J].地球信息科学学报,2014.

[6].龚健雅等.从数字城市到智慧城市:

地理信息技术面临的新挑战[J].测绘地理信息,2013年第2期.

[7].李德仁，王树良，李德毅．空间数据挖掘理论与应用[M].北京:

科学出版社，2013.

[8].吉根林,赵斌.面向大数据的时空数据挖掘综述[J].南京师大学报（自然科学版）2014.

[9].张晓祥.大数据时代的空间分析[J].武汉大学学报.信息科学版，2014年6月.

[10].李文莲等，基于大数据的商业模式创新[J].中国工业经济，2013年5月

[11].李德仁等，智慧城市中的大数据，武汉大学学报.信息科学版，2014

[12].ChaoweiYang,MichaelGoodchild.Spatialcloudcomputing:

howcanthegeospatialuseandhelpshapecloudcomputing.InternationalJournalofDigitalEarth.2013

[13].郑宇.城市计算概述[J].武汉大学学报.信息科学版,2015年1月.

[14].陆锋,刘康.大数据时代的人类移动性研究[J].地理信息科学，2014