物联网数据处理模型.docx

物联网数据处理模型.docx

《物联网数据处理模型.docx》由会员分享，可在线阅读，更多相关《物联网数据处理模型.docx（9页珍藏版）》请在冰点文库上搜索。

物联网数据挖掘模型的研究

中国宁波，浙江大学宁波理工学院ShenBin

中国杭州，浙江大学管理学院LiuYuan，WangXiaoyi

摘要——在这篇论文中，我们提到了四种物联网数据挖掘模型，分别是多层数据挖掘模型、分布式数据挖掘模型、基于网格的数据挖掘模型和多层技术集成角度的数据挖掘模型。

其中，多层数据挖掘模型包含四层：

1）数据收集层，2）数据管理层，3）事件处理层，4）数据挖掘服务层。

分布式数据挖掘模型可以解决数据存放在不同地点的问题。

基于网格的数据挖掘模型使网格框架实现数据挖掘功能。

多层技术集成角度的数据挖掘模型描述了未来网络的相应框架。

并且讨论了一些IOT数据挖掘的重要问题。

关键词——物联网，数据挖掘模型，RFID技术

一、介绍

物联网（IOT）是下一代网络，包含上万亿节点来代表各种对象，从无所不在的小型传感器设备，掌上的到大型网络的服务器和超级计算机集群[23]。

它是继电脑和网络革命之后的又一场科技革命。

它集成了新的计算和通讯技术（如传感器网络，RFID技术，移动技术，实时定位，普遍存在计算和IPV6等）和建立下一代互联网的发展方向。

IOT是IBM公司提出的智能星球的核心。

物联网的智能对象（如传感器输入、制动器等）可以通过基于新信息和通讯技术的网络来通信。

S.Haller等人[2]提出了如下的定义：

“它是这样的一个世界，物理对象可以无缝集成到信息网络，并且可以成为业务流程的积极参与者。

服务可以在网络中影响到这些‘智能对象’，找到他们的国家以及与他们向关联的任何问题，并能考虑到安全和隐私问题。

”

刘教授[3]从技术和经济的角度提出了对于IOT的想法：

“从技术的角度上讲，IOT是传感器网络的集成，包括RFID和无所不在的网络。

从经济的角度来看，这是一个开放的观念，集成了新的相关科技和应用，产品和服务，生产和市场。

”

物联网将会产生大量的信息。

让我们举一个例子，将超市引入一个采用RFID技术的供应链。

RFID数据的原始形态是这样的形式：

EPC，地点，时间。

EPC代表了一个RFID读者阅读的唯一标识；地点是读者的位置；时间是阅读发生的时刻。

这需要18个字节来储存一个RFID记录。

一个超市，大约有700000个RFID记录。

所以如果这个超市每秒都有读者在浏览，那么每秒大约产生12.6GBRFID数据流，每天将达到544TB的数据。

因此，发展有效的思想去管理、分析、挖掘RFID数据是非常必要的。

物联网数据可以分成几种类型：

RFID数据流、地址/唯一标识、描述数据、位置数据、环境数据和传感器网络数据等[1]。

它将给物联网的管理、分析、挖掘数据带来巨大的挑战。

二、相关研究

作为互联网的全新范例，对于物联网的研究还处于初级阶段。

目前，有一些物联网数据挖掘的研究，主要包括以下三个方面：

一些研究集中于管理和挖掘RFID数据流。

例如，HectorGonzalez等人[4]提出一个存储RFID数据的新奇模型，能保护对象转变同时提供重要的压缩和路径依赖总量。

RFID立方体保持了三个表：

（1）信息表，能储存产品的路径依赖信息，

（2）停留表，保存了数据所在位置信息，（3）地图表，存储用于结构分析的路径信息。

HectorGonzalez等人[5]采用流程图去表示商品的运输，并且还可以用它来多维分析商品流。

在参考文献[6]，HectorGonzalez等人提出一种压缩概率工作流，可以捕捉运动和重要的RFID流动异常。

ElioMasciari[8]研究RFID数据流的孤立点挖掘。

一些研究偏好于提问、分析和挖掘由各种IOT服务产生的对象数据运动，例如，GPS装置，RFID传感器网络，网络雷达或卫星等。

比如说，XiaoleiLi等人[7]提出一个新的框架，称为漫游，用于移动物体的异常检测。

在文献[10]，Jae-GilLee等人对运动目标的轨迹孤立点检测开发了一种分割检测框架。

Jae-GilLee等人[9]也提出了名为TraClass的新的轨迹分类思想，利用基于地区的和基于轨迹的分层聚集。

在文献[11]，对于运动目标的轨迹聚集提出了一个划分聚集框架。

其他研究是传感器数据的知识发现。

传感器网络有几个特征，例如，有限的资源，容易调配的传感器，免维护，多层跳跃和大量数据等。

所以传感器网络的数据挖掘有其自身的特征。

JoydeepGhosh[12]提出了一个一般的概率框架，在计算/记忆/电力限制约束下的监督性学习。

BetsyGeorge等人[13]提出时空传感器模型（STSG）去模拟和挖掘传感器数据。

STSG模型能够发现不同类型的模式：

位置异常模式，在每个时段集中定位和节点的未来热点。

ParisaRashidi等人[14]开放了一种对于传感器数据类型挖掘的新奇的自适应挖掘框架，以适应数据的变化。

尽管IOT对于数据挖掘有很多贡献，但都主要集中于IOT的基本内容，如传感器网络、RFID等。

作为一个全新的网络范例，IOT仍然缺乏模型和理论来指导其进行数据挖掘。

三、物联网数据挖掘模型

1、IOT多层数据挖掘模型

根据IOT式样和RFID数据挖掘框架[15]，我们提出了下面的IOT多层数据挖掘模型，如图1，将其分为四层：

数据收集层、数据管理层、事件处理层和数据挖掘服务层。

其中，数据收集层采用一些设备，例如RFID阅读器和接收器等，来收集各种智能对象的数据，分别是RFID流数据、GPS数据、卫星数据、位置数据和传感器数据等。

不同类型的数据需要不同的收集策略。

在数据采集过程中，一系列问题如节能、误读、重复读取、容错、数据过滤和通讯等，都应被妥善解决。

数据管理层适用于集中或分布式的数据库或数据仓库区管理收集的数据。

在目标识别、数据抽象和压缩后，一系列数据被保存在相应数据库或数据仓库。

例如RFID数据，原始的数据流格式是EPC、位置、时间，EPC被标记为智能对象的ID。

数据清洁后，我们能获得包含记录停留表有这样的形式（EPC、位置、进入时间、离开时间）。

之后我们利用数据仓库去储存和管理相关数据，包括信息表、停留表和地图表，称作RFID体。

基于RFID体，用户可以方便的在线分析处理RFID数据。

另外，也可以采用XML语言去表述IOT数据。

智能对象可以通过物联网数据管理层相互连接。

事件是数据、时间和其他因素的整合，所以它提供高水平的IOT处理机制。

事件处理层有效地用于分析IOT事件。

因此我们可以在事件处理层实现基于事件的提问分析。

将观察到的原始时间过滤后，就可获得复杂事件或用户关注的事件。

然后我们可以根据事件集合、组织和分析数据。

数据挖掘服务层建立在数据管理和事件处理的基础上。

各种基于对象或基于事件的数据挖掘服务，分类、预测、聚类、孤立点检测、关联分析或类型挖掘，都提供给应用。

比如：

供应链管理、库存管理和优化等。

这一层的建立模式是服务至上。

数据挖掘服务层

事件处理层

数据管理层

数据数据挖掘知识

初级事件事件过滤事件检测

数据收集层

问答器

ID标签传感器标签GPS

图1：

IOT多层数据挖掘模型

2、IOT分布式数据挖掘模型

跟一般的数据相比，IOT数据有自己的特色。

例如，IOT数据总是大规模的、分布式的、时间相关的和位置相关的。

同时，数据的来源是各异的，节点的资源是有限的。

这些特征带来了很多集中数据挖掘式样的问题。

起初，大量的IOT数据储存在不同的地点。

因此，通过中央模式很难让我们挖掘分布式数据。

第二，IOT数据很庞大需要实时处理。

所以如果我们采用中央结构，硬件中央节点的要求非常高。

第三，考虑到数据安全性、数据隐私、容错、商业竞争、法律约束和其他方面，将所有相关数据放在一起的战略通常是不可行的。

第四，节点的资源是有限的。

将数据放在中心节点的策略没有优化昂贵资源传输。

在大多数情况下，中心节点不需要所有的数据，但是需要估计一些参数。

所以我们可以在分布式节点中预处理原始数据，再将必要信息传送给接收者。

IOT分布式数据挖掘模型不仅可以解决分布式存储节点带来的问题，也将复杂的问题分解成简单的问题。

因此，高性能需求、高存储能力和计算能力都降低。

在本文中，我们提出了IOT分布式数据挖掘模型，见图2。

数据服务

基于网络的客户

Triana数据流编辑器和管理人

网格中间件

软件资源

资源代理

信息服务

硬件资源

数据挖掘网格

客户组件数据挖掘网格

数据挖掘网格高水平服务组件开发

信息服务

RFT网格

执行管理

安全性

数据挖掘活动

常见运行时

增强适配器

增强适配器

传感器网络、无线传感网络

RDIF标签，RDIFWSAN，阅读器等

计算机簇

数据仓库,数据挖掘

应用（系统、工具、算法）

计算机簇

局部

调度

计算机簇

计算机簇

组件描述4

软件和硬件资源

图2：

IOT分布式数据挖掘模型

在该模型中，全局控制节点是整个数据挖掘系统的核心。

它选择数据挖掘算法和挖掘数据集合，之后引导包含这些数据集合的辅助节点。

这些辅助节点从各种智能对象收到原始数据。

这些原始数据通过数据过滤、数据抽象和压缩进行预处理，然后保存在局部数据仓库。

事件过滤，复杂事件检测和局部节点数据挖掘获得局部模型。

根据全局控制节点的需要，这些局部模型受控于全局控制节点并且聚集起来形成全局模型。

辅助节点互相交换对象数据、处理数据和信息。

基于联合管理机制的多层代理控制着整个过程。

3、IOT基于网格的数据挖掘模型

网格计算是新型的计算设备，能够实现异构、大规模和高性能应用。

同IOT，网格计算受到来自工业和研究机构的关注。

网格的基本理念就是同电力资源一样利用网格计算资源。

各种计算资源、数据资源和服务资源都可以被存取或便捷使用。

IOT的基本理念是通过互联网连接到各种智能对象。

如此智能对象变得聪明、环境敏感且远程合用。

所以我们可以认为智能对象是一种网格计算资源，使用网格数据挖掘服务去实现IOT数据挖掘操作。

P.Brezany等人[19]提出一种叫做GridMiner的基础设施，它支持分散式的在线分析处理和数据挖掘。

在文献中[20]，A.Congiusta讨论了设计方面和服从WSRF网格服务的实施选择。

在本文中，根据Stankovski,V.等人提出的数据挖掘网格[21]，我们提出了基于网格的IOT数据挖掘模型，如图3。

应用一应用二

全局模型

局部模型1

局部模型n

局部模型聚合器

数据挖掘算法

数据挖掘算法

局部数据仓库

局部数据仓库

节点1节点n

问答器n

问答器1

ID标签传感器标签GPSID标签传感器标签GPS

图3：

基于网格的IOT数据挖掘模型

基于网格的IOT数据挖掘模型与网格数据挖掘的不同是硬件和软件资源的一部分。

IOT提供多种类型的硬件，如RFID标签、RFID阅读器、WSM、WSAN和传感器网络等。

它也提供了多种软件资源，如事件处理算法、数据仓库和数据挖掘应用等。

我们可以充分利用网格数据挖掘的高水平服务，和IOT数据挖掘客户。

4、IOT多层技术集成角度的数据挖掘模型

物联网是下一代互联网发展的重要方向。

同时，还有很多新的方向，例如可信网络、无所不在的网络、网格计算和云计算等。

因此，从多层次技术集成的角度出发，提出了相应的IOT数据挖掘模型，如图4。

在该模型中，数据来自环境敏感的个人、智能对象或环境。

采用128位的IPV6地址，并且提供各种无所不在的方式去访问未来网络。

例如：

内部网/互联网、FTTx/xDSL、传感器设备、RFID、2.5/3/4G移动访问等。

信赖控制平台保证数据传输的信誉和可控性。

在此基础上，我们完成了数据挖掘工具和算法，并提交了各种知识服务型的应用，如智能交通、只能物流等。

信任控制平台

内部网/互联网，FTTx/xDSL传感器，RFID

无所不在的连接

环境敏感智能服务网络

数据挖掘

媒介

首页

智能对象

虚拟观测站

智能财产

智能物流

智能运输

丰富的服务型应用

图4：

IOT多层技术集成角度的数据挖掘模型

四、IOT数据挖掘模型关键问题

1、从IOT智能对象收集数据

当我们从智能对象进行数据收集时，需要考虑智能对象的特殊要求。

例如，如果我们想从分布式传感器网络收集数据，就应考虑网络效率、可扩展性和容错性。

一系列策略，如区域数据集合可以采用。

因此，传输数据的数量会减少，利用能源的传感器节点将提升。

在文献[12]，为了调节传感器网络数据挖掘过程中目标和冲突，JoydeepGhosh在计算、电力、记忆的限制之下，提出了一个一般概率框架。

2、数据抽象、压缩、索引、聚集和多维查询

物联网将会产生大量的智能对象数据。

因此，有必要考虑如何有效地管理IOT数据以及如何便捷执行在线分析和处理。

智能对象数据都有自己的特点：

（1）IOT环境中，RFID和传感器等设备会产生大量数据流；

（2）智能对象数据可能是不准确的，而且通常是时间相关和地点相关。

（3）智能对象数据往往有自己的隐含语义。

这些特点提出了对于IOT数据管理和挖掘的新要求。

关键问题包括：

（1）智能对象识别和寻址：

在IOT中，会有成千上万的智能对象实体。

为了查找和连接这些智能对象，实现对智能对象的识别和寻址是很有必要的。

（2）数据抽象和压缩。

应开发有效的方法过滤冗余数据。

（3）IOT数据存档、索引、可扩展性和访问控制。

（4）数据仓库和查询语言的多维分析。

（5）互连性和IOT异构数据的语义理解。

（6）时序水平和事件级数据集合。

（7）管理IOT数据的隐私和保护问题。

3、事件过滤、聚集和检测

事件过滤和复杂性事件处理用来处理数据中的简单事件。

整个处理过程包括以下步骤。

首先，根据事件聚集数据。

原始事件被过滤，有价值事件被保留。

之后，这些简单的核心事件都被纳入复杂事件。

因此，我们可以通过检测复杂事件来检测相应业务逻辑。

例如TaiKu等人[17]提出了一种新的事件挖掘网络来检测RFID应用，并且运用RFID技术定义了供应链事件管理的基本概念。

4、集中式数据处理和挖掘与分布式数据处理和挖掘的比较

在不同的场合，要灵活运用集中或分布式数据处理和挖掘模型。

让我们以分布式传感网络为例，在有限节点的计算、存储、电力限制下，将全部数据传送给汇点的策略并没有优化昂贵能源的传输。

事实上，大多数情况下不需要所有的原始数据，而是着重于一些参数的价值。

5、IOT数据挖掘算法的研究

基于IOT数据管理和事件处理，关键问题是学习新的IOT数据挖掘算法。

主要工作包括分类、预测、聚类、孤立点检测、关系分析、空间和时间模型挖掘。

例如，ChenZhuxi等人[16]提出了RFID应用的频繁闭合回路挖掘算法。

ElioMasciari[8]研究了从RFID数据流进行孤立点检测。

6、下一代互联网数据挖掘

下一代互联网有很多潜在的发展方向：

IPV6技术、无所不在的网络、可信网络、语义网、网格的（语义网格、数据网格和知识网格）、面向服务的应用、光传输和云计算等。

下一代互联网，新技术将融入IOT。

因此，很多新的数据挖掘问题需要深入研究。

例如，从IOT基于语义的数据挖掘，基于网格的数据挖掘和服务型数据挖掘等。

五、总结及今后的研究

作为下一代互联网的重要发展方向，物联网吸引了工业和学术界的关注。

IOT数据有很多特征，例如分布式存储，大量时间相关和地点相关数据以及有限节点资源等。

这些都使IOT数据挖掘成为一项极具挑战性的任务。

在本文中，我们提出了四种物联网数据挖掘模型，分别是多层数据挖掘模型、分布式数据挖掘模型、基于网格的数据挖掘模型和多层技术集成角度的数据挖掘模型。

其中，多层数据挖掘模型包含四层（数据收集层，数据管理层，事件处理层和数据挖掘服务层）。

分布式数据挖掘模型可以较好的解决数据出现在不同地点的问题。

同时，通过复杂问题被分解，中央节点的高性能要求、高存储能力和高运算能力会随之降低。

基于网格的数据挖掘模型采用网格框架去实现数据挖掘功能。

多层技术集成角度的数据挖掘模型描述了未来网络的相应框架。

并且讨论了一些IOT数据挖掘的重要问题。

未来研究工作的可行性包括：

a）研究各种数据挖掘算法；b）完善基于网格的数据挖掘系统和相应的算法。

致谢

本文部分受到中国国家自然科学基金批准号10876036和70871111下的支持。

此外，在某种程度上也受到浙江大学宁波理工学院基础科学研究的支持。

参考文献

[1]CooperJ,James“A.ChallengesforDatabaseManagementintheInternetofThings,”IETETechRev.2009.26:

320-9.

[2]S.Haller,S.Karnouskos,andC.Schroth,“TheInternetofThingsinanenterprisecontext,”FutureInternetSystems（FIS）,LCNS,vol.5468.Springer,2008,pp.14-8.

[3]ZhangLin.“SchoolofManagement,ZhejiangUniversity,Prof.LiuYuan:

Thebusinessscaleofcommunicationsbetweensmartobjectsistensoftimesthescaleofcommunicationsbetweenpersons,”ScienceTimes.2009.11.16.（inChinese）

[4]HectorGonzalez,JiaweiHan,XiaoleiLi,DiegoKlabjan.“WarehousingandAnalyzingMassiveRFIDDataSets,”ICDE2006:

83.

[5]HectorGonzalez,JiaweiHan,XiaoleiLi.“FlowCube:

ConstructuingRFIDFlowCubesforMulti-DimensionalAnalysisofCommodityFlows,”VLDB2006:

834-845.

[6]HectorGonzalez,JiaweiHan,XiaoleiLi.“MiningcompressedcommodityworkflowsfrommassiveRFIDdatasets,”CIKM2006:

162-171.

[7]XiaoleiLi,JiaweiHan,SangkyumKim,HectorGonzalez.“ROAM:

Rule-andMotif-BasedAnomalyDetectioninMassiveMovingObjectDataSets,”SDM2007.

[8]ElioMasciari.“AFrameworkforOutlierMininginRFIDdata,”11thInternationalDatabaseEngineeringandApplicationsSymposium（IDEAS2007）,pp.263-267,2007.

[9]Jae-GilLee,JiaweiHan,XiaoleiLi,HectorGonzalez:

“TraClass:

trajectoryclassificationusinghierarchicalregion-basedandtrajectory-basedclustering,”PVLDB1

（1）:

1081-1094（2008）

[10]J.-G.Lee,J.Han,andX.Li.“Trajectoryoutlierdetection:

Apartition-and-detectframework,”Proc.24thInt'lConf.onDataEngineering,pages140-149,Cancun,Mexico,Apr.2008.

[11]Jae-GilLee,JiaweiHan,Kyu-YoungWhang.“Trajectoryclustering:

apartition-and-groupframework,”SIGMOD2007:

593-604.

[12]JoydeepGhosh.“AProbabilisticFrameworkforMiningDistributedSensoryDataunderDataSharingConstraints,”FirstInternationalWorkshoponKnowledgeDiscoveryfromSensorData.2007.

[13]BetsyGeorge,JamesM.Kang,ShashiShekhar.“Spatio-TemporalSensorGraphs（STSG）:

Adatamodelforthediscoveryofspatio-temporalpatterns,”Intell.DataAnal.13（3）:

457-475（2009）.

[14]ParisaRashidiandDianeJ.Cook.“AnAdaptiveSensorMiningFrameworkforPervasiveComputingApplications,”2ndInternationalWorkshoponKnowledgeDiscoveryfromSensorData,2008.

[15]JoshuaHuang.（2009）“RFIDDataMining:

Opportunities