第八章-无线传感器网络数据管理技术PPT推荐.ppt

1、数据传输路径上的中间传感器节点有对本身采集的数据和其 他节点转发来的数据进行融合、缓存、转发的能力，可以减 少冗余数据在传输中耗费的网络资源。邻居节点采集的数据通常具有相似性，是从不同监测点得到 的同一事件的相关数据，所以数据存在冗余性。网络中的数据源是大规模分布的传感器节点，节点采用与IP 地址类似的全局编址或局部标识，标识与节点物理位置无关。,无线传感器网络与分布式数据库相比具有的特殊性,8.1,无线传感器网络数据管理的基本概念,8.1.2,无线传感器网络数据管理系统的特殊性及设计目标,两者需要提供的服务方式存在差异,两者管理的数据具有不同的特征,两者管理的数据具有不同的误差特点,两者数据

2、管理的目标不同,两者数据管理处理查询方式存在差异,两者采用的查询处理技术不同,两者采用的存储技术不同,无线传感器网络的数据管理系统与分布式数据库系统存在的明显差异,以数据为中心的无线传感器网络数据库,无线传感器网络数据管理系统的特殊性及设计目标,无线传感器网络数据管理技术的研究热点,8.1.1,8.1.2,8.1.3,8.1,无线传感器网络数据管理的基本概念,8.1,无线传感器网络数据管理的基本概念,无线传感器网络数据管理技术的研究热点,8.1.3,TEXT,TEXT,TEXT,TEXT,数据存储策略、存取方法和索引技术,数据获取技术,数据存储技术,数据查询技术,分析挖掘技术,数据管理系统,传

3、感器网络和感知数据模型技术元数据管理技术、传感器数据处理策略、面向应用的感知数据管理技术,面向无线传感器网络的查询语言、数据融合方法、分布式查询优化处理技术,OLAP分析处理技术、统计分析技术、传统类型知识挖掘、与感知数据相关的新知识模型及挖掘技术、数据分布式挖掘技术,数据管理系统的体系结构和实现技术,课程目录,8.1,8.2,无线传感器网络数据管理的基本概念,无线传感器网络数据管理的关键技术,现有传感器网络数据管理系统介绍,8.3,8.4,无线传感器网络数据管理系统DiswareDM,8.2,无线传感器网络数据管理的关键技术,无线传感器网络数据存储结构,8.2.1,数据查询处理技术,8.2.

4、2,数据融合技术,8.2.4,数据压缩技术,8.2.3,8.2,无线传感器网络数据管理的关键技术,无线传感器网络数据存储结构,8.2.1,一、网外集中式存储方案,二、网内分层存储方案,三、网内本地存储方案,四、以数据为中心的网内存储方案,8.2,无线传感器网络数据管理的关键技术,无线传感器网络数据存储结构,8.2.1,感知数据从数据普通节点通过无线多跳传送到网关节点，再通过网关传送到网外的基站节点，由基站保存到感知数据库,8.2,无线传感器网络数据管理的关键技术,无线传感器网络数据存储结构,8.2.1,网络性能分析：假设直接通信距离为单位1，WSN的网络半径为R，在没有网络拥塞和丢包情况下，每

5、节点每传输1bit的数据至网关的过程中传输通信量平均至少为R bit。如果平均一次查询所需的感知数据为M bit，则集中式查询处理的平均网络通信量至少为（MR）bit。当M值较小时，整个网络的通信量相对较小，网络中无线通信较为流畅，很少有拥塞现象，此时通信量接近于极值（MR）bit；当M值较大时，不仅极值（MR）bit发生线性增长，网络通信量更是急剧增加，网络拥塞现象更加严重，造成通信成本大大膨胀。此外，还易于造成靠近网关节点的节点能量过早耗尽，影响网络的连通性。,8.2,无线传感器网络数据管理的关键技术,无线传感器网络数据存储结构,8.2.1,一、网外集中式存储方案,二、网内分层存储方案,三

6、、网内本地存储方案,四、以数据为中心的网内存储方案,8.2,无线传感器网络数据管理的关键技术,无线传感器网络数据存储结构,8.2.1,两类传感器节点：一类是大量的普通节点，另一类是少量的有充足资源的簇头节点。,8.2,无线传感器网络数据管理的关键技术,无线传感器网络数据存储结构,8.2.1,一、网外集中式存储方案,二、网内分层存储方案,三、网内本地存储方案,四、以数据为中心的网内存储方案,8.2,无线传感器网络数据管理的关键技术,无线传感器网络数据存储结构,8.2.1,采用网内本地存储方案时，数据源节点将其获取的感知数据就地存储。基站发出查询后向网内广播查询请求，所有节点均接收到请求，满足查询

7、条件的普通节点沿融合路由树将数据送回到根节点，即与基站相连的网关节点。,8.2,无线传感器网络数据管理的关键技术,无线传感器网络数据存储结构,8.2.1,一、网外集中式存储方案,二、网内分层存储方案,三、网内本地存储方案,四、以数据为中心的网内存储方案,8.2,无线传感器网络数据管理的关键技术,无线传感器网络数据存储结构,8.2.1,以数据为中心的网内存储方案采用以数据中心的思想，将网络中的数据按内容命名，并路由到与名称相关的位置。采用方案时需要和以数据为中心的路由协议相配合。存储数据的节点除负担数据存储任务外，还要完成数据压缩和融合处理操作。,8.2,无线传感器网络数据管理的关键技术,无线传

8、感器网络数据存储结构,8.2.1,大量冗余信息传输可能造成大量的能耗损失，而且容易引起通信瓶颈，造成传输延迟。,网外集中式,优点,缺点,网内处理简单，适合于查询内容稳定不变且需要原始感知数据的应用系统，对于查询数据量不大的实时查询，查询时效性较好。,靠近簇头处存在通信集中现象，只能用于层簇式网络，有一定的应用局限性。,网内分层式,查询时效性好，数据存储的可靠性好,需要将查询请求洪泛到整个网内的各个角落，网内融合处理复杂度较高，增加了时延。,网内本地式,数据存储充分利用网内节点分布式存储资源；用数据融合和压缩技术减少数据通信量；数据没有集中化存储，使网内不会出现严重通信集中现象。,数据存储耗费一

9、定的通信成本；可能造成某些存储节点的存储空间不足，需要采用复杂的邻近存储方法，或哈希算法，增加存储和查询复杂度。,数据为中心的网内式,数据存储有规律性，便于查找，加快了查询速度，便于在网内进行同类型数据融合，减轻了通信量。,8.2,无线传感器网络数据管理的关键技术,无线传感器网络数据存储结构,8.2.1,数据查询处理技术,8.2.2,数据融合技术,8.2.4,数据压缩技术,8.2.3,8.2,无线传感器网络数据管理的关键技术,数据查询处理技术,8.2.2,二、查询系统结构,三、查询处理方案,一、查询类型,四、查询处理优化技术,8.2,无线传感器网络数据管理的关键技术,数据查询处理技术,8.2.

10、2,历史查询：对从传感器网络获得的历史数据的查询。快照查询：对传感器网络在某一给定时间点的查询。连续查询：关注在某一段时间间隔内传感器网络数据的变化情况。,查询类型,8.2,无线传感器网络数据管理的关键技术,数据查询处理技术,8.2.2,一、查询类型,三、查询处理方案,二、查询系统结构,四、查询处理优化技术,8.2,无线传感器网络数据管理的关键技术,数据查询处理技术,8.2.2,由于采用了分布式处理技术，传感器网络查询处理系统一般由全局查询处理器和在每个传感器节点上的局部查询处理器协作构成。当用户提交一个连续查询以后，全局查询处理器需要把查询分解成一系列的子查询提交到相关传感器节点上由局部查询

11、处理器执行。这些子查询也是连续查询，需要扫描、过滤（即选择）和综合相关无限实时数据流，产生连续的部分查询结果流，返回给全局查询处理器，经过进一步全局综合处理，最终返回给用户。传感器节点上的局部查询处理器是连续查询处理的关键。与全局连续查询一样，传感器节点上各个连续子查询也需要执行很长时间。在连续子查询的长期执行过程中，传感器节点及其产生数据的特性、传感器节点的工作负载等情况都在不断地发生改变。因此，局部查询处理器必须具有适应环境变化的自适应性。,8.2,无线传感器网络数据管理的关键技术,数据查询处理技术,8.2.2,一、查询类型,二、查询系统结构,三、查询处理方案,四、查询处理优化技术,8.2

12、,无线传感器网络数据管理的关键技术,数据查询处理技术,8.2.2,无线传感器网络查询处理一般可分为两个步骤：将全局查询处理器分解出的所有子查询发布到查询所指定的目标区域中。（2）收到查询任务的数据普通节点执行查询返回查询结果数据。,目前已提出的主要查询处理方案可分为以下3种类型：（1）采用广播发布查询的方法；（2）采用特定路由方式；（3）采用定向扩散技术。,8.2,无线传感器网络数据管理的关键技术,数据查询处理技术,8.2.2,一、查询类型,二、查询系统结构,四、查询处理优化技术,三、查询处理方案,8.2,无线传感器网络数据管理的关键技术,数据查询处理技术,8.2.2,（1）无线传感器网络连续

13、查询自适应技术（CACQ）,对于没有连接操作的单个连续查询，CACQ把查询分解为一个操作序列。CACQ还可以处理多个无连接的连续子查询。处理N个子查询的一般办法是：当一个感知数据进入系统时，CACQ轮流把它传递到N个子查询的操作序列，完成N个子查询的处理。CACQ不复制感知数据，这样做的优点是可以节省复制数据占用的存储区和复制数据消耗的计算资源。无连接多查询处理的关键在于从多个查询中提取公共操作，使得多查询的公共操作只执行一次，避免重复计算。,图8-5 CACQ连续查询处理结构,8.2,无线传感器网络数据管理的关键技术,数据查询处理技术,8.2.2,（2）统计模型驱动的查询处理技术,思想：首先

14、基于已经存储和正在产生的感知数据，建立一个感知数据的统计数学模型，然后基于这个模型来回答用户的查询。由于统计模型的参数表示和基于统计模型的查询计算较为复杂，因此除了在基站端计算网络全局数据的统计模型外，网内普通传感器节点上由于存储和计算能力限制不存储模型或者仅存储本节点（或包括相邻一跳节点）的一个或几个感知属性的统计模型。,8.2,无线传感器网络数据管理的关键技术,数据查询处理技术,8.2.2,（2）统计模型驱动的查询处理技术,图8-6 模型驱动的WSN数据管理方案,基于模型驱动的查询处理方法的优点如下：利用模型可以计算出还需要哪些位置的哪些数据，减少查询的盲目性，降低网内查询处理的数据量。利

15、用统计模型可以计算数据之间的相关性信息，利用数据之间的相关性可以用查询节能属性数据的方式代替查询耗能多的属性，从而实现查询节能。根据概率模型可以辨别出不可靠的数据及失效的节点，可提供给用户网络中存在问题的节点信息。提供用户查询结果的同时给出关于查询结果的精确度，这对于科学工作者来说是很有用处的。根据模型预测分析未来数据的变化趋势，有利于实现发展趋势预测。,方案的一些不足：要处理不断连续变化的实时数据流，需要有良好的算法以实时更新数据的概率模型。传感器节点端存储概率模型和进行复杂的概率分布计算，需要耗费一定的存储资源和计算时间。当传感器节点数量较大时，网络整体模型的计算复杂性非常高，增加了查询的

16、时延。此外，针对不同的应用需要采用不同的统计模型，没有万能的数学模型可以用于所有的应用环境。,8.2,无线传感器网络数据管理的关键技术,无线传感器网络数据存储结构,8.2.1,数据查询处理技术,8.2.2,数据融合技术,8.2.4,数据压缩技术,8.2.3,8.2,无线传感器网络数据管理的关键技术,数据压缩技术,8.2.3,四、基于管道数据压缩方法,二、基于数据相关性压缩方法,三、分布式小波压缩方法,一、基于时间序列数据压缩方法,8.2,无线传感器网络数据管理的关键技术,数据压缩技术,8.2.3,PCA技术的主要思想是将时间序列表示为多个分段，每个分段由两个元组组成：数值常量和结束时间。其值分

17、别为该分段对应的子序列中所有数据的均值和最后一个数据的采样时间。基于PCA技术，Losif Lazaridis等20提出了Poor Man_mean压缩方法（PMC_mean）。PMC_mean是一种压缩时间序列的在线方法，该方法的思想是将时间序列中每个分段内所有数据均值作为该分段的常量。每采集到一个周期数据，计算当前压缩的时间序列内所有数据的均值，若该均值与当前时间序列的最大值或最小值的差值超过阈值时，即停止采样，将满足条件的时间序列压缩为一个分段。,Eamonn Keogh等提出的分段常量近似（Piecewise Constant Approximation，PCA）的压缩时间序列技术。,

18、8.2,无线传感器网络数据管理的关键技术,数据压缩技术,8.2.3,一、基于时间序列数据压缩方法,四、基于管道数据压缩方法,三、分布式小波压缩方法,二、基于数据相关性压缩方法,8.2,无线传感器网络数据管理的关键技术,数据压缩技术,8.2.3,Sundeep Pattem等讨论了相关性对数据压缩效果的影响。采用联合熵和位-跳值分别来度量被压缩信息的大小和数据传输的总能耗，对比分析了DSC（Distributed Source Coding）、RDC（Routing-Driven Compression）和CDR（Compression-Driven Routing）这3种不同处理策略下的能耗情

19、况。理论分析结果表明，相关性较低时，没有信息可以压缩，RDC方法能耗较低；相关性较高时，通过压缩可以节省大量能耗，CDR节能效果较好。另外，在相关性处于中等范围时，RDC和CDR两者性能相当，这表明可以采用一种混合式方法进行处理，即传感器节点形成较小的集群，集群内的数据在集群首领处聚合，集群首领沿着最短路径向Sink节点传输聚合结果。,8.2,无线传感器网络数据管理的关键技术,数据压缩技术,8.2.3,一、基于时间序列数据压缩方法,二、基于数据相关性压缩方法,四、基于管道数据压缩方法,三、分布式小波数据压缩方法,8.2,无线传感器网络数据管理的关键技术,数据压缩技术,8.2.3,小波变换是一种

20、能同时表征信号时域和频域行为的数学工具，具有多分辨分析的特性，在不同的尺度或者压缩比下仍然能保持信号的统计特性，对压缩阵发性数据流非常有效。将传感器网络中采集到的原始数据变换到小波域来进行处理，以实现对原始数据的压缩是传感器网络中一种有效的数据处理方法。对于小波变换在数据压缩中的应用，目前的研究主要有基于区间小波变换的数据压缩算法、分布式小波数据压缩算法、传感器网络中的单向提升小波变换问题以及提出了非规则小波数据处理的概念。,8.2,无线传感器网络数据管理的关键技术,数据压缩技术,8.2.3,一、基于时间序列数据压缩方法,二、基于数据相关性压缩方法,三、分布式小波压缩方法,四、基于管道数据压缩

21、方法,8.2,无线传感器网络数据管理的关键技术,数据压缩技术,8.2.3,Tarik Arici等提出了基于管道思想的网内数据压缩方法，即将传感器数据缓存在网络中，根据指定的延迟值等待合适时间后再传输。通过管道压缩方法将数据组合起来形成组数据，降低数据中的冗余度，从而减少节点间的通信量，以降低通信能耗。,8.2,无线传感器网络数据管理的关键技术,无线传感器网络数据存储结构,8.2.1,数据查询处理技术,8.2.2,数据融合技术,8.2.4,数据压缩技术,8.2.3,8.2,无线传感器网络数据管理的关键技术,数据融合技术,8.2.4,无线传感器网络在收集数据过程中需要使用数据融合技术。数据融合是

22、将来自多传感器或多源的信息和数据进行综合处理，得出更为准确完整的信息。主要是为了减少网络内的数据传输量，达到减少能源的消耗，延长网络生命期的目的。数据融合牺牲其他方面的性能作为代价。首先是时延代价：在数据传送过程中，寻找易于进行数据融合的路由、进行数据融合操作等，都可能增加网络的平均延迟。其次是鲁棒性的代价：数据融合可以大幅度降低数据的冗余性，但丢失相同的数据也会损失信息，从而降低了网络的鲁棒性。,1,8.2,无线传感器网络数据管理的关键技术,数据融合技术,8.2.4,一、应用层中的数据融合,二、网络层中的数据融合,三、独立的数据融合协议层,8.2,无线传感器网络数据管理的关键技术,数据融合技

23、术,8.2.4,在应用层设计中，可以利用分布式数据库技术，对采集到的数据进行逐步筛选以达到融合的效果，应用层接口也采用类似SQL的风格。,8.2,无线传感器网络数据管理的关键技术,数据融合技术,8.2.4,二、网络层中的数据融合,一、应用层中的数据融合,三、独立的数据融合协议层,8.2,无线传感器网络数据管理的关键技术,数据融合技术,8.2.4,地址为中心的路由（Address-Centric Routing，AC路由）：每个普通节点沿着到汇聚节点的最短路径转发数据，是不考虑数据融合的路由，如图8-7所示。数据为中心的路由（Data-Centric Routing，DC路由）：数据在转发的路径

24、中，中间节点根据数据的内容，对来自多个数据源的数据进行融合操作。如图8-8所示，普通节点并未各自寻找最短路径，而是在中间节点B处对数据进行融合，然后再继续转发。,传感器网络中的路由方式可以根据是否考虑数据融合分为两类：,图8-7 AC路由,图8-8 DC路由,8.2,无线传感器网络数据管理的关键技术,数据融合技术,8.2.4,三、独立的数据融合协议层,一、应用层中的数据融合,二、网络层中的数据融合,8.2,无线传感器网络数据管理的关键技术,数据融合技术,8.2.4,独立于应用层的数据融合机制（Application Independent Data Aggregation，AIDA），其基本思

25、想是不关心数据的内容，而是根据下一跳地址进行多个数据单元的合并，通过减少数据封装头部的开销及MAC层的发送冲突来达到节省能量的效果。提出AIDA的目的除了要避免依赖于应用的融合方案（ADDA）的弊端外，还将增强数据融合对网络负载状况的适应性。当网络负载较轻时不进行融合或进行低程度的融合；而在网络负载较重，MAC层发送冲突较严重时，进行较高程度的融合。,AIDA协议层位于网络层和MAC层之间，对上下协议层透明，其基本组件如图8-9所示。AIDA可以划分为两个功能单元：融合功能单元和融合控制单元。融合功能单元负责对数据包进行融合或解融合操作；融合控制单元负责根据链路的忙闲状态控制融合操作的进行，调

26、整融合的粒度（合并的最大分组数）。,图8-9 AIDA的基本组件,依据图8-9，AIDA的工作过程可以分别从发送和接收两个方向进行说明。发送方向：从网络层发来的数据分组（网络单元）被放入融合缓冲池，AIDA融合功能单元根据设定的融合粒度，将下一跳地址相同的网络单元合并成一个AIDA单元，并递交给MAC层进行传输；融合粒度的确定以及何时调用融合功能则由AIDA融合控制单元决定。接收方向：融合功能单元将MAC层递交上来的AIDA单元拆散为原来的网络层分组传递给网络层；这样做虽然会在一定程度上降低效率，但其目的是为了保证协议层的模块性，并且允许网络层对每个数据分组重新路由。,课程目录,8.1,8.2

27、,无线传感器网络数据管理的基本概念,无线传感器网络数据管理的关键技术,现有传感器网络数据管理系统介绍,8.3,8.4,无线传感器网络数据管理系统DiswareDM,8.3,现有传感器网络数据管理系统介绍,TinyDB系统,8.3.1,Cougar系统,8.3.2,现有无线传感器网络数据管理系统分析,8.3.3,8.3,现有传感器网络数据管理系统介绍,TinyDB系统,8.3.1,一、系统功能,二、查询语言,三、系统组成,8.3,现有传感器网络数据管理系统介绍,TinyDB系统,8.3.1,（1）TinyDB具有一个元数据目录，描述传感器网络的属性，包括传感器读数类型、内部的软/硬件参数等，并提

28、供了丰富的元数据和元数据管理功能，以及一系列管理元数据的命令。（2）TinyDB使用类似于SQL的说明性查询语言，这种说明性的查询语言不需要指明获取数据的具体方法，使得用户容易编写查询请求。（3）TinyDB可以提供有效的网络拓扑管理和图形化拓扑显示功能。（4）TinyDB支持在相同节点集上同时进行多个查询，每个查询都可以具有不同的采样率、访问不同类型的感知属性，多个查询之间可以实现有效共享数据以提高处理效率。,8.3,现有传感器网络数据管理系统介绍,TinyDB系统,8.3.1,二、查询语言,一、系统功能,三、系统组成,8.3,现有传感器网络数据管理系统介绍,TinyDB系统,8.3.1,T

29、inyDB系统的查询语言是基于SQL的查询语言，称为TinySQL。该查询语言支持选择、投影、设定采样频率、分组聚集、用户自定义聚集函数、事件触发、生命周期查询、设定存储点和简单的连接操作。目前TinySQL的功能还比较有限。在WHERE和HAVING子句中只支持简单的比较连接词、字符串比较（如LIKE和SIMILAR），以及对属性列和常量的简单算术运算表达式（+、*、运算），不支持子查询，也不支持布尔操作（OR和NOT）及属性列的重命名（AS语句）。,SELECT select-listFROM sensorsWHERE predicateGROUP BY gb-listHAVING predicateTRIGGAER ACTION command-name（param）EPOCH DURATION time,查询语言的基本语法：,8.3,现有传感器网络数据管理系统介绍,TinyDB系统,8.3.1,三、系统组成,一、系统功能,二、查询语言,8.3,现有传感器网络数据管理系统介绍,TinyDB系统,8.3.1,传感器网络软件 传感器节点目录；查询处理器；存储管理器；网络拓扑管理器。（2）客户端软件 类SQL