物联网数据处理.ppt
《物联网数据处理.ppt》由会员分享，可在线阅读，更多相关《物联网数据处理.ppt（86页珍藏版）》请在冰点文库上搜索。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,1,物联网工程概论,主讲教师王良民MAIL:
熊书明MAIL:
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,2,第五讲内容安排,后台数据库技术数据库概述关系型数据库SQL查询语言资源受限网络的分级数据融合节点的分簇控制簇内数据融合分布式数据存储与处理数据挖掘与海计算数据仓库与数据挖掘技术云计算概述海计算的概念与未来,7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,3,第五讲内容安排,后台数据库技术数据库概述关系型数据库SQL查询语言资源受限网络的分级数据融合节点的分簇控制簇内数据融合分布式数据存储与处理数据挖掘与海计算数据仓库与数据挖掘技术云计算概述海计算的概念与未来,7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,4,物联网数据处理,物联网中的个体通过感应器来感知信息，然后通过中间传输网来传送信息，最后在数据处理中心进行智能处理和控制。
随着物联网技术的广泛应用，我们将面对大量异构的、混杂的、不完整的物联网数据。
在物联网的万千终端收集到这些数据后，如何对它们进行处理、分析和使用成为物联网应用的关键。
本讲对物联网中的后台数据库技术、数据挖掘技术和云计算与海计算技术逐一介绍。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,5,后台数据库技术,数据库是一项专门研究如何科学地组织和存储数据、如何高效地获取和处理数据的技术。
主要内容：
数据库的基本概念关系型数据库SQL查询语言,7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,6,数据库概述,1.数据库相关的基本概念数据（Data）是描述事物的符号记录，数字、文本、声音和图像等都是数据。
数据有多种表现形式，它们都能数字化后存入计算机，数据是数据库中存储的基本对象。
（1）数据库数据库（DataBase，DB）从字面上来看，就是存放数据的仓库，只不过这个仓库是在计算机存储设备上，而且数据是按一定格式存放的。
数据库是指长期存储在计算机内、有组织的、可共享的大量数据的集合。
数据库中的数据按一定的数据模型组织、描述和储存，具有较小的冗余度（redundancy）、较高的数据独立性（independency）和易扩展性（expandability），并可为各种用户共享。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,7,数据库概述,
（2）数据库管理系统数据库管理系统（DataBaseManagementSystem，DBMS）是位于用户与操作系统之间的一层数据管理软件，它允许用户对数据库中的数据进行操作，并将操作结果以某种格式返回给用户。
数据库管理系统和操作系统一样是计算机的基础软件，也是一个大型复杂的软件系统。
数据库管理系统的主要功能如下：
数据定义功能数据组织、存储和管理数据操纵功能数据库的事务管理和运行管理数据库的建立和维护功能其他功能：
通信功能、数据转换功能、异构数据库之间的互访和互操作的功能等。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,8,数据库概述,（3）数据库系统数据库系统（DataBaseSystem，DBS）是指一个采用数据库技术的计算机存储系统。
广义地讲，数据库系统是由计算机硬件、操作系统、数据库管理系统以及在它支持下建立起来的数据库、应用程序、用户和维护人员组成的一个整体。
狭义地讲，数据库系统由数据库、数据库管理系统和用户组成。
需要指出的是，数据库的建立、使用和维护等工作只靠一个DBMS远远不够，还需要专门的人员来完成，这些人员被称为数据库管理员（DataBaseAdministrator，DBA）。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,9,数据库概述,数据库系统：
数据库在计算机系统中的层次结构：
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,10,数据库概述,2.数据管理技术的产生与发展数据库技术是应数据管理任务的需要而产生的，数据管理则是对数据进行分类、组织、编码、存储、检索和维护，它是数据处理的中心问题。
数据处理是指对各种数据进行收集、存储、加工和传播的一系列活动的总和。
在应用需求的推动下和计算机硬件、软件发展的基础上，数据管理技术经历了三个阶段:
人工管理文件系统数据库系统,7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,11,数据库概述,数据库技术从20世纪60年代中期产生到现在仅仅50余年的历史，但其发展速度之快、使用范围之广是其他技术所不及的。
60年代末出现了最早的数据库层次数据库，随后在70年代出现了网状数据库，在此阶段层次数据库和网状数据库占据了商用市场主流。
在70年代同时出现了处于实验阶段的关系数据库，后来，随着计算机硬件性能的改善，关系系统的使用简便，关系数据库系统已逐渐替代了网状数据库和层次数据库，成为当今最流行的商用数据库系统。
20世纪90年代，由于计算机应用的需求，数据库技术与面向对象、网络技术相互渗透，对象数据库技术和网络数据库技术得到了深入研究。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,12,数据库概述,数据库系统中的数据管理结构:
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,13,数据库概述,3.数据库系统的特点数据库是在计算机内按照数据结构来组织、存储和管理大量共享数据的仓库，它可以让各种用户共享，并具有最小冗余度和较高的数据独立性。
DBMS在数据库建立、运用和维护时对数据库进行统一控制，以保证数据的完整性、安全性，并会在多用户同时使用数据库时进行并发控制，在发生故障时对数据库进行恢复。
与人工管理和文件系统相比，数据库系统的特点主要有以下几个方面:
（1）数据结构化,7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,14,数据库概述,
（2）数据的共享性高、冗余度低、易扩充（3）数据独立性高（4）数据由DBMS统一管理和控制,7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,15,关系型数据库,关系数据库（RelationalDataBase,RDB）是基于关系数据模型的数据库系统。
1.关系数据库的研究与发展历程1970年，IBM公司圣何塞研究中心的研究员E.F.Codd（关系数据库之父）发表了著名的论文ARelationalModelofDataforLargeSharedDataBanks（大型共享数据库的关系数据模型），开创了数据库系统的新局面。
Codd提出了关系数据模型的概念，即数据库管理系统应该将数据组织成二维表（也称为关系）的形式呈现给用户。
开发人员使用关系数据模型，而不必关心数据的存储结构，并可以使用高级语言来描述其查询。
这样，可以大大提高数据库应用系统开发人员的工作效率。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,16,关系型数据库,关系数据库模型的主要特点如下：
（1）关系模型的概念单一，实体以及实体之间的联系都用关系来表示；
（2）以关系代数为基础，易于形式化表示；（3）数据独立性强，数据的物理存储和存取路径对用户隐藏；（4）关系数据库语言是非过程化的，这样可以将用户从通过编程一步一步引导查询操作执行的过程中解脱出来，大大降低了用户编程的难度。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,17,关系型数据库,关系数据库的发展历程可以分为三个阶段:
第一阶段从20世纪70年代初期E.F.Codd提出关系模型开始。
这一阶段奠定了关系模型的理论基础，人们研究了关系数据库语言，并开发出了关系数据库管理系统的一些原型。
其中，IBM公司的SystemR和加州大学伯克利分校的Ingres等为这一时期的代表。
第二阶段从20世纪70年代后期开始，是关系数据库的应用阶段。
这一时期从理论上解决了诸如查询优化、并发控制、完整性机制和故障恢复等一系列重大技术问题，从而使得关系数据库走向实用化和商业化。
在这期间，出现了比较典型的商业关系数据库管理系统如Oracle、DB2和Informix等。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,18,关系型数据库,第三阶段从20世纪80年代开始，自那时以来，分布式关系数据库系统成为数据库研究的重点，并且日趋成熟。
目前，几乎所有主流的DBMS产品都支持分布式。
这个时期的代表产品有Oracle、Informix、DB2和SQLServer等。
2.关系数据库的基本概念
（1）关系数据结构关系模型的数据结构非常简单，只包含单一的数据结构:
关系（relation）。
它为人们提供了一种二维表的方法来描述数据，关系模型的中心概念为关系，一个关系由模式和模式的实例两部分构成。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,19,关系型数据库,关系实例关系实例就是指由行和列组成的表，一般人们就用“关系”来代表关系实例。
属性关系表中的列称为属性，其中表的第一行是属性名，其余各行是相应的属性值。
域域是一组具有相同数据类型的值的集合。
关系表中属性的取值范围就称为域。
例如，属性“性别”的域为“男”和“女”两个值。
元组关系表中的行称为元组或记录。
一般地，任意两个元组不能完全相同。
所有元组的集合就是关系表本身。
分量元组中的每一个属性的值称为元组的一个分量。
例如，元组（001，张三，男，18，IS）有5个分量，对应“所在系”的分量是“IS”。
对于同一属性，分量应该是同一类型的数据，即来自同一个域，且每一个分量都必须是不可再分的数据项。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,20,关系型数据库,候选码如果关系中的某一属性组的值能唯一地标识一个元组，则称该属性为候选码。
一个关系可以有多个候选码。
在最简单的情况下，候选码只包含一个属性。
而在极端情况下，所有属性都是候选码，此时称为全码。
主码当一个关系中有多个候选码时，则从中选择一个候选码作为主码。
对于一个关系，只能有一个主码。
主码是能辨识记录的最小属性组。
例如，对于关系“学生”中学生ID可以作为主码。
主属性和非主属性包含在候选码中的属性称为主属性，其它的为非主属性。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,21,关系型数据库,关系模式关系名和其属性集合的组合称为关系模式。
设关系名为R，其属性分别为a1、a2和a3，则关系模式可以表示为R（a1，a2，a3）。
学生的关系模式可表示为：
学生（学生ID，姓名，性别，年龄，所在系）。
关系模式只是对数据特性的描述，因此，可以将关系模式理解为一个数据类型。
这样，关系实例就是一个具体的值。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,22,关系型数据库,
（2）关系操作关系模型给出了关系操作能力的说明，但不对RDBMS语言给出具体的语法要求，也就是说不同的RDBMS可以定义和开发不同的语言来实现这些操作。
关系模型中常用的关系操作有查询（Query）操作和插入（Insert）、删除（Delete）及修改（Update）操作两大类。
关系的查询表达能力很强，是关系操作中最主要的部分。
查询操作又可以分为并（Union）、差（Except）、交（Intersection）、笛卡尔积（CartesianProduct）、投影（Project）、选择（Select）、连接（Join）和除（Divide）等。
关系操作的特点是集合操作方式，即操作的对象和结果都是集合，这种操作方式也称为一次一集合（set-at-time）方式。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,23,关系型数据库,并（Union）关系R与关系S各有n个属性，且相应的属性值取自同一个域（以下均为此条件），则关系R与关系S的并记作RUS=t|tRtS，其结果仍为n个属性，由属于R或属于S的元组组成。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,24,SQL查询语言,结构化查询语言（StructuredQueryLanguage,SQL）是关系数据库的标准语言，它具有通用、功能性强等优点，而且它的功能不仅仅局限于查询。
目前，几乎所有的关系数据库管理系统软件都支持SQL，有许多厂商对SQL基本命令进行了不同程度的改善与扩充。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,25,关系型数据库,1.SQL语言的发展历史在20世纪70年代初，E.F.Codd首先提出了关系模型。
到了70年代中期，IBM公司在研制SYSTEMR关系数据管理系统时，研究设计了SQL语言。
最早的SQL语言公布在1976年11月的IBMJournalofR&D上。
1979年，Oracle公司首先提供商用的SQL语言，同时，IBM公司在DB2和SQL/DS数据库系统中也实现了SQL。
1986年10月，美国ANSI组织采用SQL作为关系数据库管理系统的标准语言，后被国际标准化组织（ISO）采纳为国际标准。
在1999年发布的SQL99标准中，增加了面向对象的功能，随后，SQL标准不断改进，比如，SQL2003版支持XML、Window函数和Merge语句等，SQL2006版增强了XML对数据处理的能力，SQL2008增加了数据集成功能、改进了分析服务、集成了Office等。
SQL语言简单易学、功能丰富，深受用户及业界的欢迎与推崇。
当前主流的数据库管理系统，如Oracle、MySQL、SQLserver等，都是基于SQL语言的。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,26,关系型数据库,2.SQL语言的主要特点SQL是一个关系数据库语言，它的操作对象是以表的形式存放在关系数据库系统中的数据。
SQL语言虽然名为“语言”，但其本身并不是一个完整的编程语言，比如，它不支持程序的流程控制等，SQL语言需要和其他编程语言结合起来用。
SQL语言主要特点如下。
综合统一高度非过程化当面向过程化语言需要进行某项操作（例如，查询）时，必须指定存取路径。
而对于SQL语言，用户只需提出“做什么”，而不必指明“怎么做”，也就是说，用户无需了解存取路径，SQL语句的执行过程由系统自动完成。
这种操作方式不仅大大减轻了用户负担，而且有利于提高数据的独立性。
面向集合的操作方式SQL采用集合操作方式，不仅操作对象和查询结果都是记录的集合，而且插入、删除及更新操作的对象也可以是记录的集合。
以同一种语法结构提供两种使用方式SQL既是独立的语言，又是嵌入式语言。
在两种不同的使用方式下，SQL的语法结构基本上是一致的。
语言简洁，易学易用,7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,27,关系型数据库,3.SQL的基本概念支持SQL的关系数据库管理系统都支持数据库的三级模式（Schema）结构，该结构如下所示:
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,28,关系型数据库,4.SQL的操作关系数据库系统支持模式、外模式和内模式的三级模式结构，它们操作的基本对象包括表（TABLE）、视图（VIEW）和索引（INDEX）。
因此，SQL的数据定义功能包括模式定义、表定义、视图和索引定义。
与表和视图相关的一些SQL操作如下。
（1）建立表SQL中使用CREATETABLE语句来定义表。
一种简化的定义格式如下：
CREATETABLE（,）；,7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,29,关系型数据库,【例6.7】利用SQL语言建立学生表Student（Sno,Sname,Ssex,Sage,Sdept）完成上述要求的SQL语句如下：
CREATETABLEStudent（SnoCHAR（8）,SnameCHAR（20）,SsexCHAR
（2）,SageINT,SdeptCHAR（20）;,7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,30,关系型数据库,
（2）建立视图（3）数据查询SQL的查询功能是SQL数据库的核心操作，它提供了SELECT语句进行数据库查询，该语句使用方式灵活、功能丰富。
SELECT语句的格式如下：
SELECTALL|DISTINCTFROMWHEREGRROUPBYHAVINGORDERBYASC|DESC；【例6.10】查询所有计算机系（CS）和数学系（MA）学生的姓名和性别。
SELECTSname,SsexFROMStudentWHERESdeptIN（CS,MA）;,7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,31,第五讲内容安排,后台数据库技术数据库概述关系型数据库SQL查询语言资源受限网络的分级数据融合节点的分簇控制簇内数据融合分布式数据存储与处理数据挖掘与海计算数据仓库与数据挖掘技术云计算概述海计算的概念与未来,7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,32,资源受限网络的分级数据融合,无线传感器网络是一种资源受限的网络，节点仅提供有限的计算能力、通信能力和供电能力，而且，在这种网络中节点过多、分布较广。
传感器网络可以根据节点间距离的远近划分成簇（Clustering），而基于簇的分层结构具有天然的分布式处理能力，这样可以提高受限网络的资源利用率和数据处理的效率。
下面主要介绍WSN中的节点分簇控制、簇内数据融合及分布式数据存储与处理。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,33,节点的分簇控制,1.分簇的网络结构随着无线传感器网络自组网规模的扩大，节点链路处理开销不断加大，网络对事件的响应速度变慢，可以通过传感器网络的节点分簇控制机制来解决这些问题。
分簇是指将传感器网络中一定区域内的节点组成称为簇（cluster）的控制单元，每个簇成员（clustermember）都把自己感知的数据传输给簇头（clusterhead）。
簇头是一个分布式处理中心，即无线传感器网络中的一个汇聚节点（sinknode），簇头作为小规模范围内的节点控制者，它负责收集和协调簇内节点监测到的数据，再传输给基站（base-station）。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,34,节点的分簇控制,传感器网络典型的两级分簇结构：
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,35,节点的分簇控制,传感器网络是由多个簇构成，每个簇包括簇头和成员两种类型的节点。
处在同一簇内的簇头和成员节点共同维护所在簇的路由信息，簇头节点负责所管辖簇内数据信息的压缩和融合处理，并与基站交换信息。
这种两级分簇结构适用于小规模传感器网络，如果网络规模较大，需要在多个簇头节点之间转发（forward）消息，最终把数据传输到基站，这时涉及到传感器网络的路由（routing）问题，即按照什么规则寻找下一跳节点。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,36,节点的分簇控制,2.节点分簇控制的优点采用层次结构后，簇内成员节点只需要与所属簇的簇头通信，而簇头只需要和其它簇头交换路由信息，因此，可以降低传感器网络路由协议的复杂度，减少节点路由表项的数目，同时，路由维护开销也随之降低且具有较好的可扩展性，更加适合于大规模WSN的应用场景。
在满足一定约束条件下，例如，覆盖范围与采样精度要求等，簇内成员节点可以在某些时间段内关闭无线通信模块，从而大幅度减少节点空闲等待时的能量消耗。
在一个簇内部，簇内成员节点采集到的数据通常具有较大的相关性，因此，在簇头节点上可以采用数据融合算法，在保证一定信息质量的情况下减少数据通信量，可以降低数据转发的能量开销。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,37,节点的分簇控制,3.典型分簇控制算法根据不同的分类标准，分簇控制算法可以有多种分类方法。
以簇形成是否存在集中控制，可划分为集中式、分布式算法。
以是否需要预先获得节点位置信息，可划分为基于地理位置、不基于地理位置的算法。
以每次分簇是否存在一个确定的结果，可划分为确定性和随机性分簇算法等。
在这些算法中，LEACH是分布式、无需地理位置的随机分簇控制算法。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,38,节点的分簇控制,典型分簇控制算法LEACHLEACH（Low-EnergyAdaptiveClusteringHierarchy）是无线传感器网络中最早提出的且具有代表性的分簇算法，它使用随机轮转在传感器节点间平均分配能量负载。
该算法工作的假设条件是传感器网络中的节点发射功率足够大，任何节点都可以一跳到达基站，所有节点在网内的地位是一样的。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,39,节点的分簇控制,LEACH算法把时间分成很多轮（round），轮的周期固定，每轮从簇建立阶段开始，这个阶段形成簇，其后是稳定工作阶段，这个阶段传输数据到基站。
一定时间后进入下一轮重新开始前面分簇、数据传输的工作。
LEACH算法的工作过程：
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,40,节点的分簇控制,LEACH算法在一轮中的工作大致分为两步：
成簇阶段和数据传输阶段。
（1）成簇阶段当需要建立簇时，每个节点自组织地决定在当前轮中自己是否成为簇头，这个决定基于传感器网络预设的簇头比例（该值预先确定）和当前轮数。
节点n通过产生一个在0和1之间的随机数来做决定，如果这个数小于阀值T（n），该节点成为这一轮的其中一个簇头，阀值T（n）如下所示：
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,41,节点的分簇控制,其中，P：
预先确定的簇头占总节点数的比值，比如，可取值0.05；r：
当前轮数；G：
在过去的r-1轮中尚未当选簇头的节点集合。
每个自我选举成为当前轮的簇头的节点广播公告信息给其余节点，在广播“簇头公告信息”时，簇头使用CSMAMAC协议，并且所有簇头节点用同样的发射能量发送它们各自的公告信息。
在这段时间，非簇头节点必须打开接收设备，收听所有簇头节点的公告，这段时间过后，每个非簇头节点根据收到的公告的信号强弱，决定这一轮加入哪个簇。
在通信链路对称的情况下，普通节点以收到的簇头公告的信号最强的簇头为自己所加入簇的簇头，此时，仅需最少的发送能量就能与该簇头通信。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,42,节点的分簇控制,在每个节点决定加入选定的簇后，它必须通知对应的簇头节点将其设置为簇内成员，每个节点同样用CSMAMAC协议把这个信息发回给簇头，在这段时间，所有簇头节点必须打开接收设备。
簇头节点接收到所有想加入该簇的节点消息后，簇头节点基于簇内节点的数量建立TDMA调度方案，告诉每个簇内节点什么时候可以发送消息，这个调度信息被广播给簇内节点。
至此，成簇阶段结束。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,43,节点的分簇控制,LEACH协议某两轮成簇的网络结构。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,44,节点的分簇控制,
（2）数据传输阶段在数据传输阶段，簇内成员节点根据分配给自己的TDMA时间片向簇头发送自己的感知数据，而在其他时刻可以进入休眠状态，从而节省能量。
为了避免相邻簇内节点的通信干扰，各个簇之间都采用不同的CDMA码片。
当簇头节点接收到数据后，进行簇内数据融合等处理，再把数据以CSMA/CA方式传输给基站。
7/12/20239:
28AM,江苏大学计算机科学与通信工程学院,45,节点的分簇控制,4.基于分簇的无线传感器网络应用系
升级会员 