智能交通系统交通流数据质量检测Word下载.docx
《智能交通系统交通流数据质量检测Word下载.docx》由会员分享，可在线阅读，更多相关《智能交通系统交通流数据质量检测Word下载.docx（35页珍藏版）》请在冰点文库上搜索。
1绪论
1.1本课题研究背景
解决交通问题的传统方法是修建道路，但无论是哪个国家，对于越来越复杂的交通大系统，单独从车辆或道路方面考虑，都很难完美地解决交通问题。
另一方面，信息技术的飞速进步为综合解决交通问题带来了机遇。
在此背景下，把车辆、道路及环境综合起来，系统地解决交通问题的思想便产生了，这就是智能交通系统（ITS）。
智能交通系统中采集的交通流数据中承载着众多交通信息，通过对交通流数据进行分析，发掘数据中存在的有用信息。
面对智能交通系统海量的交通流数据，在数据采集或数据传输中由于技术原因或设备原因造成数据故障，使得数据质量下降、可信度降低，因此需要对智能交通系统交通流数据质量展开研究，通过数据检测和修正，提高智能交通系统交通流数据质量。
并且随着数据采集技术的提高，目前交通流数据采集设备采样周期越来越短，并且智能交通安全管理系统对交通流数据更新时间也越来越精确。
在实际交通管理过程中，采集到的原始交通流数据利用率欠佳，美国得克萨斯州的每5分钟时间间隔交通流采样数据样本中将近约20%的实时交通数据不能得到有效归档利用。
实时的交通流数据信息为交通安全管理与控制提供正确的交通信息，并为下一个采样周期内交通安全控制策略提供可靠依据，正确的高效的智能交通安全控制策略又为实时交通提供准确及时的诱导方案。
1.2本课题研究意义
智能交通系统在欧洲也称道路交通信息通讯系统,是基于系统工程、电子、通信、信息等多种高新技术,并已渗透到航空、水运、铁路交通领域的新型交通系统.ITS的建立可以提高路网通行能力和服务水平,改善环保质量,提高能源利用率.“国家中长期科学与技术发展规划纲要（2006-2020）”中明确提出“发展一个系统，解决三个热点问题”。
其中，一个系统就是综合运输系统，三个热点问题就是交通能源和环境、交通安全和大城市交通拥堵问题。
随着智能交通系统交通流数据应用研究的深入，采集的交通流数据的质量逐渐受到重视和关注，对智能交通系统交通流数据进行质量检测是提高交通流数据质量和数据可信度的关键，因此针对智能交通系统交通流数据质量检测算法展开相应研究有利于提高智能交通系统的服务效率和服务水平。
智能交通系统（ITS）是交通发展的必然趋势，利用交通检测器获取海量信息，经过有效处理进行信息发布。
但在智能交通系统（ITS）交通流数据采集或数据传输中，由于技术原因或设备原因造成的丢失数据、故障数据或时间点不规则等数据质量问题，若直接采用具有质量问题的交通流数据进行交通研究，将会为应用带来不稳定或不安全的隐患。
通过研究智能交通系统交通流数据质量检测算法，促使交通流数据质量得到有效控制，可以为智能公共信息平台所提供的交通数据查询子系统提供高质量的数据支持服务，可以提高智能交通系统交通信息服务平台发布数据的精度，可以为用户提供高质量的实时交通流数据从而提供快速高效的交通决策等。
因此关于智能交通系统交通流数据质量检测算法研究预期成果的应用前景良好，交通流数据质量控制可以给智能交通系统提供有力的数据质量保障和较高的数据运行效率，预期成果所带来的效益表现为提高道路通行能力和道路服务水平，有利于缓解城市交通拥堵和促进道路交通安全。
1.3国内外研究现状
对动态交通系统所采集到的数据进行研究之前，首先要对数据进行记录检查，找出负值或缺损数据，然后除去这些记录。
宏观交通数据的筛选主要分为两类：
阈值检查和基于交通流理论的检查，以保证数据的有效性完备性等质量指标。
目前应用最普遍的检查就是通过阈值确定数据的有效性，另外，通过应用交通流理论中交通流参数之间的关系，可以进行进一步更复杂、更深入的数据筛选。
国外自从HawkinsD给异常数据本质定义之后，数据检测算法研究慢慢受到关注，先后由Rousseeuw和Ruts提出了基于深度算法、Clifford和Berndt提出了基于统计算法、Ng和Knorr进行了基于距离算法研究、Kriegel和Breuning基于密度算法研究还有Aggarwal和Yu提出对于高维数据进行降低维数异常检测思路等。
CliffordJ和BerndtJ.D将统计学运用到数据异常数据检测；
Ruts和Rousseeuw将空间映射运用到层次划分从而提出了基于深度的数据检测算法；
Breuning和Kriegel将数据聚类算法与数据检测算法相结合，对基于距离检测算法进行改进，赋予了每个数据相应局部异常因子来反映数据异常程度，提出了基于密度检测算法；
Knorr和Ng应用聚类划分提出了基于距离的数据检测算法，采用设定阈值对数据进行检测，通过各个数据点对应相应聚类中心距离来实现数据检测功能；
Aggarwal和Yu提出了针对高维数据进行降低维数处理，通过降低维数来实现数据检测算法。
将高维数据映射到低维子空间，并根据子空间的映射数据稀疏程序来判断是否存在异常数据。
我国在ITS领域的研究起步较晚，但随着全球范围智能交通系统研究的兴起，进入20世纪90年代，我国明显加快了对智能交通技术研究的步伐。
70年代中期至80年代初，理论研究重点围绕交通流理论、交通工程学、城市路口自动控制数学模型等工作展开，技术开发包括点、线、面控计算机软件、北京前三门交通控制试验系统、天津线控、面控试验系统、信号机、检测器的开发等。
80年代中期至90年代初，公路系统的ITS理论研究主要有高速公路监控系统数据模型、交通堵塞自动判断模型、标志和标线视认性研究，驾驶心理研究等；
开发应用包括天津疏港公路交通工程技术研究（通信、监控、安全设施），可变情报板、可变限速标志、通信适配器、通信控制器、紧急电话的研制，广佛高速公路监控系统、交通和气象数据采集设备的研制、电子收费系统和不停车收费的试验，以及交通工程CAD等。
1.4本课题研究内容
随着智能交通系统交通流数据应用研究的深入，交通流数据质量逐渐受到重视和关注，对交通流数据进行故障数据检测是提高数据质量的关键。
尤其是交通流各指标值违背交通流指标特性关系而造成的不合理的错误数据，得不到充分检测。
本课题在综合学习相关学者关于交通流数据质量检测研究成果基础上，针对智能交通系统交通流特性，综合考虑交通流特性，对历史交通流数据进行聚类，并根据聚类结果进行运算，通过交通流量-速度-时间占有率曲线拟合，实现智能交通系统交通流数据检测。
对于实时交通流数据进行质量检测，包括不规则时间点、丢失数据和故障数据.针对不规则时间点检测，采用原始交通流数据样本中的时间值与正常情况下的采集时间点相对比，通过比较容许时间偏差范围进行不规则时间点检测；
针对丢失数据检测，采用交通流数据指标进行判断，通过比较交通流数据各指标参数阈值范围，进行交通流丢失数据检测；
故障数据检测，指针对各项指标均在阈值范围内，但不符合交通流数据特性的故障数据，综合考虑交通流特性，对历史交通流数据按照聚类结果进行交通流量-速度-时间占有率曲线拟合；
确定不规则时间点检测算法和丢失数据检测算法；
提出故障数据检测算法；
提高智能交通系统实时交通流数据质量。
2交通流特性的相关研究
2.1交通流的概念
交通流是指道路上的人、车、货从甲地到乙地的流动形态，其分类如图2一1所示。
没有特指的交通流一般指机动车流。
2.2交通流的基本参数
交通流运行状态的定性、定量特征称为交通流特性，用以描述交通流特性的一些物理量称为交通流参数，参数的变化反映了交通流的基本性质。
表征交通流特性的三个基本参数分别是:
交通流量、速度和密集度。
2.2.1交通流量
交通流量是指在单位时间内，通过道路某一点、某一断面或某一条车道的交通实体数（对于机动车而言就是车辆数）。
流量可以通过调查车头时距获得。
车头时距H:
指同一地点车辆经过的时间间距。
如图2-2所示，交通量q可以表示为平均车头时距万的倒数:
q=
（2-1）
图2-2车辆行驶轨迹的时空图
2.2.2平均速度
一般分为地点速度和平均速度。
地点速度就是平常所说的瞬时速度，即速度仪表上某时刻的显示速度。
在交通分析中，一般采用的平均速度v
，即观测时间内通过道路某断面的所有车辆速度的算术平均值:
v
=
（2-2）
2.2.3密集度
密集度，包括占有率和密度两种含义。
密度是表示交通流拥挤状态的恰当指标，它是指一定长度的车道内拥有的车辆数，因此观测困难，在交通控制与管理中，多采用时间占有率
作为参数。
2.3交通流特性
通过特长高速公路隧道各段的数据采集设备获得通过该检测点某个采集时间间隔内的交通流量、交通速度、交通密度、车头时距、以及时间占有率等特征指标，在进行交通流特性分析时，采用交通流量、交通速度以及交通密度三项指标进行分析。
由于交通系统中的主要元素车辆和人到达的随机性，这些变量组成的交通流必然也是随机的，也就是说交通量、速度、占有率三大参数也是随机变量。
当道路通畅，交通流平稳均匀时，由交通流量
-交通密度
-交通速度
三项指标得到交通流基本模型，如式（2-3）所示。
（2-3）
取某特长高速公路隧道交通流实测数据样本，共816组，密度
采用实测时间占有率
代替，速度
-时间占有率
-交通流量
实际交通流数据分布如图2-3所示。
图2-3实测交通流v-o-q分布
2.3.1速度-密度（u-k）模型
在u-k模型中，每个密度值都对应唯一的速度值，多用于理论研究。
q—k模型和q-u模型则不是。
由于流量与密度、速度之间存在密切的相互影响关系，一旦知道了密度和速度，就可以计算出流量。
1934年，Greenshields从航拍照片中获得了速度和密度的数据，据此提出了第一个线性模型；
而后，Greenberg认为非线性模型更适合描述交通流的关系，于1959年提出了对数模型，Underwood关注畅通状态的交通流，提出了指数模型，分别描述了大密度和小密度状态下的速度－密度关系；
后来，有关研究者提出了u-k关系的S型曲线模型，用一组单段式曲线族来描述u-k关系，Drew在Greenshields模型的基础上引入了另外一个参数，得到了一个通用模型；
Pipes-Munjal提出了与Drew类似但是更加一般化的通用模型；
Edie和Dick则考虑在不同流量下各模型的适用性的基础上，提出多段式组合模型。
具体模型见图2-4所示。
图2-4速度—密度关系图
由于密度数据很难直接采集，而本文主要数据来源于快速路路面铺设环形线圈，可以直接得到占有率的数据。
占有率直接反映了交通密度的高低，更能表明道路被实际占用的情况，因此多通过占有率来反映密度特征，同时本文研究u-o模型来替代u-k模型。
根据对NX03检测断面的检测数据进行统计分析，并尽量用一个函数来描述其关系。
u-o散点关系图和拟合曲线见图2-5。
图2-5速度－占有率散点关系图及拟合曲线
曲线拟合的具体结果见表2-1。
从图2-5和表2-1中的具体拟合判决系数2R来看，曲线的拟合程度还是比较高的，而且2R除了对数拟合模型之外，都达到了0.95左右，而对数模型也达到了0.85以上。
表2—1速度－占有率关系的模型回归
2.3.2速度－流量（u-q）模型
速度和流量数据容易直接采集，因此国内外对速度－流量关系的研究也比较多。
速度－流量模型通常用于评价交通运行状况、估算服务水平。
最早且经典的速度－流量模型是Greenshields的抛物线模型，其表达式为：
。
它是在u-k线性模型的基础上得到的，基本反映了速度和流量的变化趋势，多年来一直被广泛采用。
然而H.B.James、F.L.Ha和H.C.Chin的研究结果表明：
根据实际数据来研究u-q关系，u-q曲线应该分为三段：
第一段表示畅通状况，第二段表示排队后消散过程，第三段表示拥堵（伴随有排队）状况；
交通流在畅通状态和拥挤状态之间过渡时并不一定要经过通行能力，交通状态可以从畅通直接跳到拥挤的状态。
给出的u-q关系如图2-6所示，这种曲线并不是某一种函数式，而是从大量的实测数据中分析出的结果。
图2-6速度－流量曲线模
考察研究对象NX03断面的实际数据，与速度－密度关系的分析方法类似的，对速度－流量散点图进行拟合。
由于速度－流量关系种没有密度参数，本文采取小密度状态，即自由流中的最大流量来划分速度－流量数据群，自由流的速度为89.42km/h,如图2-7所示：
图2-7速度－流量散点图及其二次多项式回归
从图2-7中，可以看到速度－流量关系的曲线拟合程度还是相当高的，判决系数2R达到了0.8854。
从散点图来看，可以对交通流状态进行一个初步判断：
速度－流量数据大多主要集中在等待部分，即阻塞状态；
在自由流状态的数据相对较少，主要集中在小密度状态下；
而阻塞与自由流之间的过渡过程，即等待队列消散的过程的数据最少。
2.3.3流量－密度（q-k）模型
早期的通行能力研究，主要遵循两个途径：
一是探讨交通密度小时的速度—流量关系式；
二是探讨交通密度大时的车头时距规律。
而流量—密度模型把这两种途径同一起来。
并且流量—密度模型在交通控制中也有重要的作用，常把密度作为控制参数，流量作为目标函数对快速路进行控制，所以经常把q-k曲线称为“交通基本图表”。
Greenshields、Greenburg、Underwood根据基本的u-k模型推导了各自的q-k模型；
此外，Koshi提出了反λ模型，Hall提出了倒V模型。
此外，与多段式u-k模型对应，一些学者还提出了不连续的q-k曲线模型如图2-8所示：
图2-8流量－密度关系模
由于密度数据难以获得，Aothl（1965）建议使用q-o关系确定拥挤的发生。
根据实地采集的数据所作的q-o散点图以及拟合曲线如图2-9，可以看到，流量－占有率的二次多项式拟合曲线的判决系数2R高达0.9864，拟合程度相当高。
图2-9流量－占有率散点图及二次多项式回归拟
2.4数据模型概述
近些年来，随着科学技术的不断进步，人们收集处理数据的方式发生了巨大的变化。
一方面，在很多应用中出现了数据流，其广泛存在于网络监控、日志分析、传感器网络、金融预测等领域中，数据流数据规模庞大、到达速率极快、且每个数据只能够被访问一次，这些与传统数据模型截然不同的特征给数据的查询和管理工作提出了新的要求;
另一方面，随着数据采集技术的进步，人们对数据不确定性的认识也逐步深入，在诸如经济、军事、物流、金融、电信等领域的具体应用中，数据的不确定性普遍存在，不确定性数据的表现形式多种多样，它们以关系型数据、半结构化数据、流数据或移动对象数据等形式出现，这同样给数据的进一步处理工作带来了新的挑战。
2.4.1数据流研究背景
有关数据流（dataStream）的聚类分析与异常检测是目前国际数据库领域的一个研究热点。
自上个世纪末以来，随着计算机技术在诸如网络流量监控、金融信息处理、Web访问和传感器网络等领域应用的普及和深入，传统数据库技术面临新的挑战。
数据流应用场景中所处理的数据通常具有如下特点:
1.数据都是实时到达的。
2.数据到达的次序往往是独立的，不受系统所控制。
3.数据流的速度和规模大小不是预知的，也就是说往往不能够对其速度和规模进行预定义。
4.数据一经处理，除非特意保存，否则不能够被再次取出处理，或者再次提取数据代价昂贵。
尽管主要的数据流处理模型与传统数据库技术息息相关，但是两者仍然存在诸多差异。
例如，如果利用传统技术进行数据处理，必须将数据全部存储到介质（如关系数据库）中，然后通过相应的算法来寻求挖掘结果。
但是，当数据规模宏大且到达速度很快时，因执行查询操作需要大量的I/O交换，效率低下，往往难以满足实时性要求。
此时，数据流处理技术的解决策略是:
不保存整个数据集，仅维护一个远小于其规模的概要数据结构，该概要数据结构能够常驻内存。
此时数据流挖掘算法将包含两部分:
一部分监控流中的数据，实时更新概要数据结构;
另一部分响应用户查询或挖掘处理请求，返回近似查询结果。
一般来说，想直接应用传统的OLAP或数据挖掘算法到高速，大流量的数据流场景中往往是行不通的，其主要原因表现在如下几个方面:
1.数据流中的数据是海量的，无法通过内存，甚至硬盘来存储整个流数据。
2.由
升级会员 