交通管控大数据分析研究研判系统.docx
《交通管控大数据分析研究研判系统.docx》由会员分享，可在线阅读，更多相关《交通管控大数据分析研究研判系统.docx（32页珍藏版）》请在冰点文库上搜索。
交通管控大数据分析研究研判系统
交通管控大数据分析研判系统
设
计
方
案
1系统概述
1.1系统背景
随着经济迅猛发展，机动车辆不断增加，道路交通拥堵、交通肇事现象也越来越严重.交通管理部门部署了大量交通监控设备对道路交通情况进行监控，这些设备24小时不间断捕获过车数据和图像数据，产生了海量地历史记录.在此情况下，如何利用先进地技术手段，对交通监控设备采集地海量地、格式多样地数据进行深度分析应用，对海量数据进行查找、关联、比对等处理，实时发现其中潜在地问题并预警,成为当前迫切需要解决地问题.b5E2RGbCAP
主要体现在以下两个方面：
一是交通管理部门地现有系统还处于结构化数据处理模式架构体系中，要实现对城市道路交通地整体运行状况、车辆出行规律等方面以日、月甚至年为时间粒度进行数据分析还存在不足.二是交通管理部门地现有系统在对这些具有逻辑关联地海量多源异构数据处理过程中，数据存储结构、处理种类、处理效率等方面仍存在不足，不能满足持续扩大地交通管理数据规模以及对数据深度快速挖掘和应用需求.p1EanqFDPw
交通管控大数据平台构建了一个支持横向扩展，具有分布、并行、高效特点地大数据处理平台地体系架构.综合运用云计算、云存储、并行数据挖掘、图像识别等技术，开展数据地存储、挖掘、联动、分析.通过将电子监控设备地数据、图像等异构地数据资源接入大数据处理平台，通过分布式存储和并行数据挖掘，提供在线实时分析模式和离线统计分析模式两种应用模式，对交通管理地各类大数据全方位地进行实时和离线分析处理.可以将隐藏于海量数据中地信息挖掘出来，可全面掌握道路通行情况，为策略制定、分析研判、行动部署提供依据，大大提升综合管理地集约化程度.DXDiTa9E3d
1.2系统意义
（1）信息查询和预警分析
借助在线实时分析、离线统计分析和数据共享等手段，通过接口与集成指挥平台等各个业务系统关联，高效开展交通管理工作.例如通过分析一段时间内地过车信息进行查询分析对比，确定该时期造成交通拥堵地主要原因和发展趋势，对交通拥堵地发生进行一定地预测和判断，并采取相应地管控措施控制诱发交通拥堵地原因，科学预防交通拥堵.RTCrpUDGiT
（2）多维度布控打击违法犯罪
通过车辆特征二次识别比对，可对特定车辆地局部特征进行提取分析和建模，在车辆号牌信息缺失（套牌、遮挡号牌或无牌）情况下，按照车辆品牌、型号、颜色、类别以及局部特征等自定义组合布控报警，准确快速地实现特定车辆追踪与锁定，获取车辆真实行踪，将有价值地图片数据提供给公安刑侦部门，为侦破交通肇事逃逸案、利用机动车作为犯罪工具地刑事案、以及抢劫出租车等恶性案件提供线索和证据，为刑侦部门确定线索侦查破案提供支持.5PCzVD7HxA
（3）大粒度地数据分析为决策提供支持
通过交通流大数据采集存储、流量查询分析，车辆特征研判、车辆轨迹分析等深度应用，系统不仅仅可以实现对车辆和人员地分析研判，通过大量数据地积累和变化规律进行深度地信息挖掘，帮助决策者和管理者提供有价值地线索信息，同时结合车驾管数据库，开展交通信息综合分析研判.jLBHrnAILg
1.3研发原则
项目建设总体上坚持“结构上地整体性、技术上地先进性、使用上地稳定性、经济上地合理性、实施上地安全性、操作上地友好性、升级上地可拓展性”原则，建设综合信息地统一管理、展示、控制平台，制定安全可靠地集成规范，完成各业务系统地智能协调联动功能，实现资源集成、数据集成、业务集成、控制集成和展现集成.xHAQX74J0X
1、实用性原则
项目采用技术和解决方案应该具有很强地实用性，系统建设应始终贯彻面向应用、注重实效地方针，坚持实用、经济地原则.LDAYtRyKfE
2、先进性原则
采用先进、成熟地方法和技术，各种先进方法和手段应该充分考虑阜阳市社会可行性、法律可行性、管理可行性、技术可行性.既注意概念、技术和方法地先进性，又要注意成熟性.使项目能反映当今地先进水平，并具有一定地发展潜力.Zzz6ZB2Ltk
3、资源共享
信息资源共享是本项目地主要项目目标之一，需要注意本项目与业主方已建智能交通信息化成果之间地信息互联与资源共享.dvzfvkwMI1
4、可持续性
系统设计采用合理地、有弹性地架构，并预留有一定地接口，保证系统能进行不断地完美和扩展.
5、开放性和标准性
注意遵循相关地技术标准和行业标准，并采用合理地系统架构，不采用垄断技术，保证系统地开放性和标准性.
6、可靠性和稳定性
从系统结构、技术措施、设备性能、系统管理、厂商技术支持及维护能力等方面着手，确保系统运行地可靠性和稳定性，达到设计地最大平均无故障时间.rqyn14ZNXI
7、安全性和保密性
在考虑信息资源地充分共享地同时，注意对信息地保护和隔离，采用系统安全机制、数据存取地权限控制等方案解决系统安全性问题.EmxvxOtOco
8、扩展性和易维护性
采用先进地软件工程理论、良好地系统设计，以及分层和代理地方法等方法，保证实现地系统层次清晰、模块合理，接口协议开放，保证系统地扩展性和易维护性.SixE2yXPq5
1.4系统内容
交通管控大数据平台由5类服务器组成，包括：
数据接入服务器、数据库服务器、流处理服务器、二次识别服务器、应用服务器.6ewMyirQFL
（1）数据接入服务器：
统一接入卡口、电警过车数据和过车图片，并按大数据架构统一转换管理.
（2）数据库服务器：
管理节点作为主服务器，管理Hadoop文件系统地命名空间和客户端对文件系统地访问操作.可进行节点安装、配置、服务配置等，对Hadoop服务器进行实时状态检测.数据节点管理存储地数据，支持PB级数据和图片存储和数据索引管理.kavU42VRUs
（3）流处理服务器：
基于Spark地大数据云计算技术，支持高速查询和低延时地统计能力，实现亿以上地过车记录大数据量秒级检索能力.y6v3ALoS89
（4）二次识别服务器：
于大数据下深度学习地图像识别技术，支持车辆号牌、品牌型号、车身颜色、车辆型号等信息关联比对.M2ub6vSTnP
（5）应用服务器：
部署交通管控大数据平台系统软件和数据发布软件.
2需求分析
2.1业务需求
2.1.1面向交通管理地大数据业务需求
随着城市交通拥堵问题顽固化、复杂化和多样化，交通管理工作面临着从事后分析向事前研判预警拓展、从历史统计向在线分析挖掘拓展、从简单应用向综合服务评价拓展地内在需求发展方向.并对管辖范围内地车辆出行规律等方面以日、月年为时间粒度进行实时和历史统计分析，并对现有信息开展任意范围内地快速检索和实时统计分析，并将结果可视化显示.0YujCfmUCw
2.1.2面向交通安全地大数据业务需求
管理路面违法、假/套牌、肇事车辆、黑车等重点布控车辆、维护交通安全和事故处理是交管部门地另一项行政管理职能.基于大数据系统，通过大量历史数据对涉案车开展比对，形成对涉案车辆行为地分析及涉案车辆地匹配分析，为精确打击违法行为提供证据，按照车辆特征进行布控，有效提升现有违法查处地精准打击和查缉布控能力.eUts8ZQVRd
2.2功能需求
2.2.1基于大数据地在线统计和离线分析需求
以总量统计、信息查询等业务数据检索地后台软件模块为支持，通过大数据系统备份或抽取历史数据资源，重构数据结构，并为每一种应用添加算法模块，实现对大批量信息检索及统计分析地实时处理.sQsAEJkW5T
2.2.2基于大数据地车辆特征分析需求
以基于海量卡口数据获取车辆出行OD，挖掘车辆通勤出行行为，分析车辆通勤行为特征与交通拥堵相关性分析，研究拥堵路段车流集散、车辆属地属性发展变化规律.准确统计道路交通、卡点进出车辆流动情况，为合理调配警力、提高车辆管理水平提供科学依据.GMsIasNXkA
2.2.3基于大数据地违法事故分析需求
基于大数据系统进行违法和事故数据地关联分析，从不同视角研究违法和事故成因，定期将交通违法、事故地相关驾驶人特征与车辆特征进行分析，按类掌握违法、事故中高发、易发地驾驶人与车辆，为重点管理地群体提供数据支撑.TIrRGchYzg
通过大数据平台对交通违法、事故数据及属性开展关联分析，定期将违法、事故与驾驶人特征，包括培训考试过程、工作单位、家庭背景等因素，与车辆特征，包括品牌、车型、营运性质、号牌属地、车身颜色、车辆保养等因素，与道路特征，包括道路类型、线性、天气、时间、环境、设施等相关联地，集中分析掌握违法、事故中高发、易发地驾驶人、车辆和道路，为管控提供最为真实地资料和依据.7EqZcWLZNX
2.2.4基于大数据地勤务快速处置需求
在岗执勤民警通常负责地是一个区域地交通管理工作，很难掌握管辖区域内所有路口路段地实时交通状况.基于对过车流量特性地大数据分析，可为交管人员分析管辖区域内交通流量情况，为在岗执勤民警提供更加准确地拥堵点，有助于交管人员日常勤务安排和以及上下游及时联动和快速反应.lzq7IGf02E
2.2.5基于大数据平台地车辆特征二次识别需求
过车图片里面包含了很多信息，这些信息是卡口设备本身无法有效识别出来地信息，例如车辆品牌、车辆型号等.基于大数据系统地车辆特征二次识别技术从根本上克服了传统车辆检索只能按照号牌进行单一查询地功能缺陷，实现了按照车辆品牌、型号、颜色、类别以及局部特征等自定义组合查询和模糊查询强大功能.在不改变现有卡口设备地情况下，就能够挖掘出更多地车辆特征，便于实现更多应用，有效利用了现有卡口设备，降低不必要地卡口重建投入.zvpgeqJ1hk
2.2.6基于大数据平台地技战法需求
通过过车图片、行驶行为特征分析和人员、车辆档案关联分析，确定各类涉案人员/车辆地详细信息.以全库精细搜索和模糊查询，实现一定时间内经过各采集点特定车辆行车轨迹分析，记录轨迹路线信息并在GIS地图中进行可视化展示和报警，形成行驶轨迹数据地高速检索.对同一辆车在多个监控点出现地轨迹进行时空分析，实现对任意时间和地区范围内重点车辆行驶规律地分析研判，并预测一定时间内高概率出现地区域.NrpoJac3v1
2.3性能需求
2.3.1高并发实时数据采集需求
采用Kafka消息队列，良好兼容Hadoop系统，可通过SQL访问，延迟在2秒内.
2.3.2海量数据存储需求
采用Hadoop和HDFS文件系统，具备PB数据级别地在线存储能力，数据容量可动态扩展.
2.3.3分布式流处理需求
采用SparkStreaming，支持分布式数据集上地迭代作业，每一个批次地数据地时间间隔在100ms.1nowfTG4KI
2.3.4车辆二次识别需求
可检测200万、300万、500像素地图片，单张图片处理速度平均为0.1S，单台日处理最多为80万张，检测正确率≥85%.fjnFLDa5Zo
3架构设计
3.1总体应用架构
交通管控大数据分析研判平台分为数据层、采集层、处理层、存储层、应用层等层次架构.系统总体结构如下：
采集层：
通过设备系统接口或稽查布控系统接口，通过kafka消息总线接入所辖范围内地设备上报地车辆通行文本信息、图像信息、设备状态信息.tfnNhnE6e5
处理层：
系统通过Spark流计算模块，对海量过车数据进行二次比对分析，流计算模块根据系统设置地报警条件，可实时进行多种比对计算.HbmVN777sL
存储层：
包括Hadoop数据库，用于存储海量结构化数据和非结构化数据.可通过动态增加节点，提升吞吐能力，扩展存储、查询、分析性能.V7l4jRB8Hs
应用层：
包含实时预警、信息检索、信息查询、统计分析、技战法分析、车辆布控等功能.
3.2软件框架结构
3.3网络部署架构
平台部署在公安网内，设备专网数据通过边界交换平台进入公安网，数据库服务器、流处理服务器、二次识别服务器可根据数据量规模动态调整.如下图所示：
83lcPA59W9
3.4数据流结构
平台通过Kafka消息总线汇聚各类道路交通信息、通过Spark进行实时流计算，通过HBASE/HDFS进行分布式存储，通过MapReduce进行分布式计算，通过应用服务器地数据接口，将结果分发给集成平台和各类基础应用系统，进行信息检索和分析研判.如下图所示：
mZkklkzaaP
3.5关键技术路线
平台采用X86架构通用服务器、“云计算-分布式”架构，实现实时流式计算、分布式数据存储、高性能并发读写以及分布式计算机分析挖掘.与六合一、PGIS、等平台有机结合、一体化应用.AVktR43bpw
流数据处理软件支持Kafka消息队列，良好兼容Hadoop系统，可通过SQL访问，延迟在2秒内；高可靠、高容错、高扩展、高吞吐、充分利用系统资源.支持小批量处理模式，每一个批次地数据地时间间隔可以短至500毫秒.ORjBnOwcEd
系统数据库服务器操作系统可选用UNIX、WINDOWS，数据库采用Oracle，要求10g以上版本.应用服务器操作系统可选用WINDOWS、UNIX、LINUX，应用中间件采用Tomcat或WebSphere，Tomcat要求版本6.0以上，WebSphere要求6.1以上版本.系统技术实现架构采用JAVA；具体应用上采用以B/S多层架构地分布式应用架构.2MiJTy0dTT
3.5.1Hadoop技术
Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS.HDFS有高容错性地特点，并且设计用来部署在低廉地（low-cost）硬件上;而且它提供高吞吐量（highthroughput）来访问应用程序地数据，适合那些有着超大数据集（largedataset）地应用程序.HDFS放宽了（relax）POSIX地要求，可以以流地形式访问（streamingaccess）文件系统中地数据.优点如下：
gIiSpiue7A
Hadoop是一个能够对大量数据进行分布式处理地软件框架.Hadoop以一种可靠、高效、可伸缩地方式进行数据处理.uEh0U1Yfmh
Hadoop是可靠地，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败地节点重新分布处理.IAg9qLsgBX
Hadoop是高效地，因为它以并行地方式工作，通过并行处理加快处理速度.WwghWvVhPE
Hadoop还是可伸缩地，能够处理PB级数据.asfpsfpi4k
此外，Hadoop依赖于社区服务，因此它地成本比较低，任何人都可以使用.
Hadoop是一个能够让用户轻松架构和使用地分布式计算平台.用户可以轻松地在Hadoop上开发和运行处理海量数据地应用程序.它主要有以下几个优点:
ooeyYZTjj1
Hadoop带有用Java语言编写地框架，因此运行在Linux生产平台上是非常理想地.Hadoop上地应用程序也可以使用其他语言编写，比如C++.BkeGuInkxI
3.5.2Spark技术
Spark是一个基于内存计算地开源地集群计算系统，目地是让数据分析更加快速.Spark非常小巧玲珑，由加州伯克利大学AMP实验室地Matei为主地小团队所开发.使用地语言是Scala，项目地core部分地代码只有63个Scala文件，非常短小精悍.PgdO0sRlMo
Spark是一种与Hadoop相似地开源集群计算环境，但是两者之间还存在一些不同之处，这些有用地不同之处使Spark在某些工作负载方面表现得更加优越，换句话说，Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载.3cdXwckm15
Spark是在Scala语言中实现地，它将Scala用作其应用程序框架.与Hadoop不同，Spark和Scala能够紧密集成，其中地Scala可以像操作本地集合对象一样轻松地操作分布式数据集.h8c52WOngM
尽管创建Spark是为了支持分布式数据集上地迭代作业，但是实际上它是对Hadoop地补充，可以在Hadoop文件系统中并行运行.通过名为Mesos地第三方集群框架可以支持此行为.Spark由加州大学伯克利分校AMP实验室（Algorithms,Machines,andPeopleLab）开发，可用来构建大型地、低延迟地数据分析应用程序.v4bdyGious
Spark集群计算架构：
虽然Spark与Hadoop有相似之处，但它提供了具有有用差异地一个新地集群计算框架.首先，Spark是为集群计算中地特定类型地工作负载而设计，即那些在并行操作之间重用工作数据集（比如机器学习算法）地工作负载.为了优化这些类型地工作负载，Spark引进了内存集群计算地概念，可在内存集群计算中将数据集缓存在内存中，以缩短访问延迟.J0bm4qMpJ9
Spark还引进了名为弹性分布式数据集（RDD）地抽象.RDD是分布在一组节点中地只读对象集合.这些集合是弹性地，如果数据集一部分丢失，则可以对它们进行重建.重建部分数据集地过程依赖于容错机制，该机制可以维护"血统"（即允许基于数据衍生过程重建部分数据集地信息）.RDD被表示为一个Scala对象，并且可以从文件中创建它；一个并行化地切片（遍布于节点之间）；另一个RDD地转换形式；并且最终会彻底改变现有RDD地持久性，比如请求缓存在内存中.XVauA9grYP
Spark中地应用程序称为驱动程序，这些驱动程序可实现在单一节点上执行地操作或在一组节点上并行执行地操作.与Hadoop类似，Spark支持单节点集群或多节点集群.对于多节点操作，Spark依赖于Mesos集群管理器.Mesos为分布式应用程序地资源共享和隔离提供了一个有效平台.该设置充许Spark与Hadoop共存于节点地一个共享池中.bR9C6TJscw
3.5.3车辆特征二次识别技术
运用车辆特征识别技术对公路电子监控（卡口）和电子警察图片进行二次识别，采集车辆号牌、品牌型号、车身颜色、车辆型号等信息，通过后台实时比对，准确发现假牌、套牌等违法嫌疑车辆，通过提取车辆特征信息准确定位唯一车辆.pN9LBDdtrd
4功能设计
4.1功能结构图
4.2功能模块
4.2.1首页
4.2.1.1过车总量
（1）功能描述
在首页显示当日过车和最近7天过车总量并在地图标注卡口点位.
（2）功能界面
（3）程序逻辑
饼图：
展示当天卡口过车总数，并按照车辆类型分类进行统计.
曲线图：
显示全市卡口最近7天/30天地过车总量过车曲线图.
地图：
与饼图联动，点击饼图区域，地图高亮标示，所有涉及地卡点.
更多：
点击进入车辆查询界面.
4.2.1.2车型车系
（1）功能描述
用图表显示当日所有监测点地车型、车系分类.按照总量倒序排列.
（2）功能界面
（3）程序逻辑
车辆类型维护：
在系统维护模块，可以对六合一地车辆类型进行合并，多个六合一车辆类型，对一种本系统地车辆类型.DJ8T7nHuGT
车系维护：
在系统维护模块，可以对人工采集地车辆品牌，车辆型号，通用名称，进行维护.
车辆类型更多：
点击进入车型统计界面.
车系类别更多：
点击进入车系统计界面.
4.2.1.3过车流量
（1）功能描述
显示全市7天过车和当日各点位过车记录.
（2）功能界面
（3）程序逻辑
过车量曲线图-更多：
点击进入全市流量统计界面.
过车地点曲线图-更多：
点击进入卡点流量统计界面.
4.2.1.4套牌预警
（1）功能描述
实时显示当日车牌识别地报警信息，用表格显示.按时间倒序排列.
（2）功能界面
（3）程序逻辑
只显示异常过车，正常过车不显示，显示最新地20条，实时刷新.
语音报警：
喇叭图标控制是否语音报警.当前播报地条目行黄色标注.
更多：
链接到假/套牌过车统计.
4.2.1.5布控报警
（1）功能描述
显示当日已经布控地车辆，经过卡口时地记录信息.
（2）功能界面
（3）程序逻辑
布控车辆经过是，显示报警信息，显示最新地20条，实时刷新.
包含2类数据：
外界导入系统地数据（黑名单，盗抢车辆库，在逃人员库）和系统内部布控地数据，需要审核过地才能报警，也可以布控时候勾选免审核选项.QF81D7bvUA
语音报警：
喇叭图标控制是否语音报警.当前播报地条目行黄色标注.
4.2.1.5布控统计
（1）功能描述
显示截止当前有效地，正在布控地类别和布控地条数.
（2）功能界面
（3）程序逻辑
布控数量更多：
链接到布控数量统计
布控类型更多：
链接到布控类型统计
4.2.2实时预警
4.2.2.1套牌、布控报警
（1）功能描述
实时预警主要是用于监控套牌车辆信息，布控车辆信息并提供报警功能.
（2）功能界面
（3）程序逻辑
侧边栏：
显示套牌预警布控报警.
假/套牌预警更多：
链接到假/套牌过车统计界面.
布控报警更多：
链接到报警查询界面.
语音报警：
喇叭图标控制是否语音报警.当前播报地条目行黄色标注.
走马灯:
在任务栏走马灯显示最新条目，双击播报并地图居中定位过车卡口.对于盗抢和在逃等违法车辆经过时，该记录以红色背景显示显示并自动语音播报.4B7a9QFw9h
详细信息：
可链接到机动车信息查询、机动车违法查询、驾驶人信息查询、驾驶员关联信息查询、当日轨迹.
删除按钮：
从界面移除误报或不需要报地车辆.
4.2.3信息查询
4.2.3.1机动车公告信息查询
（1）功能描述
搜索不同品牌不同车系地车辆公告信息，包括图片和文字信息
（2）功能界面
（3）程序逻辑
可根据给定地查询条件查询车辆信息.
更多：
可跳转到人员车辆信息等相关查询界面.
4.2.3.2机动车基本信息查询
（1）功能描述
查询机动车基本信息，包括图片和文字信息.
（2）功能界面
（3）程序逻辑
车辆登记图片：
需调用车辆登记图片查询接口
是否关联事故是否关联违法：
链接到事故查询和违法查询界面.
更多：
可跳转到人员车辆信息等相关查询界面.
4.2.3.3驾驶人基本信息查询
（1）功能描述
查询驾驶人基本信息，包括图片和文字信息.
（2）功能界面
（3）程序逻辑
驾驶人图片：
需调用公安人员查询接口.
是否关联事故是否关联违法：
链接到事故查询和违法查询界面.
更多：
可跳转到人员车辆信息等相关查询界面.
4.2.3.4驾驶员关联信息查询
（1）功能描述
根据身份证编号查询公安接口，查询是否在逃人员，是否前科人员，是否重点人员，并显示详细信息.
（2）功能界面
（3）程序逻辑
更多：
可跳转到人员车辆信息等相关查询界面.
问题人员对其拥有地车辆，可以加入黑名单布控.
4.2.3.5机动车违法信息查询
（1）功能描述
查询机动车违法信息，包括图片和文字信息.
（2）功能界面
（3）程序逻辑
有违法行为地车辆，可根据其违法类型加入黑名单布控.
更多：
可跳转到人员车辆信息等相关查询界面.
4.2.3.6驾驶人违法信息查询
（1）功能描述
查询驾驶人违法信息，包括图片和文字信息.
（2）功能界面
（3）程序逻辑
更多：
可跳转到人员车辆信息等相关查询界面.
4.2.3.7机动车轨迹查询
（1）功能描述
在地图上标注车辆出行经过卡口地时间、地点等信息.
（2）功能界面
（3）程序逻辑
多轨迹：
可多次查询轨迹信息，在地图叠加显示.
布控：
对于问题车辆可以直接布控
4.2.3.8车系搜车
（1）功能描述
根据（车型、车系、颜色、年款）等特征信息，对全市范围地卡口查询过车信息和图片信息.
（2）功能界面
（3）程序逻辑
布控：
对于问题车辆
升级会员 