项目申请书.docx
《项目申请书.docx》由会员分享，可在线阅读，更多相关《项目申请书.docx（43页珍藏版）》请在冰点文库上搜索。
项目类别
重点实验室基金一般项目
申请指南代码
61421070104
项目编号
密 级
公开
装备预研重点实验室基金
项目申请书
项目名称：
复杂环境下基于递进式多任务深度学习的车辆精细化识别
申请人：
唐晨
工作单位：
天津大学
通信地址：
南开区卫津南路92号天津大学26D-316
邮政编码：
300072
办公电话：
手机：
18202279763
申请日期：
2017/6/18
填报说明
一、 申请书各项内容要实事求是，逐条逐项认真填写。
不符合规定者，将不予受理。
二、 重点基金项目，申请经费限额80-100万元，研究周期为3年；一般基金项目，申请经费限额10-40万元，研究周期两年。
三、 申请书为A4开本，正反面打印，于左侧装订成册。
主要内容中一级标题用三号黑体，无缩进；其余标题和正文用四号仿宋体，首行缩进二字符。
四、 “项目名称''应确切反映研究内容，最多不超过25个汉字（包括标点符号）。
申请书主要内容部分应具体、翔实。
五、 封面上的“项目类别”一栏根据申请项目的类别分别填入：
“重点实验室基金重点项目"、“重点实验室基金一般项目"；“申请
指南代码"由申请者根据基金指南内容填写。
“项目编号"暂不填。
六、申请人不具有高级职称或者博士学位的，还需填写推荐意见（格式见附件）。
在读研究生、已离退休的科研人员和申请单位兼职科研人员不得作为申请项目的负责人提出申请，但可作为项目组成员参加研究。
—、项目申请简表
项目名称
复杂环境下基于递进式多任务深度学习的车辆精细化识别
起止年月
2017.11-2019.11
申请金额
25万
申请人
姓名
唐晨
性别
女
年龄
54
学位
博士
身份证号
210105196311064663
职称
教授
专业特长
图像处理与人工智能
申报单位
名称
天津大学
隶属关系
教育部
合作单位
项
目
组
总人数
高级
中级
初级
博士后
博士生
硕士生
13
1
2
4
6
主要成员名单1不含申请人本人>
姓名
性别
年龄
职称
工作单位
参加月数
工作分工
签字
闫军
女
29
讲师
天津大学数学学院
10
网络构建与数值模拟
李根
男
33
工程师
天津大学电气自动化与信息工程学院
10
网络构建与数值模拟
苏永钢
男
31
博士
天津大学电气自动化与信息工程学院
10
网络构建与数值模拟
李碧原
男
26
博士
天津大学电气自动化与信息工程学院
10
相关算法构造及研究
陈明明
女
30
博士
天津大学电气自动化与信息工程学院
10
相关算法构
造及研究
徐文君
女
36
博士
天津大学电气自动化与信息工程学院
10
实验测试
周秋玲
女
27
硕士
天津大学理学院
10
实验测试
邱岳
男
24
硕士
天津大学电气自动
化与信息工程学院
10
实验测试
郑婷月
女
23
硕士
天津大学电气自动
化与信息工程学院
10
相关算法构
造及研究
王森
男
23
硕士
天津大学电气自动
化与信息工程学院
10
图像采集及
处理
戴晓溪
女
23
硕士
天津大学电气自动
化与信息工程学院
10
图像采集及
处理
邢林林
女
24
硕士
天津大学电气自动
化与信息工程学院
10
相关算法构
造及研究
主题词
复杂坏境下车辆精细化定位与识别；卷积神经网络；VGG-net网络；多尺度特
征分析；多任务深度学习系统。
二、申请经费预算表
预算支出科目
金额（万元）
计算理由及根据
1'设计费
4.95
用于项目展开学术讨论而组织的会议费用预计1.20万元；用于项目研究过程中需要支付的论文发表、专利申请及维护、文献资料和行业标准检索、成果汇编等费用预计3.75万元；合计4.95万元。
2、材料费
9.50
用于数据采集的乔安NS70HH高清摄像头20个X800元/个，小计1.60万元；用于数据处理和存储的戴尔（DELL）T630塔式服务器2台X31500/台，小计6.30万元；戴尔（DELL）英伟达GTXTITAN显卡］个X10500元/个，小计1.05万元；电源线、控制信号线、PVC线管等预计0.55万元；合计9.50万兀O
3、外协费
1.50
为获取足够的数据样本，除在本单位自行采集外，需要从交管部门处获取部分数据，此部分费用预计为1.50万元。
4、专用费
0.00
5、试验费
3.00
数据采集、分析过程中产生的水电能耗，以及进行仿真实验所需的软件编写费用等预计为3.00万元。
6、固定资产使用费
0.00
7、工资费
4.80
参与该项目的研究人员共12人，每人平均200元/月，每人每年发放10个月，2年共计发放4.80万元。
8、管理费
1.25
项目依托单位收取的管理费为资助总经费的5%o
合计
25.00万元
注：
每项开支需如实填写计算根据及理由，不含申请单位自筹的配套经费。
各科目支出范围：
设计费：
包括论证费、调研费、计算费、技术资料购买及复制费、学术会议费、论文出版、成果汇编费等，但不用于专著出版。
材料费：
包括项目研究工作中必须耗用的各种原材料、辅助材料、外购成品和元器件的费用。
外协费：
指项目研究中由于本单位自身的技术、工艺设备等条件的限制，必须由外单位协作所发生的费用。
专用费：
包括专用测试仪器费、技术基础费等。
试验费：
指项目研究中用于工艺试验、仿真试验、综合匹配试验、例行试验、可靠性试验、试验验证、测试等各种试验中的物耗、仪器使用、人工等费用。
固定资产使用费：
指项目应分摊的研制单位按规定比例分类计提的固定资产使用费。
工资费：
指没有事业费拨款的科研单位、高等院校及各类企业中从事军工科研人员的工资、奖金、津贴等工资性支出。
管理费：
不超过资助总经费的5%o
三、立论依据
（一）概念与内涵
（1） 基于图像和视频的车辆识别技术
基于图像和视频的车辆识别系统，通过分析从摄像头或图像采集卡采集到的图像，选用不同的特征提取方式和分类方法，先完成对目标车辆的精确定位，之后从目标车辆中识别出具体的车型类别，实现车辆识别的任务。
随着模式识别、计算机视觉领域的发展，基于图像和视频的车辆识别技术得到了越来越多的关注'以。
该技术只需要在路面架设摄像机或采用现有的监控设备即可，不会像地感线圈检测、超声波检测、激光红外线检测'以局等方法那样，影响到道路的正常运行，也不会对路面造成破坏。
而且得到的实时的图像易于保存，便于后期进行进一步分析处理⑹。
这类技术可以动态地适应交通状况的变化，通过实时采集大量的交通流量数据并将其传输到交通管理中心，中心得到数据后可以根据数据迅速进行分析决策。
车辆识别技术能够应用于检测识别车祸现场，检测车辆违法占道，解决交通拥堵及车辆实时跟踪等领域，对公路的安全管理有着重要的作用。
（2） 车辆识别的指标及其影响因素
识别的速度和准确度是车辆识别的两个主要指标，本项目拟基于递进式多任务深度学习开展车辆精细化识别技术研究，也是着重于提高速度和准确度这两个指标。
影响识别准确度的最重要的因素是提取的车辆特征，即特征提取是整个识别过程的关键。
车辆特征的提取受到诸多因素的影响，如车辆的细分种类太多导致特征间区别不明显、恶劣天气带来的影响、光照变化造成的影响等。
传统的车辆识别算法中特征提取的方式很多，如提取SIFT特征□⑻或HOG特征阳■等，与后续的分类器结合，均取得了不错的识别效果，
但提取过程仍为手工提取，且一般需要多个特征的结合和一系列的预处理，比较费时。
（3） 基于卷积神经网络的深度学习
近年来基于深度学习的车辆识别逐渐兴起，与传统的手动或依赖先验知识提取特征的算法相比，深度学习具有更好的普适性和自适应性，利用深度网络进行特征描述，可以在训练数据的驱动下自主地学习特征。
此外,在网络训练中引入权值共享、逐层训练等策略能够通过减少参数提高网络效率。
作为深度学习中的代表，卷积神经网络可将原始图像直接作为输入,省去了传统识别算法中的预处理过程，降低了模型的复杂度。
卷积神经网络能够在原图像上产生局部感知区域，这些区域作为底层的输入数据，通过每一层的过滤器逐层训练，能够获得图像的边缘和关键点信息，可以更好地处理由于图像采集角度不同比例缩放、倾斜等视觉形变带来的难题。
（4） 车辆定位与车型识别技术
为了实现车辆的识别，我们将此任务分为两部分进行，分别是图像中目标车辆的定位和目标车辆具体车型的识别。
车辆定位指的是是从复杂背景中检测出目标车辆，并能够精准确定目标车辆的位置区域。
车辆定位是实现精细化识别的前提和基础，从背景中检测目标车辆实际上相当于二分类问题，而位置区域的确定需要通过生成若干候选框并选出最优区域来实现。
车型识别是在车辆定位的基础上，对分割出的目标区域进行车型识别。
（5） 复杂环境下车辆精细化识别技术
本项目拟开展复杂环境下车辆精细化识别技术。
复杂多变的环境是影响车辆识别准确率的重要因素，实现复杂环境下的车辆识别对于智能交通系统以及军事目标识别技术的发展都具有重要意义。
这里复杂环境主要体现为三个方面，一是天气的原因，如雨雪雾等较差天气环境；二是光照强度原因，如夜晚等弱光照环境；三是车辆所处的环境原因，如车速过快，在路口车辆过于拥挤，以及受到遮挡等。
本项目提出车辆精细化识别的概念，车辆精细化识别实际上包括精细化定位和精细化识别。
精细化定位是包括对于采集的不同尺度车辆，尤其过小目标车辆在复杂环境下具有良好的检测能力，还包括对多目标车辆的同时定位。
精细化识别主要体现在不仅能识别通常的车型种类、车牌，而且能识别包括车灯形状在内的车辆细节信息。
（二） 军事需求分析
在军事应用场合，对静止或运动的目标（如导弹、火炮、装甲车、坦克、战斗机等军用目标）进行准确定位、运动轨迹跟踪，进而对目标的类别作出判断的问题已成为各国在军事领域关注的重点m。
在众多军用目标中，飞机目标识别已经成为一个重要的应用领域网。
飞机目标识别可以广泛地应用于目标侦查、军事防御等方面。
在目标侦查中，需要通过实时分析成像卫星所拍摄的图像，快速对图像中可能包含的目标作出精确定位，并对目标种类进行判断，迅速和准确地捕捉到目标的信息，便于我们及时作出反应。
目前飞机目标识别的相关研究，正往精细化识别方向发展，具体体现在三个方面，一是对小目标飞机具有良好的检测能力，二是使多目标飞机定位更加精确可靠，三是能够将不同种类的飞机准确分类。
由于研究方向和目标的类似性，本项目拟研究的车辆精细化识别可移植到军用领域的飞机识别上。
（三） 国内外研究概况、水平和发展趋势
目前国内外车辆识别的的方法可以分成两大类：
（1）基于模板匹配的车辆识别
首先利用模板匹配方法进行车辆识别研究的是西门子公司的Jolly等人。
他们首先得到车辆的正面视图和侧面视图的变形模板和直方图交集，然后通过点间的Hausdorff距离与已有的车辆模板比较实现车辆识别。
此方法能将车辆简单地分为大、中、小类型。
模板匹配用于基于图片的车辆识别研究主要受以下几方面的限制：
如果图像发生旋转或者尺度变化时，该方法不适合采用，因为模板只能在图像中平行移动；如果目标车辆不是完整的车辆图片，边缘就不连续或者不存在，该方法也不可采用。
（2）基于统计的车辆识别
目前应用最多的还是基于统计的识别方法。
该算法首先需要建立样本库，然后通过一系列的方法提取样本特征，之后利用机器学习的方法训练分类器，最终完成识别过程。
相比于模板匹配的算法，基于统计的车辆识别具有很好的鲁棒性。
常用的基于统计的经典算法有支持向量机和人工神经网络询。
支持向量机算法使得非线性、小样本、局部极小、维数灾难这些棘手的问题得到了很好地解决，而且能够很好地融合到其他机器学习问题中。
而人工神经网络已在模式识别领域得到了广泛的应用，其中BP神经网络的应用更多，为了解决传统网络在训练时容易出现过拟合和训练速度较慢的问题，人们开始将卷积神经网络引入车辆识别，张飞云等人在2015年IEEEROBIO会议上提出了基于深度卷积神经网络的车辆识别方法，用以解决自然场景下车辆精细识别的问题网。
卷积神经网络因其模拟生物视觉机制，具有对平移、缩放等仿射变换具有较强鲁棒性，并且可以很好地解决车辆在图片中的位置不同、图像质量不同、拍摄角度不相同所带来的分类难的问题。
如果在未来，能够将卷积神经网络大规模地应用于车辆的精细识别，那么对于建设智能交通系统以及无人驾驶技术都具有一定的应用前景和研究意义。
近些年来，车辆识别技术也已在国内外大规模投入商用，具有代表性的应用是汽车智能辅助系统，其产品级应用主要有：
城市安全系统、自适应巡航控制系统、先进辅助驾驶系统等。
其中的先进辅助驾驶系统（AdvancedDriverAssistantSystem,简称ADAS）,是利用安装在车上的各式各样传感器,在汽车行驶过程中随时来感应周围的环境，收集数据,进行静态、动态物体的辨识、侦测与追踪，并结合导航仪地图数据，进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。
ADAS主要是指基于视觉/摄像头的应用，也有与雷达，激光等传感器结合的应用。
目前，各大汽车厂商都有相关的部门来研发相关的产品，也有专门为汽车厂商提供ADAS技术或模块的公司，
如以色列公司MobileEye是这个领域的佼佼者。
目前的车辆识别技术，由于受到客观条件和研究水平的限制，仍存在以下尚未解决的难题，这些难题也成为本项目拟挑战的问题。
（1） 车辆识别精细化程度的问题。
目前已有的车辆识别研究大多只是对车辆类型进行简单分类，由于缺乏前期对图像中目标车辆的定位这个车辆识别的前提和基础，所以导致车辆识别的精度不够高。
（2） 目标车辆的形变和尺度变化问题。
由于实际采集图像时，摄像机放置的位置和高度会有不同，所以使得采集到的同一类车辆会有一定的形变和尺度变化，这给车辆识别增加了不小的难度。
（3） 复杂环境下的识别问题。
摄像机或图像采集卡的不同会造成图像质量差异，更重要的是不同天气条件下图像质量差别较大。
在天气晴朗的白天拍摄，与在雨雪雾等较差条件下拍摄所得图像会有较大的区别，在夜晚低对比度条件下采集到的图像也有别于白天所得图像。
这些都增大了车辆识别的难度。
（4） 目前大多数车辆识别系统识别的目标较为单一，对多目标车辆的识别能力有待提高。
四、研究方案
（-）研究目标、研究内容和拟解决的关键问题
研究目标：
将基于深度学习的车型识别技术与车辆定位技术相结合，形成一个级联的系统，以达到车辆的精细化识别，便于车辆识别技术在民用和军用领域的更为实际的应用。
在此研究基础上，进一步地对几种特殊情况下的车辆精细化识别进行深入研究，使车辆精细化识别技术更加贴近复杂多变的军事环境，扩展车辆精细化识别的应用领域。
重点解决恶劣天气，夜间以及车速过快、拥挤和受到遮挡等复杂环境下精细化定位与识别的问题。
同时实现小目标车辆的精细化识别以及多目标车辆的同时识别。
研究内容：
（1）基于卷积神经网络的递进式多任务深度学习系统的构造及理论研究
包括：
（1.1） 基于多尺度候选区域生成网络，实现车辆粗定位功能。
（1.2） 基于递进式定位网络，对粗定位得到的位置区域进一步精修，完成车辆精细定位研究。
（1.3）基于卷积神经网络，在已完成的车辆定位的基础上实现更加精确的车型识别。
（2） 针对雨雪雾等恶劣天气条件及夜晚的弱光环境，建立包含不同环境背景、不同拍摄距离和角度、不同车型的车辆训练和测试数据集。
（3） 针对摄像头采集到的目标为小目标的情况，在粗定位阶段进行多尺度特征提取，实现对小目标车辆的精确识别。
拟解决的关键问题：
（1） 构造一个级联的系统，以前期对目标车辆的精确定位为基础，实现对目标车辆的精细化识别。
（2） 重点解决针对小目标车辆的精细化识别，以适应尺度变化的情况。
（3） 重点解决雨雪雾、夜晚弱光等几种复杂环境下的车辆精细化识别问题，以更加贴近实际应用中的需求，使车辆精细化识别技术有着更广泛的应用。
（二）拟采取的研究方法、技术路线、实验方案及可行性分析（须具体翔实，包括理论分析、计算、实验方法、实验步骤等）
为了实现复杂环境下车辆精细化定位与识别，本项目拟构建一个基于卷积神经网络的递进式多任务深度学习系统，将车辆定位和车型识别有机结合，实现粗定位、精细定位和车型识别的多任务车辆精细化识别。
车辆定位网络是包括粗定位、第一次位置精修和第二次位置精修三个层次的递进式结构。
在车型识别网络中，通过训练一个车型多分类网络，
对定位网络分割出的目标车辆进行车型识别。
递进式多任务车辆精细化识别系统的整体结构图如下：
图1递进式多任务车辆精细化识别系统结构图
实际应用中，雨雪雾以及弱光夜晚等复杂环境对精细化识别提出了更高的要求。
通过采集不同复杂环境下的样本图像，建立包含不同环境背景的车辆数据库。
在定位和识别网络中，利用该数据库提取图像特征，能够提高复杂环境下识别的可靠性和准确性。
1、基于卷积神经网络的多尺度特征提取目标粗定位研究
（1）多尺度特征候选区域生成网络结构
根据卷积神经网络的特性，位于底层的卷积层能够提取图像底层的细节纹理信息，有助于小目标检测；位于较高层的特征层则可以获得高层语义信息，对大目标检测更准确。
为了提高对物体多尺度检测的鲁棒性，针对目标识别中物体尺度变化较大的问题，许多文献提出了适应多尺度物体的候选区域提名方法。
其中较为经典的有：
R-CNN方法利用图像分割获得不同尺度的原始区域，将这些区域自底向上逐一合并，从而实现多尺度层次化结构［19］；Faster-RCNN方法构建了一种区域提名网络，采用一组固定的多尺度滤波器，对卷积神经网络特征层进行卷积，获得对应的多尺度特征网。
然而，上述方法存在计算复杂度较高或是固定的滤波器无法覆盖各种物体尺寸的问题。
本项目提出了一种基于多尺度特征提取的算法，构建了一个多尺度候选区域生成网络（MSRPN）,保证在不同尺度下能够实现对目标车辆粗定位的功能，其结构如图2所示⑵」。
VGGNet是经典的卷积神经网络模型，16层的VGG16网络主要包括5个堆栈式的卷积网络、3个完全连接层和1个softmax分类层。
每个卷积网络由多个卷积层组成，卷积核尺寸固定为3*3—12—大小，卷积网络后面紧跟一个最大池化层，池化窗尺寸固定为2*2大小,降低网络参数个数。
其中，卷积层和完全连接层的输出都会经过非线性RELU层，非线性激活函数加快了网络收敛的速度。
我们将一个卷积层和一个最大池化层替代VGG16最后的全连接层结构，构成了CNN特征提取的主干部分。
在第四个卷积网络的第三层conv4-3后面延伸出一个分支子网络，该分支网络由一个缓冲的卷积层和单检测层组成，用于提取较小尺寸物体的特征。
缓冲卷积层的作用是为了防止分支子网络的梯度直接反向传播回主干层，提高学习过程的稳定性。
缓冲卷积层经过一组不同尺寸的滑动窗，产生不同大小的感受野，能够覆盖一定的尺寸变化范围。
借鉴Fast-RCNN的方法[22'23],本项目在单检测层中利用两个分支全连接层，可以联合训练分类判别器和候选框回归器，实现对目标候选区域的粗略定位。
同理，我们在conv5-3>conv6和最后池化层输出分别延伸出由单检测层构成的分支子网络，可覆盖更宽的物体尺寸范围。
图2多尺度候选区域生成网络
多尺度候选区域生成网络算法的优点是能够针对不同尺寸目标分别—13—
进行检测和定位。
传统的区域生成网络采用固定尺寸的滑动窗，存在无法覆盖不同尺寸物体的问题。
相较于传统方法，本项目提出的方法能够覆盖较大尺寸范围，尤其针对较小目标有更好的检测能力，提高多目标检测召回率和定位准确率，防止对小目标漏检或者定位不准确。
（2）基于多尺度特征的目标粗定位模型
通过一组训练样本集训练S={（X“匕）}告，得到多尺度候选区域生成网络的权重参数w。
其中X,代表训练图片块，*=3，w由分类标签值和回归框坐标参数组成。
乂•（乂E{0,1,…,K}）代表分类标签值，本节只解决车辆定位的问题，所以K取1,其=1代表图片内含有目标车辆，属于正样本，乂=0代表图片内不含目标车辆，属于负样本。
目标预测边框的坐标由中心位置坐标和边框的宽和高四个参数组成，即可表示为々•=（妒，矿妒，矿）。
此多尺度区域生成网络的权重损失函数为
M
（1）m=lieSm
式中M是检测分支网络的个数，％，是损失函数八的权重系数，训练集S={S\S29...9Sm}中某一个元素偿是包含尺度m的训练样本的集合，只有S"的子集训练样本才能作用到该尺度下的检测层损失函数尸O每一个分支子网络检测层的损失函数包括两部分，一部分代表分类层的损失函数，另一部是位置框回归层损失函数，可以通过两部分加和表示。
分类层相当于解决一个二分类问题，采用softmax函数计算每一类的离散分类标签值，构成概率分布向量p（X）=（p°（X）,…,a（X））,本项目中分类概率分布向量即可表示为
p（x）=（p°（x），i（x）） ⑵
因此分类层的损失函数可以表示成对数函数的形式：
£*（P（X）,*）=TOgPy（X） （3）
式中y代表实际的类别。
正负样本是根据预测框和实际标注框的重叠交并比大小确定的，当交并比大于0.5时，则该框区域样本为正样本；当交并比小于0.2时视为负样本；否则舍弃该样本。
实际中，可能存在样本尺寸过小，导致负样本个数|s_|远大于正样本个数|s*|,这会导致学习过程不稳定。
我们采用交叉炳函数来权衡正负样本，修正后的分类层损失函数为
…出&涎的"金尚钏施g ⑷
对于位置预测层的损失函数，要解决的是预测参数方和实际参数b之间的差别大小，即位置预测层的损失函数为
£加（盘）=：
£g（与-如） ⑸
'Je（x,y,w,A）
式中g函数是SmoothL1误差函数，可以表示为
g（x）=[°.澎，亦1 ⑹
[|x1-0.5,|x|>l
总的损失函数表示为两者加权和，总的损失函数可表示为
/（X,Y\W）=LMX\y^A[y=1]£庇（"） （7）
式中人为权重系数。
当类别为1即图片为正样本时，即存在目标车辆时，[y二1]的值取1,否则[y二1]的值取0。
即如果分类为背景则不考虑位置回归损失函数，只有分类为正样本时才计算位置回归损失函数。
得到总的损失函数后，再利用梯度下降优化算法对网络权重进行优化，即解决最优化问题如下所示
W*=argminwL（W} （8）
实际训练中，针对复杂环境状况，如雨雪雾夜晚弱光照等，为了获得足够数量的负样本，我们通过采集不同复杂环境下的样本图像，建立包含不同环境背景的车辆数据库。
利用该数据库图像作为训练样本集，其中不仅包含了大量的目标车辆正样本，还包含不同复杂环境背景的负样本，从而实现复杂环境下的目标车辆定位。
至此，我们构建了基于多尺度特征的目标粗定位模型，该模型通过一种新的多尺度候选区域生成网络，获得覆盖不同尺寸物体的位置候选区域，能够实现对不同尺寸目标的粗定位。
该模
升级会员 