基于卷积神经网络的交通监控模糊图像复原技术智能城市.docx

1、基于卷积神经网络的交通监控模糊图像复原技术*石晓玲 杨英仓 尤超（贵州省道路交通事故鉴定工程技术研究中心，贵州警官职业学院 贵州 贵阳 550005）摘要：传统模糊图像复原技术通常将清晰自然图像梯度符合统计学重尾分布作为假设条件，复原的效果对先验参数的依赖度大。本文吸收人工智能的概念，提出了一种使用深度卷积神经网络复原模糊图像的方法，建立了一种端到端的处理模型。该模型利用多层神经网络表达非线性的图像退化和复原过程，并使用反向传播算法优化各层权重。实验结果显示，采用大量生成样本训练的模型能够很好的复原交通监控中运动模糊的图像，为交通监控提供帮助。关键词：交通监控；卷积神经网络；模糊图像复原；梯度

2、下降法Deep Convolutional Neural Network for Traffic Monitoring Image Deblurring SHI Xiaoling，YANG Yingcang You Chao(Guizhou Province Engineering Research Center for Traffic Accidents Responsibility Verification, Guiyang, 550005, China)Abstract: Different to traditional methods which assume the sparse i

3、mage priors follow heavy-tailed distributions, We propose a deblurring method based on a convolutional network which learns to restore images from data. the system is trained end-to-end on a set of artificially generated training examples.The system adopts deep architecture, whose layers are special

4、ly designed to embody the established assumptions in image deblurring .Results are comparable to the state of the art of hand-crafted approaches.Key words：traffic monitoring;Convolutional Neural Network;image deblurring;gradient descent1 引言*贵州省道路交通事故鉴定工程中心基金资助（黔道交鉴合G字2015 10014号）图像复原是指从模糊图像中恢复潜在的清晰图

5、像1。模糊图像的致因可能是多种多样*贵州省道路交通事故鉴定工程中心基金资助（黔道交鉴合G字2015 10014号）*贵州省道路交通事故鉴定工程中心基金资助（黔道交鉴合G字2015 10014号）的，物体相对摄像头的运动，弱光导致的噪音，对焦失准等都可能使图像产生模糊2。模糊图像的复原一直以来都是一个难题，不但潜在的清晰图像是未知的，而且产生模糊的机制也难以确定。图像产生模糊的过程称为图像退化。当图像退化的原因无法确定时，图像复原技术重点在于估计并重建退化模型，然后利用反卷积去恢复原始图像。以往研究中，很多模糊处理算法被提出，如维纳滤波3，正则滤波，露西-里查德森4滤波等。这些模糊处理算法均需要

6、模糊核的先验信息，算法的性能和模糊核的选择密切相关，然而，通常情况下这些先验信息的获取是相当困难的。盲复原是图像复原的一个理想状态，盲复原被定义为从观测图像中寻找一个潜在原始图像，和一个可能的卷积核，使得 (1)其中，代表卷积操作，是一个独立的噪音添加项。潜在图像和卷积核的求解是一个不适定问题，无定解。所幸的是，真实图像的分布并不是完全随机的，他们的内在统计规律经常被用来构建解决方案。一个可能的方案是最小化如下代价函数， (2)其中，正则项起到平衡图像的作用，使图像看起来是一个”好”图像。这类方法通常假设清晰图像的梯度、模糊核和噪声都符合某种统计学分布的规律，然后通过迭代和多尺度估计优化算法求

7、出各先验参数的值567。与传统的使用清晰自然图像统计规律的算法不同，本文提出了一种纯粹数据驱动的模型，使用卷积神经网络实现端到端的图像复原工作，通过深度学习网络结构的优化设计，卷积神经网络可以拟合复杂的图像复原规律。该模型使用大量清晰图像和对应的人工生成的模糊图像训练卷积神经网络，在训练中自动学习盲复原的内在规律，不需要卷积核的任何先验知识。学习完成后，可以直接从输入模糊图像生成清晰图像，实现端到端的图像复原。2 相关工作早期的图像复原方法假设噪声和自然图像梯度遵循特定的统计学规律。露西-里查德森滤波4中，图像噪声被假设为泊松分布，在维纳滤波3中，图像梯度和噪声都被假设为均匀高斯分布。这些早期

8、的方法存在较严重的棋盘效应和振铃效应。后来，针对盲复原的不适定问题，一些假设图像先验信息的方法被提出，这些方法遵循图像梯度分布的重尾效应，如符合混合高斯模型或混合拉普拉斯模型等，Fergus 5首先提出了这种方法并使用变分贝叶斯理论去近似后验概率。后续研究人员尝试了其他最大化后验概率的方法9710。 但是，自然图像结构的复杂性和模糊核形状的差异性使这些方法很难得出通用的参数。图像复原的另外一类方法是使用大规模数据集和深度学习网络构建恢复模型。这种方法不再依赖于某些特殊的统计分布。 文献11展现了多层感知机在处理不同类型的噪音上表现稳定，文献12描述了一个栈式自编码器在去除图像噪音上取得了不错的

9、结果。 文献13中，卷积神经网络被用来去除诸如污点、雨滴等强噪声。虽然这些网络在去噪音方面效果很好，但是却不能直接用于图像去模糊的操作。本文研究了使用深度卷积神经网络进行去模糊处理的算法，建立了盲复原模型，可有效解决交通监控图像的运动模糊问题。3 深度网络模型的搭建在深度网络模型的构建上，考虑到栈式自编码网络各层间以全连接为主，导致深层网络的参数量太大，同时需要加入稀疏性限制，增加了训练和测试难度，因此，本文采用卷积神经网络构建深度网络模型，应用卷积神经网络部分连通的思想解决上述问题。卷积网络受启发于生物学里面的视觉系统结构视觉皮层的神经元就是局部接受信息的。对于自然图像来讲，图像的一部分的统

10、计特性与其他部分是一样的。这也意味着图像某一部分学习的特征也能泛化应用于其它部分上，因此对于图像上的所有位置，均可实现统一的学习特征。所建立的基于卷积神经网络的模糊图像盲复原方法如式（3）所示。， (3)函数为卷积网络模型，是需要学习的参数。该数据驱动模型保证了映射的简洁性，可直接从模糊图像和与之对应的清晰图像中学习参数。整个模型是由多级卷积网络层和修正线性单元(ReLU)组成14，各层正向传播公式如下: (4) (5) (6)在模型中，输入和输出都是三维的图像，为了更好的收敛性，算法将输入图像的各个通道均调整到-0.5，0.5，除最后一层外，每一层都会在相应卷积核卷积之后连接ReLU激活层。

11、最后一层在卷积层后没有激活层，以保证更直接的和输出图像产生联系。使用在数据集 上最小化均方差的方法来优化整个模型的权重， (7)其中，正则项又称权重衰减项，其目的是在训练时减小权重的幅度，防止过度拟合。整个网络的结构如图1所示，参照VGGNet15的设计思想，使用33的卷积核作为基本特征提取层，55和77的卷积核用于提取更大尺寸的特征。另外，设计中，要优化设计各层对应的卷积核个数以使各层学习的参数不至于相差太大。输出为3通道的图像数据。图1 卷积神经网络结构考虑到复原需要像素点周围数据信息，输入输出尺寸并不是一致的，其中输入尺寸大小为100100，出尺寸为8080。对于尺度大于8080的图像，

12、训练时，是以图像中心为基准，裁剪8080的中心子区域作为训练集的。网络结构的配置如表1所示。表1 网络结构配置表层数1234567卷积核33333355773333个数1281281286432163非线性处理ReLUReLUReLUReLUReLUReLU无输出尺寸98989696949490908484828280804 训练数据集的准备和模型训练4.1 数据集的准备深度学习网络往往包含数量巨大的参数。本模型中，需要学习的参数数量为649952个，如此众多的参数需要大量的数据集支持。ImageNet 16是一个超过150万带有标签的高分辨率图像集，大概有22000类，我们从中随机截取了10

13、0万张100100大小的样本。 图2 ImageNet数据集示例4.2 模糊图像的生成为了完成训练过程，需要成对的模糊图像和清晰图像。清晰图像即从ImageNet数据集中截取的图像，模糊图像在清晰图像的基础上依照一定的策略对图片进行运动模糊处理。一个人工生成模糊策略是独立的在和方向上进行高斯采样17，长度系数设置为0.3，信号标准差设置为0.25。 (8)这种方法可以方便的生成类似真实模糊的轨迹，我们每生成一批数据，都会在生成的图像的基础上加入随机高斯噪声。人工生成的模糊轨迹的样例如图3所示: 图3 人工生成模糊核轨迹示例4.3 使用随机梯度下降法训练网络训练软件采用自主开发的深度学习框架co

14、coDnn。在资源配置上，CPU为Intel Core i5 3330，GPU为英伟达 GTX1070，Windows10操作系统。训练采用梯度下降法18， (9) (10)其中，为学习率，为在时刻的梯度。为了提高更新稳定性，引入动量的概念，它模拟的是物体运动时的惯性，即更新的时候在一定程度上保留之前更新的方向，同时利用当前的梯度微调最终的更新方向。这样一来，可以增加稳定性，并且还有一定摆脱局部最优的能力： (11)训练时，我们选择为0.9，为0.01。在整个数据集上运行40000个循环，损失函数返回值趋于稳定后，将训练完成的参数保存，即完成基于深度学习的模糊处理模型的训练，该模型可泛化应用于

15、训练集外其它模糊图像的处理。5 验证实验与结果为了直观的评价本文提出模型盲复原的效果，我们采用了文献8中发表的图片，并和其他常用的盲复原方法进行对比，结果如图4所示。图5展示了本文模型对视频监控中模糊图像的复原结果。 (a)模糊图片 (b)fergus et al.2006 (c)jia 200719 (d)本文结果图4 本文方法和其他文献盲复原结果对比 (a) 处理前 (b)处理后 (c) 处理前 (d)处理后图5 使用卷积神经网络复原模糊图片前后对比可以看出，该模型具有较好的复原能力，同时能够一定程度上抑制振铃效应和棋盘效应的产生。对于光照不足的情况（如图5c），受噪声点影响较小，能够在交

16、通监控中出现模糊图像时发挥作用。6 结论本文提出了一种使用深度学习网络去近似盲复原的方法，利用卷积神经网络从大量样本中去自动学习模糊图像盲复原的潜在规律，并将该规律应用于其它模糊的处理，实验结果显示，该方法在实际应用中具有良好的复原效果。另外，通过对训练样本的深度学习自动生成图像处理方法具有良好的拓展应用空间，泛化应用于图像去雾，去噪声等图像处理任务，具有很强的通用性。不同结构/深度的网络对图像结果的影响将是未来需要进一步深入研究的课题。参考文献：1 S.Annadurai and R.Shanmugalakshmi, ”Fundamentals of digital Image Proces

17、sing” J, Pearson education,2009.2 Aizenberg I., Bregin T., Butakoff C., Karnaukhov V., Merzlyakov N.and Milukova O., Type of Blur and Blur Parameters Identification Using Neural Network and Its Application to Image RestorationJ. J.R.Dorronsoro (ed.) Lecture Notes in Computer Science, Vol. 2415, Spri

18、nger-Verlag, Berlin, Heidelberg, New York (2002) 1231-1236.3 Wiener, N., “Extrapolation, interpolation, and smoothing of stationary time series,with engineering applications”J. Journal of the American Statistical Association 47(258) (1949)4 Richardson, W., “Bayesian-based iterative method of image r

19、estoration”J. Journal of the Optical Society of America 62(1) (1972)5 R. Fergus et al., “Removing camera shakefrom a singlephotograph”J. ACM Trans.Graphics 25.3 (2006), pp. 787794.6 S. Cho and S. Lee. , “Fast motion deblurring”J. In: ACM Trans. Graphics 28.5 (2009),p. 145. 7 L. Xu and J. Jia., “Two-

20、Phase Kernel Estimation for Robust Motion Deblurring”J. ComputerVisionECCV2010.Lecture Notes inComputer Science.Springer,2010,pp. 157170. 8Q Shan, J Jia and A Agarwala, “High-quality motion deblurring from a single image” J. Acm Transactions on Graphics,2008,27(3):15-199 Qi Shan, Jiaya Jia, and Asee

21、m Agarwala. , “High-quality motion deblurring from a single Image”J. ACM Transactions on Graphics (TOG), volume 27, page 73. ACM, 2008.10 Mariana S.C. Almeida and Mrio A.T. Figueiredo., “Blind image deblurring with unknown boundaries using the alternating direction method of multipliers”J. ICIP, pag

22、es 586590. Citeseer, 2013.11 Burger, H.C., Schuler, C.J., Harmeling, S., “Image denoising:Can plain neural networks compete with bm3d?” J. CVPR. (2012)12 Xie, J., Xu, L., Chen, E., “Image denoising and inpainting with deep neural networks”J. NIPS. (2012)13 Eigen, D., Krishnan, D., Fergus, R., “ Rest

23、oring an image taken through a window covered with dirt or rain”J. ICCV. (2013)14 A. Krizhevsky,I. Sutskever, “ImageNet Classification with Deep Convolutional Neural Networks”J. Advances in Neural Information Processing System.2012,25(2):201215 K. Simonyan,A. ZissermanVery, “Deep Convolutional Netwo

24、rks for Large-Scale Image Recognition”J.CVPR. (2014)16 A. Berg, J. Deng, and L. Fei-Fei., “Large scale visual recognition challenge 2010”J. www.image-net.org/challenges. 2010.17 CJ. Schuler,M. Hirsch,S. Harmeling,B. Scholkopf, “Learning to DeblurJ.IEEE Transactions on Pattern Analysis & Machine Intelligence,2014,38(7):1-118 M.Zinkevich,M.Weimer,A.Smola,and L.Li., “Parallelized Stochastic Gradient Descent”J. NIPS,201019 JIA,J., Singleimagemotiondeblurringusingtransparency.J.CVPR. (2007)