智能监控 视频分析中异常事件分析应用.docx

1、智能监控 视频分析中异常事件分析应用智能监控 视频分析中异常事件分析应用2014-09-16D1Net视频监控安防点击上方蓝色字体关注。您还可以搜索公众号“D1net“选择关注D1net旗下的各领域（包括云计算，智慧城市，数据中心，大数据，视频会议，视频监控，服务器，存储，虚拟化，软件等）的子公众号。=当今社会是一个人口密集、高度复杂和流动性大的社会，面临的突发事件和异常事件越来越多，其监控的难度和重要性也越来越突出。现有的视频监控系统大多数只是对场景内运动目标的监测和跟踪，进行进一步识别与行为理解等很少。虽然人们不断建造越来越大的视频监控系统，但这些监控系统仍只是提供事后取证录像的工具。然而

2、，监控的目的就是对监视场景中的异常事件或监控对象的行为进行检测与分析。而在长时间视频序列中采用人工的方法处理此类工作既不实用也不经济，因此在视频序列中利用计算机进行视频智能自动检测就显得十分重要。据了解，就目前较成熟的视频异常行为智能检测包括双向越界、单向越界、进入禁区、离开禁区、徘徊、无人值守、骤变、人员聚集、烟雾检测、快速运动、逆行、打架等事件。而异常行为检测的实现方法通常有两类：1、把小概率行为或与先验规则相反的行为看作异常行为。2、把与已知正常行为的模式不匹配的行为看作异常行为。核心算法智能视频分析技术对异常事件进行分析需要核心的算法和技术做支撑，这些核心算法包括：(1) 将人类行为进

3、行建模的虚拟现实的技术；(2)3D建模技术，通过对摄像机场景的实际参照标定构建场景的三维模型，从而能够准确计算出场景中任意物体的高度及任意两点之间的距离，为威胁目标分析提供准确的依据；(3)基于对象的标签分类，能够准确区分人、交通工具和其他对象；(4)基于环境变化的自学习自适应，理解和鉴别行为模式，自学习自适应环境，内置多种环境模型(街道、围墙、水面、雨雪雾天气等等)，能够根据环境的变化自动调节；(5)自检测自保护，在环境能见度低、视场受阻、摄像机角度偏移、视频信号故障、低信号或无信号等异常情况时，立即发出报警；(6)敏感度自适应，根据场景环境持续自学习和自调节参数，确保外部敏感度自适应能力达

4、到724全天候(在各种恶劣环境和照明条件下提供高可靠性的检测，无需外部人工干预调节)。相关技术如下：图像异常检测算法(1)图像信号丢失、被遮挡：检测图像方差。如果方差很小，可以认为图像丢失或者镜头被盖住等现象发生。(2)相机被扭转到新方向： 通过和指定背景进行比对来检测是否发生扭转。(3)图像信号质量下降，如有大量噪点，周期性干扰(横纹等)：对帧差信号进行方差、FFT分析。图像增强算法(1)超分辨率技术，就是使用多张同一物体的低分辨率图像整合成一张高分辨率图像。现在主要应用在公安侦破案件上。例如还原一张较为模糊的车牌或者人脸等。(2)对比度增强、去雾化技术。对于一些“雾蒙蒙”的图像，可以简单地

5、通过直方图平衡或者通过对颜色中的散射成分进行过滤从而提高图像的“清晰度”。应该注意到这些技术手段并没有从源头增强有用信号，而是选取了适合人眼观测习惯的表达方式。所以这些过滤后的信号适合提供给监控人员观看，而不是作为智能视频监控系统的输入。(3)防抖动技术。相机抖动通常是由风吹而引起。在采用长焦镜头的时候，图像抖动更为明显。防抖动有两种思路， 一种是对检测到的抖动进行平滑；另外一种就是争取将图像象钉子钉住一样一动不动。前一种技术适合过滤给监控人员直接观看的信号，后一种是智能视频分析系统所需要的。主流的基于背景建模的运动检测方法需要稳定的输入信号，否则容易在对比强烈的边缘等处产生误报警。运动检测算

6、法(1)固定相机的运动检测：这是主流应用。通常是通过将当前帧和背景模型之间进行比对，发现的差异作为可能的运动物体输入给跟踪模块。算法的差异主要集中在背景模型如何建立，选择何种特征进行前景和背景的比对。混合高斯是经典的背景模型，简单，有一定的自适应性，现在市场上的产品主要采用此方法。在一些特殊场合，例如水面波浪，树枝摆动等场景，混合高斯不一定可以有效处理。这时候就需要采用动态背景或者其他技术手段来更好地进行背景建模，代价是计算量大大增加。采用像素灰度值作为特征进行比对是主流应用。出于过滤阴影、提高信噪比的考虑，也可以使用彩色像素值，但是数据量增大很多。另外也有采用纹理、梯度等特征进行前景、背景比

7、对的。它们对光照突变、阴影不敏感，有助于消除误报警。(2)运动相机(云台)的运动检测：据了解，目前在国内安防领域还没有商业应用。在国外的一些高端监控系统和实验系统上已经有一些尝试。主要是和云台跟踪相配合，甚至是多云台相机之间的配合中采用此技术。跟踪技术(1)单目标跟踪技术：单目标跟踪本质上就是定义、提取目标特征，并预测最新待选区域及目标特征，进而通过寻找匹配极值来锁定目标的过程。目标特征可以选用像素值，Blob几何特征，像素分布特征(直方图、HOG等)，目标的预测、更新过程可以靠Kalman滤波、粒子滤波等过程来驱动。寻找最佳匹配可以通过Camshift，甚至穷尽搜索等方法。(2)多目标跟踪技

8、术：简单地使用“贪婪”匹配就可以完成大多数运动物体的跟踪。但是有时候会出现多个物体和多个Blobs匹配的情况。这时候要按照全局优化的原则来完成多对多的匹配。(3)云台相机的跟踪技术：云台相机跟踪最大的难度来源于运动物体的缩放以及模型的更新。 即使是同一物体，在镜头拉近拉远情况下物体的形态、颜色等特征有很大的差别。容易造成在缩放过程中丢失对运动物体的跟踪。在物体大小基本保持不变的情况下，现在有Camshift，HOG等较为有效的跟踪手段。(4)计数：计数的技术基础是跟踪。难度主要来源于较为拥挤情况下，尤其是对Blob融合、分割需要考虑周全。模式识别技术(1)目标分类技术：主要是识别运动物体是人、

9、人群、自行车(助力车)、汽车还是噪声等种类。典型的手段是通过训练对目标种类形成一些模型定义，然后将新发现的运动物体与模型比对。通用的方法有支持向量机、决策树、神经网络等。当然在上述常见的种类之外，用户可以指定某种特殊物体，如渣土车等，在完成专门训练后就可以进行有针对性的检测。(2)行为识别技术：主要是识别打架、奔跑、跌倒、徘徊、哨兵离岗等简单异常行为。 也可能是收银员的异常操作等较为复杂的行为。主要算法可以是非常有针对性的特定行为的检测；也可以较为通用的方法，如隐形马尔科夫过程等。(3) 车牌识别、集装箱号识别：由于实际应用时间较长，这类技术相对于上述技术而言更成熟些。通常采用决策树、神经网络

10、或者组合技术。应用力求突破在平安城市建设的推动下，安防视频监控应用日趋普及。随着智能化技术的普及使用，市场渐渐不再满足于现有的智能视频分析技术种类，而是寻求更新的算法、更丰富的业务应用、更整体化的系统应用，力求实现在应用的广度、深度上的突破。为此，安防行业已经开始进行对新一代智能视频分析技术的研究，提出了一些新的产品形态、新的应用模式、新的系统架构。这些新技术、新产品正在逐渐与市场结合，探求新的发展空间。一些厂家将一些简单的功能，如跨线、区域入侵、人脸检测等算法直接嵌入到芯片中，从而降低相关产品的开发门槛，进而推动智能视频分析的分布式应用，对网络带宽占用、视频存储空间的降低等方面均会有一定的改

11、观。面临问题目前来看，虽然近年智能视频分析技术迅速发展，应用范围也在不断扩展，市场上已经有了网络监控的各种产品，如网络摄像机、网络矩阵等，但由于这些产品的质量还有待提高，图像看起来有明显的延迟、跳动、不够清晰等缺陷，由于硬件本身性能不够稳定，易出现死机、重启、误漏报等问题。而智能视频分析本身算法的局限，在理想环境下才可实现其全部功能，所以在实际应用中，只能初步实现较简单的功能。目前智能视频分析主要面临以下几个方面问题：第一是技术层面：室外夜间光照不足、恶劣天气、图像压缩处理、网络传输链路带宽受限等因素造成图像质量下降，给安防智能视频分析带来先天困难；目标与背景相似或背景杂乱等导致目标分割以及特

12、征信息提取困难；针对复杂异常行为、事件建模困难，相应的智能分析算法识别性能不高。上述因素容易造成虚假报警、漏报警、跟踪困难等不良后果，制约了智能视频分析应用系统实战性能的提升。第二是产业层面：主要的困惑还是客户对智能视频分析产品的过高期望与该技术的性能表现易受使用条件的限制。由于用户对智能分析这类产品接触不多，对这类产品的效果有疑问。而有的厂家为了能够吸引客户进行夸大宣传，结果实际使用效果与宣传效果不符，使得这些客户对智能视频分析产品再无好感。厂商对产品大部分用户没有认真梳理应用需求；产品研发部门缺乏对安防行业的深入理解，导致智能视频分析产品功能千遍一律，缺乏针对性。再者，缺少权威的标准认证体

13、系，导致用户对产品的性能无法有效把控。第三是市场层面：目前很多智能视频分析产品多是自主研发，而这类企业就需要摊薄早期的开发成本。因此，这类产品在定价方面可能要高于一般客户的承受能力，这也就决定了智能分析产品尤其是行为分析产品只能在监狱、高档小区或者机关重地等具有严格、精准监控需求的地方。只有开展基础、共性的关键技术攻关，为突破智能视频分析深度应用创造条件；做好典型项目的示范作用，引导用户从管理流程上重视智能视频分析提供的信息；深化行业的智能应用，建立“研发+集成商+行业用户”的合作机制，为研发和应用提供一个互动平台；加快制定标准和规范，提高智能视频分析产品性能鉴定的权威性和可操作性，才能为智能

14、视频分析应用推广“保驾护航”，智能视频分析也才能在更多行业、领域得到应用。智能视频分析作为一项仍在不断发展与完善的新技术，如果企业不能迅速建立自己独具特色的核心竞争力和核心产品，想要取得市场的话语权和持续性的发展不是一件容易的事情。目前智能视频分析技术仍处于成长阶段，最大的挑战其实还是来自于技术，这是一个需要能够静下来专心研究做产品和价值的行业，作为产业链底层的技术供应商，最终还是需要靠产品说话。作为视频监控未来发展的必然方向，智能化虽然现在还存在一些问题，但随着计算机技术以及智能技术的发展，这些问题都会得到很好的解决，智能化视频技术将得到更为广泛的应用。1图像异常检测算法当今社会是一个人口密

15、集、高度复杂和流动性大的社会，面临的突发事件和异常事件越来越多，其监控的难度和重要性也越来越突出。现有的视频监控系统大多数只是对场景内运动目标的监测和跟踪，进行进一步识别与行为理解等很少。虽然人们不断建造越来越大的视频监控系统，但这些监控系统仍只是提供事后取证录像的工具。然而，监控的目的就是对监视场景中的异常事件或监控对象的行为进行检测与分析。而在长时间视频序列中采用人工的方法处理此类工作既不实用也不经济，因此在视频序列中利用计算机进行视频智能自动检测就显得十分重要。据了解，就目前较成熟的视频异常行为智能检测包括双向越界、单向越界、进入禁区、离开禁区、徘徊、无人值守、骤变、人员聚集、烟雾检测、

16、快速运动、逆行、打架等事件。而异常行为检测的实现方法通常有两类：1、把小概率行为或与先验规则相反的行为看作异常行为。2、把与已知正常行为的模式不匹配的行为看作异常行为。核心算法智能视频分析技术对异常事件进行分析需要核心的算法和技术做支撑，这些核心算法包括：(1) 将人类行为进行建模的虚拟现实的技术；(2)3D建模技术，通过对摄像机场景的实际参照标定构建场景的三维模型，从而能够准确计算出场景中任意物体的高度及任意两点之间的距离，为威胁目标分析提供准确的依据；(3)基于对象的标签分类，能够准确区分人、交通工具和其他对象；(4)基于环境变化的自学习自适应，理解和鉴别行为模式，自学习自适应环境，内置多

17、种环境模型(街道、围墙、水面、雨雪雾天气等等)，能够根据环境的变化自动调节；(5)自检测自保护，在环境能见度低、视场受阻、摄像机角度偏移、视频信号故障、低信号或无信号等异常情况时，立即发出报警；(6)敏感度自适应，根据场景环境持续自学习和自调节参数，确保外部敏感度自适应能力达到724全天候(在各种恶劣环境和照明条件下提供高可靠性的检测，无需外部人工干预调节)。相关技术如下：图像异常检测算法(1)图像信号丢失、被遮挡：检测图像方差。如果方差很小，可以认为图像丢失或者镜头被盖住等现象发生。(2)相机被扭转到新方向： 通过和指定背景进行比对来检测是否发生扭转。(3)图像信号质量下降，如有大量噪点，周

18、期性干扰(横纹等)：对帧差信号进行方差、FFT分析。图像增强算法(1)超分辨率技术，就是使用多张同一物体的低分辨率图像整合成一张高分辨率图像。现在主要应用在公安侦破案件上。例如还原一张较为模糊的车牌或者人脸等。(2)对比度增强、去雾化技术。对于一些“雾蒙蒙”的图像，可以简单地通过直方图平衡或者通过对颜色中的散射成分进行过滤从而提高图像的“清晰度”。应该注意到这些技术手段并没有从源头增强有用信号，而是选取了适合人眼观测习惯的表达方式。所以这些过滤后的信号适合提供给监控人员观看，而不是作为智能视频监控系统的输入。(3)防抖动技术。相机抖动通常是由风吹而引起。在采用长焦镜头的时候，图像抖动更为明显。

19、防抖动有两种思路， 一种是对检测到的抖动进行平滑；另外一种就是争取将图像象钉子钉住一样一动不动。前一种技术适合过滤给监控人员直接观看的信号，后一种是智能视频分析系统所需要的。主流的基于背景建模的运动检测方法需要稳定的输入信号，否则容易在对比强烈的边缘等处产生误报警。运动检测算法(1)固定相机的运动检测：这是主流应用。通常是通过将当前帧和背景模型之间进行比对，发现的差异作为可能的运动物体输入给跟踪模块。算法的差异主要集中在背景模型如何建立，选择何种特征进行前景和背景的比对。混合高斯是经典的背景模型，简单，有一定的自适应性，现在市场上的产品主要采用此方法。在一些特殊场合，例如水面波浪，树枝摆动等场

20、景，混合高斯不一定可以有效处理。这时候就需要采用动态背景或者其他技术手段来更好地进行背景建模，代价是计算量大大增加。采用像素灰度值作为特征进行比对是主流应用。出于过滤阴影、提高信噪比的考虑，也可以使用彩色像素值，但是数据量增大很多。另外也有采用纹理、梯度等特征进行前景、背景比对的。它们对光照突变、阴影不敏感，有助于消除误报警。(2)运动相机(云台)的运动检测：据了解，目前在国内安防领域还没有商业应用。在国外的一些高端监控系统和实验系统上已经有一些尝试。主要是和云台跟踪相配合，甚至是多云台相机之间的配合中采用此技术。跟踪技术(1)单目标跟踪技术：单目标跟踪本质上就是定义、提取目标特征，并预测最新

21、待选区域及目标特征，进而通过寻找匹配极值来锁定目标的过程。目标特征可以选用像素值，Blob几何特征，像素分布特征(直方图、HOG等)，目标的预测、更新过程可以靠Kalman滤波、粒子滤波等过程来驱动。寻找最佳匹配可以通过Camshift，甚至穷尽搜索等方法。(2)多目标跟踪技术：简单地使用“贪婪”匹配就可以完成大多数运动物体的跟踪。但是有时候会出现多个物体和多个Blobs匹配的情况。这时候要按照全局优化的原则来完成多对多的匹配。(3)云台相机的跟踪技术：云台相机跟踪最大的难度来源于运动物体的缩放以及模型的更新。 即使是同一物体，在镜头拉近拉远情况下物体的形态、颜色等特征有很大的差别。容易造成在

22、缩放过程中丢失对运动物体的跟踪。在物体大小基本保持不变的情况下，现在有Camshift，HOG等较为有效的跟踪手段。(4)计数：计数的技术基础是跟踪。难度主要来源于较为拥挤情况下，尤其是对Blob融合、分割需要考虑周全。模式识别技术(1)目标分类技术：主要是识别运动物体是人、人群、自行车(助力车)、汽车还是噪声等种类。典型的手段是通过训练对目标种类形成一些模型定义，然后将新发现的运动物体与模型比对。通用的方法有支持向量机、决策树、神经网络等。当然在上述常见的种类之外，用户可以指定某种特殊物体，如渣土车等，在完成专门训练后就可以进行有针对性的检测。(2)行为识别技术：主要是识别打架、奔跑、跌倒、

23、徘徊、哨兵离岗等简单异常行为。 也可能是收银员的异常操作等较为复杂的行为。主要算法可以是非常有针对性的特定行为的检测；也可以较为通用的方法，如隐形马尔科夫过程等。(3) 车牌识别、集装箱号识别：由于实际应用时间较长，这类技术相对于上述技术而言更成熟些。通常采用决策树、神经网络或者组合技术。2应用力求突破应用力求突破在平安城市建设的推动下，安防视频监控应用日趋普及。随着智能化技术的普及使用，市场渐渐不再满足于现有的智能视频分析技术种类，而是寻求更新的算法、更丰富的业务应用、更整体化的系统应用，力求实现在应用的广度、深度上的突破。为此，安防行业已经开始进行对新一代智能视频分析技术的研究，提出了一些

24、新的产品形态、新的应用模式、新的系统架构。这些新技术、新产品正在逐渐与市场结合，探求新的发展空间。一些厂家将一些简单的功能，如跨线、区域入侵、人脸检测等算法直接嵌入到芯片中，从而降低相关产品的开发门槛，进而推动智能视频分析的分布式应用，对网络带宽占用、视频存储空间的降低等方面均会有一定的改观。面临问题目前来看，虽然近年智能视频分析技术迅速发展，应用范围也在不断扩展，市场上已经有了网络监控的各种产品，如网络摄像机、网络矩阵等，但由于这些产品的质量还有待提高，图像看起来有明显的延迟、跳动、不够清晰等缺陷，由于硬件本身性能不够稳定，易出现死机、重启、误漏报等问题。而智能视频分析本身算法的局限，在理想

25、环境下才可实现其全部功能，所以在实际应用中，只能初步实现较简单的功能。目前智能视频分析主要面临以下几个方面问题：第一是技术层面：室外夜间光照不足、恶劣天气、图像压缩处理、网络传输链路带宽受限等因素造成图像质量下降，给安防智能视频分析带来先天困难；目标与背景相似或背景杂乱等导致目标分割以及特征信息提取困难；针对复杂异常行为、事件建模困难，相应的智能分析算法识别性能不高。上述因素容易造成虚假报警、漏报警、跟踪困难等不良后果，制约了智能视频分析应用系统实战性能的提升。第二是产业层面：主要的困惑还是客户对智能视频分析产品的过高期望与该技术的性能表现易受使用条件的限制。由于用户对智能分析这类产品接触不多

26、，对这类产品的效果有疑问。而有的厂家为了能够吸引客户进行夸大宣传，结果实际使用效果与宣传效果不符，使得这些客户对智能视频分析产品再无好感。厂商对产品大部分用户没有认真梳理应用需求；产品研发部门缺乏对安防行业的深入理解，导致智能视频分析产品功能千遍一律，缺乏针对性。再者，缺少权威的标准认证体系，导致用户对产品的性能无法有效把控。第三是市场层面：目前很多智能视频分析产品多是自主研发，而这类企业就需要摊薄早期的开发成本。因此，这类产品在定价方面可能要高于一般客户的承受能力，这也就决定了智能分析产品尤其是行为分析产品只能在监狱、高档小区或者机关重地等具有严格、精准监控需求的地方。只有开展基础、共性的关

27、键技术攻关，为突破智能视频分析深度应用创造条件；做好典型项目的示范作用，引导用户从管理流程上重视智能视频分析提供的信息；深化行业的智能应用，建立“研发+集成商+行业用户”的合作机制，为研发和应用提供一个互动平台；加快制定标准和规范，提高智能视频分析产品性能鉴定的权威性和可操作性，才能为智能视频分析应用推广“保驾护航”，智能视频分析也才能在更多行业、领域得到应用。智能视频分析作为一项仍在不断发展与完善的新技术，如果企业不能迅速建立自己独具特色的核心竞争力和核心产品，想要取得市场的话语权和持续性的发展不是一件容易的事情。目前智能视频分析技术仍处于成长阶段，最大的挑战其实还是来自于技术，这是一个需要能够静下来专心研究做产品和价值的行业，作为产业链底层的技术供应商，最终还是需要靠产品说话。作为视频监控未来发展的必然方向，智能化虽然现在还存在一些问题，但随着计算机技术以及智能技术的发展，这些问题都会得到很好的解决，智能化视频技术将得到更为广泛的应用。