视频云存储方案.docx
《视频云存储方案.docx》由会员分享，可在线阅读，更多相关《视频云存储方案.docx（16页珍藏版）》请在冰点文库上搜索。
视频云存储方案
视频监控系统整合
云存储方案
2021年11月
一、前言
1.1物联网与视频监控
当前，物联网技术在社会公共平安领域的综合应用时机已逐渐成熟。
视频监控技术是物联网技术的重要组成局部，是感知安防的主要手段。
视频监控也是应用历史相对较长、技术密集度较大的应用领域。
在信息化建立深化开展的背景下，现有视频监控网络存在着缺乏深度应用的形式、监控网的智慧化程度不高、系统建立的投入产出比低等突出问题。
如何用新技术改造现有的视频监控网络，使之能更好地适应物联网时代视频监控智慧化、情报化的应用需求已迫在眉睫。
视频监控系统作为面向城市公共平安综合管理的物联网应用中智慧安防和智慧交通的重要组成局部，面临着深度应用的宏大挑战。
其应用的瓶颈是视频信息如何高效提取，如何同其他信息系统进展标准数据交换、互联互通及语义互操作。
解决这一问题的核心技术即是视频构造化描绘技术。
用视频构造化描绘技术改造传统的视频监控系统，使之形成新一代的视频监控系统———智慧化、语义化、情报化的语义视频监控系统。
视频监控应用和技术的瓶颈
视频监控系统在社会管理和案件侦破等工作中有着不可替代的作用。
粗略估算，"十一五"期间全国各地投入到视频监控系统建立的资金约为数十亿元。
视频监控系统无论在数目还是在建立资金的规模上都非常庞大。
目前视频监控系统应用中存在一些突出问题：
1.缺少视频信息情报的标准化生成方法，进而缺少利用视频信息情报指导侦查、破案的新型警务工作形式。
2.视频信息的跨域、跨警种共享以及与其他信息系统的互联互通问题突出，跨系统的语言不统一造成信息成为一个个的孤岛，限制了大情报、大信息系统的建立及应用。
3.存储传输的问题、由于要节省大量的存储空间及传输带宽的限制，不得不对视频数据进展大量压缩，不仅造成图像模糊的问题，而且视频压缩时固定压缩比的方式不够灵敏，不得不占用大量的存储空间及传输带宽。
4.高效计算的问题。
由于视频监控要求计算的多功能性和实时性，而视频数据的特殊性，带来计算本钱的增加，需要构建统一的用于视频监控的视频计算理论和框架。
5.视频信息化情报化警务应用各环节缺乏统一的标准和标准。
所有这些问题的根本在于对视频内容的不理解，没有一个高效的、标准化的视频数据交换和视频情报提取的方法。
解决这些实际问题，需要对视频构造化描绘及以此技术为核心的新型视频监控系统构建进展重点研究。
视频构造化描绘技术的目的及应用前景
视频构造化描绘技术紧紧抓住视频内容信息处理和网络化共享应用的主线，力争经过假设干年的技术攻关和系统建立，全面实现监控视频信息的情报化、视频监控网络的智慧化，强化警务视频应用的普适性。
即实现以机器自动处理为主的视频信息处理和分析，并且通过技术手段转化为可用的情报；实现监控网络之间、终端之间、警种之间的信息共享和主动互操作，实现主动监控、自动联网分析等网络功能；全方位拓展视频在警务工作中的应用形式，大幅度进步技术的易用性，实现以业务民警为中心的随时随地的灵敏、简单和多样的视频按需效劳应用。
从应用前景看，视频监控技术所面临的宏大市场潜力为视频构造化描绘提供了广阔的应用前景。
IDG的研究报告显示，2021年中国视频监控市场的总体规模已达181亿美元。
当前，许多国外公司已经瞄准了我国的视频监控市场。
全面开展视频构造化描绘技术研究和产品开发，建立完全自主知识产权的技术体系，不但对我国安防行业的安康开展极为重要，也可以大力带动相关芯片制造、软硬件产品开发等一大批民族产业的安康开展。
视频构造化描绘技术及其开展战略
视频构造化描绘是一种视频内容信息提取的技术，它对视频内容按照语义关系，采用时空分割、特征提取、对象识别等处理手段，组织成可供计算机和人理解的文本信息的技术。
从数据处理的流程看，视频构造化描绘技术可以将监控视频转化为人和机器可理解的信息，并进一步转化为实战所用的情报，实现视频数据向信息、情报的转化。
为实现视频数据向视频情报的转化，建议采用以下三大举措打破制约视频监控建立和应用的深层问题。
1.研究关键技术，打破应用难题。
在研究业务部门视频应用规律的根底上，建立监控视频构造化描绘的模型，攻克一批涉及视频分割、内容提取、内容描绘的关键技术。
研究涉及关键应用的描绘数据库管理技术、图像视频语义检索技术和相应的数据效劳技术。
2.加强顶层设计，同步构建标准体系。
标准化是信息共享的根底。
通过对视频构造化技术自身特点和应用形式的研究，建立有关视频构造化描绘的标准体系模型，制定覆盖技术实现和应用系统的标准化体系，有步骤地制定相关标准，以标准技术研究和设备开发，指导系统建立、运行以及评估的各个方面，从源头上为视频信息情报化应用的全面展开打好根底。
3.有步骤地开展视频信息情报化系统平台的建立，逐步推动信息资源之间的整合应用。
开展有关视频构造化描绘数据的应用效劳形式研究，制定视频构造化应用的系统及解决方案，并针对一到两个典型的应用环境，建立应用示范系统。
通过系统的建立和运行，验证有关视频构造化描绘系统的解决方案，探究视频监控网络与业务专网之间的数据交互和效劳交互问题，尝试与其他信息系统的资源整合。
1.2工程运用背景
随着视频采集、编码技术不断开展，ITS系统中图片和视频文件明晰度越来越高，随之而来的是对存储空间的需求也呈几何级数增长。
面对庞大的数据量，以下几个问题亟待解决
容量扩展的技术和本钱
通常来说，图片信息需要在短期内〔一年〕保存，随着卡口和监控点数量将不断增加，需要保存的数据量将飞快增长。
传统ITS系统存储架构，存在着容量扩展困难、扩展本钱高、且随着设备数量增加难以统一管理等诸多问题。
需要先进完善的ITS存储架构加以解决。
存储系统性能瓶颈
面对日益增长的庞大数据量和高清化的趋势，前端摄像头采集的数据本身将沉着量和并发性能两个方面带来业务上的压力，传统方案中存储系统性能有限，越来越难满足增长的需求，如此一来，ITS系统对资料进展读写时将消耗系统较多资源，潜在影响系统整体性能，表现出访问延时增大等问题。
难以统一管理
随着数据量的规模增长，很容易到达单套存储系统的容量上限。
在很多情况下，已经需要多套存储系统提供空间，而跨系统的数据无法进展统一的管理。
存储成为一个个信息孤岛，无法有机的交融成一体的存储资源池。
同时，随着设备数量的增加，设备状态的监控和日常维护也渐渐成为一个不可无视的技术挑战。
云计算/云存储是并行计算、分布式计算、网络存储、虚拟化、等传统计算机技术和网络技术开展交融的产物，通过网络对IT资源进展大规模集中建立和共享管理,实现各种IT应用及资源的集中供应。
云存储具有弹性扩展，按需分配，自动负载平衡以及更高级别的可靠性等显著优点，支持超大存储容量、超高聚合性能、便捷的共享方式以及统一管理等需求，可从体系构造上有效解决ITS系统中传统存储存在的一些问题。
二、云计算和云存储
2.1云计算的概念
云存储是在云计算概念的根底上开展出来的，要想搞清楚什么是云存储，首先要弄清云计算的概念。
云计算〔CloudComputing〕的概念提出较早，但一直到2007年才有一个较为明晰的定义。
目前较为流行的说法是云计算是一种新兴的商业计算模型，他是从对等计算〔P2PComputing〕、分布计算〔DistributedComputing〕、网格计算〔GridComputing〕等概念的根底上开展来的。
它将计算任务分布在大量计算机构成的资源池上，使各种应用系统可以根据需要获取计算力、存储空间和各种软件效劳。
商业化是云计算一个非常重要的特征。
对广阔互联网客户来说，如何使用云资源，如何把云计算转化成商业利润非常重要。
云计算是以效劳的形式提供应个人和企业用户。
目前主要有三种云效劳的形式，如下列图所示：
2.2云存储的概念和技术优势
云存储是在云计算概念上衍生和开展出来的一种技术或者效劳。
将网络中各类存储设备聚集在云计算系统当中，通过云计算的概念组织起来协同工作，对外提供数据存储和业务访问的功能，或与存储相关的增值应用，即称为云存储。
私有云存储是一个新型的云状构造的存储系统系统，这个存储系统由多个效劳器及存储设备组成，通过集群功能、分布式文件系统和类似网格计算等功能结合起来协同工作，并通过特定的应用软件或应用接口，对用户提供存储效劳和访问效劳。
当我们使用独立存储设备时，我们必须非常清楚这个存储设备是什么型号，什么接口和传输协议，必须清楚地知道存储系统中有多少块磁盘，分别是什么型号、多大容量，必须清楚存储设备和效劳器之间采用什么样的连接线缆。
为了保证数据平安和业务的连续性，我们还需要建立相应的数据备份系统和容灾系统。
除此之外，对存储设备进展定期地状态监控、维护、软硬件更新和晋级也是必须的。
假如采用云存储，那么上面所提到的一切对使用者来讲都不需要了。
云存储系统中的所有设备对使用者来讲都是完全透明的，任何一个经过受权的使用者都可以通过一根接入线缆与云存储连接，对云存储进展数据访问。
云存储带给用户的好处是显而易见的：
1.更低的扩展本钱：
任何共享存储架构不外乎有两种方式，开放的云存储系统和封闭的IPSAN存储。
在需要解决新问题的时候，封闭的架构限制了用户在技术、本钱、功能和可用性方面的选择，将用户锁定在某一个品牌上，使其只能向单一厂商采购。
相反，云存储其本质就是开放的架构，更佳的本钱效率使其易于管理和扩展。
不限制其接入主机的数量。
所有的存储效劳由云存储系统集中提供，从而消除了通过增加效劳器扩展系统时的隐含的本钱。
增加存储容量与增加效劳器类似，云存储系统对于它可以管理的容量和它可以建立的卷的数量没有实际的限制，用户可以自由选择他们想要进步容量的任何存储厂商以及将来需要增加的必要的数据效劳。
2.进步业务灵敏性：
云存储可以实现用户控制、按需分配的存储容量和性能。
用户可以按照需求轻松的扩展容量，从而大大降低了对存储的依赖性，进步了业务灵敏性。
3.进步性能：
云存储一般一个数据要在多个地方存放，以进步数据的平安性。
这样在读取的时候，云存储管理系统应该可以控制在多个地方同时读写，从而到达性能的线性提升。
三、云存储产品介绍
3.1云存储核心产品
私有云解决方案的云存储核心产品为大规模分布式存储系统。
可以以大量的通用效劳器和存储设备为根底，构建一个大规模存储集群，提供上百PB的存储容量，并可以方便的进展容量的扩大，具有良好的弹性调整性能。
3.2架构
Master（支持HA〕
管理文件系统的元数据〔包括文件目录树组织、属性维护、文件操作日志记录、受权访问等〕；管理整个存储系统的命名空间，对外提供单一的系统映像；文件读写调度;文件空间回收;多节点拷贝。
ChunkServers
管理磁盘和卷;存储用户的文件数据;是整个UFS存储系统的存储资源提供者;为客户提供数据传输;由多个物理效劳器组成;数据存储目录，看不见实际的数据〔只有带编号的目录及文件〕
客户端〔计算节点〕
挂接分布式文件系统；一般是应用效劳器；客户端可以是各种类Unix、Linux，也可以是Windows
UCSG〔云存储网关〕
以Active-Active方式提供其他非客户端的标准文件协议访方式，支持NFS、CIFS协议。
UFSM〔WebGui，界面管理系统〕
3.3优势及特点
系统具有以下优势及特点
●高性能，弹性扩展：
–可支持200个以上的存储节点，到达数十PB的存储容量，高效管理上百亿个文件，单目录可以有效支持千万级的文件数量。
–对外聚合带宽随节点数线性增长，高效数据读写技术和文件查询技术可以提供高达400Gbps的稳定聚合带宽以及每秒数十万个的文件查询效率。
●高智能，易管理：
–智能负载平衡技术，保证数据在多个存储节点之间形成最优化存储，进步每台设备的存储利用率，网络传输效率，保证整体性能最优；
–当数据节点动态增加时，系统可以明晰的自动识别这一变化，并将数据流按照一定规那么分布到新参加到数据节点中，进步整体性能。
●高可用：
–系统全冗余技术〔包括元数据效劳器集群、存储效劳器集群、网关集群〕，不存在单点故障，保证了系统的高可用特性。
–独有的自动故障探测和高效的自动恢复和容错技术，可同时使用多条高速数据通道，消除网络层的单点故障，进一步进步系统的高可用性。
–根据用户的平安要求，数据块存在多个副本，保证单个数据节点损坏时不会产生数据丧失。
用户可配置数据冗余策略。
四、现有存储与云存储比照
4.1现有存储系统构造
分析：
现有存储是通过ISCSI将磁盘阵列挂载到存储效劳器上〔IP存储阵列〕来实现。
这种存储方式的缺点主要有以下一些
1.单一实体，PC架构或者运行Windows、Linux以及存储软件的专用设备，或者是带IP连接的专有RAID系统
2.通过安装额外的软件模块来增加额外的存储效劳，进展数据访问时须消耗磁盘阵列一定的资源，读写性能受影响
3.通常需要大量的高速缓存用以补偿在随机读写时较低的磁盘性能
4.兼容性差，IPSAN存储具有单一性，不能与其它厂商的IPSAN存储互操作，不支持异构环境
5.数据平安无保障，即使做了RAID，出现一块磁盘损坏须进展长时间校验恢复操作，严重影响存储读写性能，假如出现两块或以上硬盘的损坏那么整个磁盘阵列的数据将全部丧失
6.大容量的系统中，这种方式构建的存储没有统一管理的机制，无法实时监控各存储设备的运行状态
4.2云存储构造
说明：
在物理连线上与现有存储系统相似，但是工作方式完全不同。
分析：
智能交通平台与云存储系统的契合点就是平台中的存储效劳器，在存储效劳器上安装云存储系统客户端软件，将云存储空间提供应存储效劳器使用。
相比拟现有存储系统，云存储有以下一些优点
1.按需扩展。
实际应用中，工程需要扩容时，只须将新增存储设备作为ChunkServer参加云存储系统中即可实现存储扩容。
2.在云存储系统中，数据大小、存放位置等构造化数据全部由Master管理，磁盘阵列〔ChunkServer〕只负责实际数据的读写，进步了磁盘阵列自身的性能。
3.无论是随机还是顺序读写，性能都是线速的，具备较高载荷性能。
4.高可靠。
Master端采用双机热备方式实现对元数据的保护；Chunkserver端按照数据重要性设置复制因子，实现对数据的冗余保护。
5.提供界面管理系统，对系统内所有设备统一管理，且实时监控运行状态。
4.3两种存储方式详细比拟
Ø性能
IPSAN存储阵列
在所有的ISCSI存储形式中，与存储访问性能相比，网络的性能通常可以忽略不计。
这一点对于选择一个可以处理所有接入效劳器随机读写恳求的存储解决方案是非常重要的。
随机读写性能比顺序读写性能更具重要性。
IPSAN存储产品一般被设计为一个RAID控制器下连接8到15颗SATA或ATA的磁盘驱动器，通常使用512MB高速缓存。
根据不同的厂商，IPSAN存储的性能被设定在顺序每秒IO为100MB到200MB之间，但是在一个多效劳器环境中，顺序读写性能对于读取数据周期，备份操作或者数据复制会话而言是不实在际的。
所有已连接效劳器的随机IO恳求可能会使IP存储阵列中的高速缓存处于饱和状态，因为对于大量的读写恳求，磁盘驱动器无法实现足够地快速响应。
这同时会导致内存溢出或者过多的经由网络层的重复发送恳求。
这种情况会导致网络过载，并且使得IPSAN存储的性能急剧下降。
当增加更多的效劳器以及通过增加磁盘驱动器或者网络上额外的链接存储扩展存储空间时，这种情况会变得更加严重。
另外，当逻辑卷物理地分散在网络中多个独立的存储上时，IPSAN存储的随机读写性能可以显著地影响效劳器性能。
假如需要的数据不在效劳器相应的主IPSAN存储的挂载卷上，那么这台阵列必须从网络上的其它存储阵列上读写数据块，然后通过其自身传递该数据块并且转发到效劳器，这就是“IO跳跃〞，其相当程度地影响了效劳器性能。
在读写数据操作期间，特别是在随机条件下，“IO〞跳跃可以导致性能降低到原来的三分之一。
一些阵列厂商，很大程度上依靠增加高速缓存或者IPSAN存储的数量来弥补可怜的磁盘性能，但是高速缓存只有在全部效劳器的总体性能要求总是低于存储系统所能提供的性能时才是有用的；假如不是这样，高速缓存将会饱和，并且使得应用效劳器显著变慢。
而且高速缓存没有得到很好地保护，任何电力问题都会引起高速缓存中的数据丧失或者被损坏，从而导致数据不可用。
云存储系统
云存储系统被设计为可以支撑高水品的随机读写操作，可以向多台互相独立的存储阵列同时读写数据，不象IPSAN存储由于其内部接入过多的存储空间导致“IO跳跃〞，从而使性能显著降低。
由于存储卷在多台独立的存储系统上展开，并且可以不通过其它控制器层传输数据而直接访问那些存储系统，云存储系统可以对那些存储系统保持线速性能，而不管数据存放的位置。
有关性能的结论
IPSAN存储的性能受限于作为阵列一局部的磁盘驱动类型和高速缓存。
IPSAN存储的数据卷被扩展至围绕以太网连接的多台对等阵列控制器上时，其性能可下降至不可承受的40MBs以下。
云存储系统不受限于任何类型或品牌的存储阵列。
此外，云存储系统性能不会因为增加更多的阵列扩展存储空间而受到影响，事实上，云存储的性能可以随着阵列的增加而进步，这是因为随机读写恳求可以被扩展并且同时被多台存储系统同时处理。
Ø数据平安
IP存储阵列
IPSAN存储存在数据可用性问题，因为其自身将成为一个单故障点。
假如出于任何原因，连接IPSAN存储的网络，RAID控制器，电源或者磁盘总线失效，那么所有使用其数据的效劳器将不能在效劳其客户端。
一些阵列装备了冗余部件以减少由于电源，控制器或磁盘失效导致系统失效的可能性。
但是IPSAN存储仍然在一个单独的阵列中保存了所有数据，因此无法保护由水灾、火灾、网络中断、停电、人为破坏和盗窃造成的系统失效和数据丧失。
云存储系统
比照IPSAN存储，云存储系统利用群集技术在多台ChunkServer之间建立失效切换和失效恢复场景，除了系统冗余之外，对互相独立的存储系统进展实时〔同步〕数据镜像，提供了极高的持续和容错数据环境，有效防止数据丧失，同时Master支持HA。
Ø隐性本钱
IP存储阵列
IPSAN存储是封闭的架构。
整个系统只是用于单一厂商，并且不能与其它设备、存储系统，或者IPSAN存储互操作。
一旦用户选择购置了某一IPSAN存储解决方案，假如用户打算扩展更多的应用效劳，存储效劳或数据容量，他们必须继续从一样的厂商购置产品。
IPSAN存储厂商锁住了用户，不允许他们从下降的存储本钱、新存储技术或其它可能满足工业标准或业务需要产品和功能中收益。
云存储系统
云存储系统本质就是开放的架构，更佳的本钱效率使其易于管理和扩展
1）增加应用效劳器
云存储不限制其接入的主机数目，对于每一台增加的效劳器不需要软件代理或答应费。
用户不需要任何与云存储系统有关的投入就可以对应用效劳器进展扩展。
2）增加存储容量
增加存储容量与增加效劳器类似。
云存储系统对于它可以管理的容量没有实际上的限制。
当增加更多的磁盘驱动器，磁盘柜或者阵列以增加可用容量时，不会产生与云存储相关的本钱。
用户可以自由选择他们想要进步容量的任何存储厂商，并且可以充分地从不断下降的磁盘/容量价格中获得利益。
五、基于云的云存储解决方案
5.1方案背景及概述
图片系统存储总量估算：
大型城市规模在500个路段上建有卡口设备，每个卡口设备平均每天有2万条过车记录，每条过车记录包含1张1M的照片，通常图片需要保存一年以上。
按照此规模，存储总量将到达500*20000*1Mb*365天。
根据系统的存储需求，采用云海创想的作为海量存储系统。
整套系统由安装在用户效劳器处的Client及在后台运营Master（Metadata）Server、ChunkServer、ManagementServer组成。
●存储效劳器及分析效劳器处安装Client软件包，由它来连接后台的Server。
Client是提供的客户端软件,用户通过它来访问UFS提供的存储空间。
●MasterServers为UFS系统的元数据效劳器，管理文件系统的元数据〔包括文件目录树组织、属性维护、文件操作日志记录、受权访问等〕，管理整个存储系统的命名空间，对外提供单一的系统映像。
●ChunkServers为UFS的存储效劳器，管理磁盘和卷，存储用户的文件数据，是整个UFS存储系统的存储资源实际提供者。
●ManagementServer即UFS文件系统管理平台，统一管理UFS系统中的集群节点、文件、日志、告警、网关等。
●用户也可以通过API或UCSG〔云存储网关〕方式连接效劳器，WebClient提供根本的文件管理功能。
利用阅读器来对数据进展管理，实现上传下载，分发共享等功能。
●除了Client，用户也可以使用各种API或UCSG〔云存储网关〕来访问存储，UCSG利用标准协议进展访问，不需要在应用效劳器端安装软件。
支持的访问协议包括NFSv2/3协议，CIFS〔兼容WindowsXP、Windows2000、Windows2003、Windows7等等〕协议，FTP以及HTTP协议。
5.2方案拓扑图
5.3功能特色
本方案具有以下优势及特点：
●高性能，易扩展，满足用户海量存储需求
最大可支持200个以上的存储节点，到达数十PB的存储容量，高效管理上百亿个文件，单目录可以有效支持千万级的文件数量，可以满足用户对海量存储空间的需求。
对外聚合带宽随节点数线性增长，高效数据读写技术和文件查询技术可以提供高达400Gbps的稳定聚合带宽以及每秒数十万个的文件查询效率。
所有文件在写入文件系统时进展了分块处理，用户可以同时读取多个数据块，以进步数据读取效率。
在容量或带宽缺乏时，可以通过添加数据节点进展在线扩展，无需中断业务运行。
●智能化平台，易于管理，有效降低用户整体拥有本钱
当数据节点动态增加时，系统可以明晰的自动识别这一变化，并将数据流按照一定规那么分布到新参加到数据节点中；当有新的用户申请数据存储时，系统同样会根据当前所有数据结点的负载情况，动态分配适宜的数据结点给用户使用。
这些智能负载平衡技术，保证数据在多个存储节点之间动态分配，进步每台设备的带宽、存储利用率，以及网络传输效率，保证整体性能到达最优。
具有简单易用的多语言图形化管理和监控界面，支持通过专用的平安通道进展远程配置和全系统监控。
采用全局命名空间，所有应用效劳器看到一致视图，方便用户数据的统一管理。
同时，具有多个实用的小工具，如快照、回收站等，降低维护难度。
●全方位高可用设计，最大程度保证业务连续性
系统关键系统均采用了全冗余设计〔包括元数据节点集群、存储节点集群、网关集群〕，不存在单点故障，保证了系统的高可用性。
独有的自动故障探测和高效的自动恢复和容错技术，可同时使用多条高速数据通道，消除网络层的单点故障，进一步进步系统的高可用性。
根据用户的平安要求，数据块可保存多个副本，保证某些硬盘和数据节点损坏时不会产生数据丧失。
以上设计最大程度保证了业务结连性。
六、云存储其它运用
升级会员 