视音频资产存储管理系统解决方案1doc.docx
《视音频资产存储管理系统解决方案1doc.docx》由会员分享,可在线阅读,更多相关《视音频资产存储管理系统解决方案1doc.docx(8页珍藏版)》请在冰点文库上搜索。
视音频资产存储管理系统解决方案1doc
视音频资产存储管理系统解决方案1
视音频资产管理系统解决方案
1.资料管理现状
中国广播电视事业历经半个世纪的发展和几代人的艰苦努力,已经形成了大量高水平、高质量、具有历史收藏价值的音像节目和视音频素材资料。
随着时间的延续这些资料的保存价值和重要性也随着突显出来。
首先,这些视音频资料需要更安全可靠和长效的介质保存;其次这些宝贵资料更需要合理有效的存储管理系统,使它们完整有序、便于检索、并能够方便快捷地提供全方位的音像信息服务,充分发挥这些视音频资料的实用价值。
2.高新技术的应用
资料管理工作早以走过了"卡片索引+手工检索"的历史阶段,引进先进的技术手段是必然的选择。
模拟制式将最终被数字制式替代,数字流磁带和数字化存储将成为节目保存的主流。
数字化技术在节目的录制、编辑和播出业务普遍应用,将有效的提高节目保存和播出的质量,海量存储技术也为视音频资料的数字化提供了大规模存储的基础。
3.对资料管理的要求
信息化在知识经济时代的深入,情报和信息工作对节目资料的检索和再利用提出更高的要求,编导在制作节目时,要查阅库存中同类或相似的节目资料以便参考和再利用;逐渐增多的行业内部交流更需要节目资料共享;随着远程宽带网络的飞速发展,我们所拥有的丰富资源必将通过网上节目交流而产生巨大的经济效益和社会效益。
第一章方案综述
本章首先阐述了建设视音频资料存储管理系统的必要性和迫切性;然后,对系统业务需求进行分析;最后,提出系统总体建设目标和设计原则
1.1建设视频资料管理系统的必要性
∙视音频资料管理系统现状:
数量大、价值高
一般的媒体用户均拥有了几万小时的节目资源,而且每年还再不断增加。
资料越来越多,种类日趋齐全,其有形价值和无形资产均不能以金钱去衡量。
∙资料库房的面积小,密度大,物理条件差
由于历史原因,库房条件不是很理想,条件不满足磁带的长期保存要求,极易造成资料的损失。
∙资料管理现代化的条件已具备:
技术的进步,编导需求,有应用基础
综合上面的几点资料使用情况,说明建立一个资料丰富,保存条件好,编目完备的现代化视音频资料存储管理系统已经刻不容缓。
1.2业务需求分析
现有系统保存了一大批具有历史意义和史料价值的视音频节目素材,如何完好的保存这些资料和节目,成为当前的重要课题。
首先,原来历经几十年,几代工作者积累的大量视音频资料要完整的保存,
其次这些视音频资料存放在不同格式的磁带上,最后所有资料都要便于存放,便于查找,使保存的资料能够真正体现出他们的价值。
建成后的数字化视音频资料存储管理系统能够实现下述几方面的功能:
A、海量存储:
建成的系统存储量要满足存储约上千小时的视音频节目并随着节目制作的不断增加实现系统的无缝升级,存储的介质类型以符合数字化技术潮流和保存时间长的介质为主。
B、足够的输出能力:
编导和用户需要节目的视音频数据时,系统应能及时输出所需的介质或提供视音频信号。
C、充足的输入能力:
能够满足处理同时有多个工作终端的工作要求,满足若干编导多路采集的资料处理能力。
D、快速简捷的资料整理:
对资料管理系统要求操作简捷直观符合规范。
E、易懂有效的资料检索:
无须专门培训,检索系统也能够达到检索的要求。
第二章系统设计
系统建成后,所有视音频资料将进行完善的编目,同时对所有资料将逐步进行数字化保存,系统的数据量是空前的。
多级存储部分作为整个计算机系统的数据处理、存储和管理中心,承担着海量信息的存储处理和维护任务。
对设备的可靠性、开放性、可扩充性及可管理性提出了较高的要求。
为了对系统的编目、检索、视音频传输等应用提供持久、稳定可靠的性能,系统采用惠普公司的SurestoreVA7100高性能磁盘阵列和可堆叠的2/20自动化磁带库并依托HPOpenview软件构成整个多级存储体系。
惠普公司致力于存储技术领域已有几十年的历史,惠普公司同时拥有多种存储技术和针对不同行业的解决方案经验,惠普公司的各项存储产品在存储市场占有很大的份额,可为用户提供高性能和高可靠性的存储硬件产品,可有效的提高系统的存储性能,大大降低系统的造价。
软件方面,惠普高效的Openview软件同时可为迅速增加的企业数据提供高度的可存取性以及可靠的保护。
2.1存储系统的容量估算
根据亚细亚公司多年对媒体行业研究和实施经验,我们认为对系统所要满足的存储空间需求估计如下:
参考节目资料存储管理系统的数据量、软件开发及数据库管理的经验,系统中的管理类数据,磁带物理状态信息数据等属于文字类数据,所占存储空间总量约在100M(节目时间长度2000小时),他们在全部数据中只占很少的比重,存储系统中最主要的数据是多媒体(视音频)数据和编目检索数据。
我们以存储容量2000小时为基础,以下的估算均以此为依据。
1.文字类编目检索数据
按平均每盘资料节目带的长度为1小时计算,包含10条编目单元,文字量为5KB
(标题,来源,稿件,分类号,关键词等),全文检索数据量与文字信息大体相
当,计算如下:
编目单元数:
2000小时*1盘磁带/小时*10条/盘磁带=20000
文字信息量为20000条*5KB/条=100000
文字类编目检索数据数量:
100M
2.多媒体信息数据
假设对所有入库视音频资料进行全程采集,对部分节目采集MPEG-2则:
MPEG-1:
2000*3600*1.5/8=1350GB(节目时间长度2000小时)
MPEG-2:
1000*3600*25/8=3125GB(节目时间长度1000小时)
所以多媒体信息总量为:
4475GB
考虑到增加数据冗余和备份设计(约占30%),存储系统需要具有4TB的数据存
储能力,其中假设在系统的磁盘阵列将最近10天之内入库的节目和常用数据信息
及检索频率高的资料在线存储,在加上系统的检索信息,这部分在线资料大约
730GB,其他多媒体数据主要存储在专门设置的数据流磁带设备中。
2.2设计原则与目标
2.2.1高性能
对整个系统来说,所要处理的数据量相当巨大,并且要进行高质量的实时视频流的存储,查寻及检索,因此要求系统的主机与数据库具备优越的并发处理能力,从而保证每个业务在较短的时间内得到处理,这就需要主机具有多个高性能的处理器,高速的内存系统和高效,快速访问的外围设备。
方案配置
服务器:
HPProLiantDL580G2
处理器:
最多支持4个IntelXeon1.4GHz/1.6GHz处理器L3
高速缓存为512KB/1MB
内存:
标配1GB/2GBPC1600内存,可扩展到32GB
PCI插槽:
6个PCI-X插槽,5个可用,4个热插拔
控制器:
集成双通道SmartArray5i阵列控制器,64MB高速缓存
硬盘:
支持4块Ultra3/Ultra4SCSI热插拔硬盘
高度:
4U高度
2.2.2海量存储
系统的数据存储总量在几个TB,系统应能够提供可靠的,快速的存储体系来存储如此巨大的数据量。
2.2.3开放性
为满足视音频资料存储管理系统的要求,必须配备一个高效的,开放的操作系统。
操作系统环境必须能支持大型数据库和大规模视频资料存储的需要,具有极大的内存寻址能力,可支持32位和64位的各种应用。
2.2.4易于扩展和升级
随着系统规模的不断扩大,系统功能的不断完善,系统所要处理的数据量也会相应增长,因此在选择设备要有超前意识,选择扩展性好的机型,从而保护客户的长期投资。
2.2.5可管理性
可管理性是评价一个系统极为重要的性能指标,为保证系统高效,稳定的运行,必须能够采用多种手
段进行管理和维护,系统应对故障的发生有一定的预见性,系统出现故障时系统管理员能够轻松的对故障进行定位、检测和排除,系统的配置应易于更改,调整,并有完整的记录以便管理。
2.3系统结构设计
2.3.1多级存储系统
∙存储体系、结构及优势:
对媒体用户而言,既要满足大型数据库和大规模视频资料海量存储的需要,又要随着信息量的增长保证系统是可升级、可扩充的。
多级存储体系结构正是随着这种应用的发展提出的,一个集中式的多级存储网络由存储设备和网络设备组成,多服务器通过局域网与磁盘阵列、磁带库等存储设备相连,是基于Client/Server架构下的存储解决方案。
网络的物理结构:
从物理角度上来看,典型的存储环境应包括几个主要组件级别:
最终用户平台,如客户机,存储设备等。
通常,基于传统局域网和广域网技术的网络设施可提供最终用户平台和服务器组件之间的连接,存储子系统是与服务器、最终用户平台和其他用户终端设备通过以太网或千兆以太网设备相连的。
网络结构的优点:
费用相对低廉、易于部署。
通常存储设备在一个局域网上通过与服务器连接占有自己的节点。
在这种结构中,一台专用存储服务器处理网络上的所有数据,将数据存储的负载由应用或其他服务器上卸载下来。
这种集中式的多级存储架构是Ethernet和SCSI相结合的存储技术。
它提供了更好的可伸缩性,而价格却更低。
2.3.2存储介质
在媒体资产存储管理系统中,亚细亚集创公司依托惠普公司在存储领域的强大技术优势,配合惠普公司的软硬件平台向行业客户推出媒体行业存储管理解决方案。
在多级存储体系中,一个存储网络包括磁盘阵列、数据流磁带库等存储介质,根据各自的性能,决定了它们在多级存储体系下的不同作用。
∙磁盘阵列--HPSureStoreVA7100
HPSureStoreVA7100磁盘阵列是一种快速、大容量的在线存储系统,用并行存取来减
少存取时间,提高响应速度;再加上采用双组件容错热插拔,消除了设备的单点故障率。
升级系统无需停机,使磁盘阵列的正常运行时间高达99.95%;利用独有的AUTORAID技
术实现异种(NT,LINUX,HP-UX)环境下的共享,提高了系统对网络环境的适应能力;
集成的网络管理软件使用户在网络上的任何一个地方都可以方便的对存储空间进行有效的
资源调配。
数据流磁带库--HPSureStore2/20磁带库
磁带库由于经济、可靠及大容量,人们已将其作为多级存储体系种重要的二级存储设备。
数据流磁带库从结构上来讲由磁带、磁带驱动器、机械手等构成,具有模块化设计的体现。
磁带是顺序存储设备,读写速度相差不大,保存时间较长,利用磁带保存数据可以在保存时间和存取效率两方面均得到比较满意的效果。
系统采用的HPSureStore2/20磁带库是随着存储技术发展推出的新产品,其中使用的惠普LTO驱动器是目前业界存储容量最高,存储速度最快的磁带驱动器,它代表了当今磁带驱动器的最新技术。
2.3.3数据备份管理--OpenViewOmniBackII
由于硬盘成本较高,不可能将所有的数据都放在硬盘或磁盘阵列柜上,惠普OpenViewOmniBackII管理软件是在满足节目资料海量存储的同时又用磁带库容量大、价格低廉的特点对媒体资料实现多级存储和安全保护。
2.3.4数据迁移--HPOpenViewOmniStorage
作为媒体行业视音频资源的数字化存储已经成为业界的共识。
但解决了海量存储的问题之后,如果所有海量数据都存储在磁盘阵列上,那些并不重要或很少被访问的数据就会占据昂贵的硬盘空间,造成
资源的不合理配置,对于此种应用惠普可提供分级存储的解决方案,将并不重要或很少被访问的数据
迁移到较便宜的二级或三级存储介质设备上。
由于大量的数据存放是存储在二级存储设备(磁带库,光盘库)中,所以就需要一个很好的数据备份迁移策略来管理硬盘和磁带库中的数据,当需要使用磁带库中的数据时,要能够及时找到数据所在的磁带,同时要保证及时地将数据传送到所需要的地方。
一般来讲,就是先将数据从磁带迁移到硬盘中,再由应用系统将数据传送到目的地;同时要将硬盘上不常用的数据迁移到磁带中。
系统中,我们结合了HPOpenViewOmniStorage分级管理的客户机/服务器数据存储解决方案,通过用户定义可以根据文件规模、访问时间或其他参数控制迁移,而且单一文件或全部的目录可以排除在迁移之外。
整个的操作过程对于用户和应用程序而言,数据存取是透明的,而且与物理位置或中介不相关。
通过与OmniStorage与OmniBackII紧密集成,系统可以地备份和恢复文件以及文件系统。
对于那些通过OmniStorage从第二媒体迁移到备份媒体的文件来说OmniBackII可以管理它们的备份。