电视台媒资存储系统研究要点文档格式.docx
《电视台媒资存储系统研究要点文档格式.docx》由会员分享，可在线阅读，更多相关《电视台媒资存储系统研究要点文档格式.docx（12页珍藏版）》请在冰点文库上搜索。
数据库存储介质方面，目前磁盘阵列仍是主流，但由于媒资系统是一个不断积累，用户查询量大，信息量大的系统，闪存数据库是将来的发展方向。
1.3研究的目的和意义
媒体资产管理（媒资，MediaAssetManagement，简称MAM）系统是是对各种类型媒体资料数据，如视音频资料、文本文件、图表等进行全面管理的完整解决方案。
电视台对素材处理一般分为采、编、播、存。
采即用录像机、照相机、录音笔、互联网采集等方式收集素材；
编即使用非线性编辑软件对采的素材进行二次加工，使其方便观众理解，取其精华、去其糟粕；
播就是将编辑好的素材通过播出系统传入千家万户的电视机前。
存作为媒体资产管理系统的主要功能，其目的是将现有的影视节目进行数字化或数据化，并采用适当的方式编码，再记录到成熟稳定的媒体上，达到影视节目长期保存和重复利用的目的，以满足影视节目的制作、播出和交换的需要。
各种存储设备可以说是媒资系统的核心所在。
媒资系统中存在着多种类型的存储设备，如离线存储设备，在线存储设备，数据库存储等，以其不同的特点在媒资系统中起着重要的作用。
结合黑龙江省电视台的媒资升级改造项目，对媒资系统存储设备的可用性、可靠性、可维护性、可服务性进行研究与讨论。
2.主要研究内容
2.1媒资存储网络架构
2.1.1媒资系统拓扑结构
媒资系统拓扑结构图，图1所示。
采用SAN+NAS的存储网络方案。
图1媒资系统拓扑结构图
光纤链路部分：
光纤交换机博科5100
（1）与5100
（2）在中心机房，博科300在上载机房。
博科300通过两根300米长的单模光纤链路，分别接入5100
（1）与5100
（2）。
离线存储STK磁带库有8个驱动器，分别接入两台5100。
在线存储EMCNVX5500的A控与B控各通过4根光纤接入两台5100。
其中A1,A2,B1,B2接5100
（1），A3,A4,B3,B4接5100
（2）。
NAS服务器、流媒体服务器、下载归档服务器、转码服务器等对带宽要求高的中心机房服务器通过光纤接入两台5100，以直接访问在线存储。
形成SAN存储网络。
上载机房中，14台上载站点通过光纤连接到博科300，通过虹桥卡将采集到的信号直接上传到在线存储NVX5500。
以太链路部分：
有中心机房的核心交换机Cisco7609和上载编目机房的接入交换机。
所有的中心机房服务器，都接在媒资核心交换机上，编目站点、上载站点、审核站点接在上载机房的接入交换机上。
非光纤站点及非光纤接入服务器需要访问存储中内容时，通过挂在NAS访问。
外系统，如播出系统、全台网、制作网需要从媒资中上下载高清素材时，通过对应的NAS服务器获得。
2.1.2DAS、NAS、SAN存储网络对比分析
作为目前三种常见的存储方式，被广泛应用于企业存储设备中,他们有着各自的特点。
一、DAS存储特点（直连存储）
DAS这种存储方式与我们普通的PC存储架构一样，外部存储设备都是直接挂接在服务器内部总线上，数据存储设备是整个服务器结构的一部份，DAS存储方式主要适用于小型网络、地理位置分散的网络和特殊服务器上。
DAS已经存在了很长时间，并且在很多情况下仍然是一种不错的存储选择。
由于这种存储方式在磁盘系统和服务器之间具有很快的传输速率，因此，虽然在一些公司中一些新的SAN设备已经开始取代DAS，但是在要求快速磁盘访问的情况下，DAS仍然是一种理想的选择。
更进一步地，在DAS环境中，运转大多数的应用程序都不会存在问题，所以你没有必要担心应用程序问题，从而可以将注意力集中于其他可能会导致问题的领域。
二、NAS存储特点（网络直连存储）
NAS（网络附加存储）方式则全面改进了以前低效的DAS存储方式。
它采用独立于服务器，单独为网络数据存储而开发的一种文件服务器来连接所存储设备，自形成一个网络。
这样数据存储就不再是服务器的附属，而是作为独立网络节点而存在于网络之中，可由所有的网络用户共享。
同时NAS存储真正做到了即插即用，并且部署起来也相对灵活，再加上管理成本低，是目前企业选择较多的，但它同时也有存储性能低和可靠度不高等缺点。
三、SAN存储（光纤存储）
SAN存储是基于光纤介质，最大传输速率达17MB/s的服务器访问存储器的一种连接方式，同时SAN也是最昂贵和最复杂的存储选项，SAN存储方式创造了存储的网络化，存储网络化顺应了计算机服务器体系结构网络化的趋势，SAN的支撑技术是光纤通道（FCFiberChannel）技术，它是ANSI为网络和通道I/O接口建立的一个标准集成，FC技术支持HIPPI、IPI、SCSI、IP、ATM等多种高级协议，其最大特性是将网络和设备的通信协议与传输物理介质隔离开，这样多种协议可在同一个物理连接上同时传送。
IPSAN与FCSAN对比
如今的SAN解决方案通常会采取以下两种形式：
光纤信道以及iSCSI或者基于IP的SAN。
光纤信道是SAN解决方案中大家最熟悉的类型，但是，最近一段时间以来，基于iSCSI的SAN解决方案开始大量出现在市场上，与光纤通道技术相比较而言，这种技术具有良好的性能，而且价格低廉。
相对于IPSAN，FCSAN的弱点是明显的。
它无法使存储设备随它在Internet上运行，从而无法满足应用前端对存储数据“随时随地”的要求。
FCSAN的物理覆盖也有限。
同时，受限于国内昂贵的租用价格，也许只有中国的电信运营商可以用得起远距离的FCSAN。
而IPSAN最显著的特点就是具有价格低廉以及无限长度扩展的优势。
它的价格是FC无法比拟的，尤其是当用户需要较长的传输距离时，IPSAN的优势就不言而喻了。
这些使iSCSI的发展成了必然，其市场价值是很多服务器和存储厂商看中的，也是无法承担FCSAN高成本光纤基础结构的市场客户所看中的。
通过集SCSI、以太网和TCP/IP等技术于一身，IPSAN的优点可以概述为：
建立在常见和稳定的工业标准上，IT工作人员对IP技术熟悉，容易接受和实施；
由于TCP/IP协议附件减少了聘请专业人员的需要，所以安装和维护成本较低，使用iSCSI创建SAN架构，企业总体拥有成本更低；
由于减少了不同的网络和布线，使用常规以太网交换机而不必专用光纤通道交换机，很大程度提高了互操作性和成本；
传播更为便捷。
可以在全球IP网络上进行以太网传输，实际传播距离没有限制；
速度已经提高到10Gbit，将可以和FC网络速率相媲美，甚至更快。
SAN真正的综合了DAS和NAS两种存储解决方案的优势。
例如，在一个很好的SAN解决方案实现中，你可以得到一个完全冗余的存储网络，这个存储网络具有不同寻常的扩展性，确切地说，你可以得到只有NAS存储解决方案才能得到的几百T字节的存储空间，但是你还可以得到块级数据访问功能，而这些功能只能在DAS解决方案中才能得到。
对于数据访问来说，你还可以得到一个合理的速度，对于那些要求大量磁盘访问的操作来说，SAN显得具有更好的性能。
利用SAN解决方案，你还可以实现存储的集中管理，从而能够充分利用那些处于空闲状态的空间。
更有优势的一点是，在某些实现中，你甚至可以将服务器配置为没有内部存储空间的服务器，要求所有的系统都直接从SAN（只能在光纤通道模式下实现）引导。
这也是一种即插即用技术。
SAN确实具有这些伟大的优点，那么，SAN的缺陷在哪里？
SAN有两个较大的缺陷：
成本和复杂性，特别是在光纤信道中这些缺陷尤其明显。
使用光纤信道的情况下，合理的成本大约是1TB或者2TB大概需要五万到六万美金。
从另一个角度来看，虽然新推出的基于iSCSI的SAN解决方案大约只需要两万到三万美金，但是其性能却无法和光纤信道相比较。
在价格上的差别主要是由于iSCSI技术使用的是现在已经大量生产的吉比特以太网硬件，而光纤通道技术要求特定的价格昂贵的设备。
DAS、NAS和SAN存储的主要区别
从连接方式上对比，DAS采用了存储设备直接连接应用服务器，具有一定的灵活性和限制性；
NAS通过网络（TCP/IP,ATM,FDDI）技术连接存储设备和应用服务器，存储设备位置灵活，随着万兆网的出现，传输速率有了很大的提高；
SAN则是通过光纤通道（FibreChannel）技术连接存储设备和应用服务器，具有很好的传输速率和扩展性能。
三种存储方式各有优势，相互共存，占到了现在磁盘存储市场的70%以上。
2.2核心在线存储的技术要求与功能分析
2.2.1硬件要求
根据电视台媒资系统的特殊性，对在线存储设备的可靠性、可用性有以下需求：
1）具备8个以上主机连接通道，通道接口标准8Gb/s光纤通道，所有主机连接通道采用模块化端口设计
2）双活动RAID控制器，每控制器内存不低于8GB
3）硬盘：
支持600GB10krpmFC磁盘、600GB10krpmSAS磁盘、600GB15krpmSAS磁盘和3TB7200rpmSATA磁盘
4）系统容量要求：
SATA磁盘容量270TB
5）要求说明RAID级别，支持RAID0、1、3、5、10、6，硬盘冗余备份方式，并提供5％的冷备盘，每年磁盘故障率低于5％
6）磁盘阵列前端带宽≥2GB/s
7）磁盘阵列在内部物理硬盘重建状态下能够保持正常的IO速度无明显下降
8）风扇和电源采用多冗余，热更换
9）采用行业标准19英寸机架
10）磁盘阵列支持配套的图形化管理与配置工具软件
11）管理软件：
随机配置存储管理软件；
配置LUN屏蔽软件，提供在线性能监控
12）磁盘阵列本身具有容错特性、支持在线动态磁盘扩充，动态卷扩充
13）SAN支持：
支持通用FC交换机
14）支持以下OS：
IBMAIX，HPUnix，Windows，linux，Solaris，可与stornext等文件系统良好兼容
15）95块3TBSATA盘90块上线，包含配套盘箱、电源和连接线等相关配件
2.2.2不同RAID级别的可靠性、可用性
RAID是“RedundantArrayofIndependentDisk”的缩写即磁盘阵列的意思。
RAID就是把硬盘做成一个阵列，而阵列也就是把硬盘进行组合配置起来，做为一个整体进行管理，最关键的是这个阵列的磁盘之间具有冗余容错处理，这样可提高磁盘之间相互的安全性和稳定性，不存在“单点”硬盘现象，也就说不会让某些硬盘读写频繁，其他的硬盘可能数据交换较少的现象，从而提高硬盘的安全性，同时磁盘的整体管理会提高读写速度，使硬盘的利用发挥到最大。
针对可靠性、可用性对不同的RAID级别进行研究。
常用的RAID级别有：
RAID0即无差错控制的带区组，就是将N块硬盘，当一块硬盘来用，比如是两块硬盘，使用RAID0阵列配置，则是将数据平均的分成两部分，分别写在两块硬盘上，很明显，这样做的效果，就是极大的提高了读写速度，但其致命的弱点是，各硬盘之间数据没有校验功能，一旦其中任何一块硬盘出现问题，则整个数据不能被恢复。
所以RAID0能有效提高读写速度但是不能保证数据安全。
RAID1即镜象结构，也就是一半空间用来存储，一半空间是用来备份的。
但实际数据并不是单独存储在某一半硬盘。
RAID1的读写数据并没有提高，属于正常的读写速度。
RAID1的磁盘空间使用率只有50%，是一种不计成本，不能提高读写性能，只为数据安全。
RAID3即带奇偶校验码的并行传送，RAID3是在RAID2的基础上做了一个升级，只能查错不能纠错，其读写方式同RAID0，并行处理，速度很高，不同于RAID2，RAID3使用单块磁盘存放奇偶校验信息，如果一块磁盘失效，奇偶盘及其他数据盘可以重新产生数据。
如果奇偶盘失效，则不影响数据使用。
RAID3对于大量的连续数据可提供很好的传输率，但对于随机数据，奇偶盘会成为写操作的瓶颈。
利用单独的校验盘来保护数据虽然没有镜像的安全性高，但是硬盘利用率得到了很大的提高，为n-1。
实际应用中也非常之少，一般而言属于研究类或试验室的理论上的的RAIDlevel，在我们实际商业应用中非常少。
RAID5可以理解为是RAID0和RAID1的折中方案。
RAID5可以为系统提供数据安全保障，但保障程度要比RAID1低而磁盘空间利用率要比RAID1高。
RAID5具有和RAID0相近似的数据读取速度，只是多了一个奇偶校验信息，写入数据的速度比对单个磁盘进行写入操作稍慢。
同时由于多个数据对应一个奇偶校验信息，RAID5的磁盘空间利用率要比RAID1高，存储成本相对较低，是目前运用较多的一种解决方案。
RAID6可以理解为RAID5的升级方案。
与RAID5的不同之处于除了每个硬盘上都有同级数据XOR校验区外，还有一个针对每个数据块的XOR校验区。
当然，当前盘数据块的校验数据不可能存在当前盘而是交错存储的，具体形式见图。
这样一来，等于每个数据块有了两个校验保护屏障（一个分层校验，一个是总体校验），因此RAID6的数据冗余性能相当好。
但是，由于增加了一个校验，所以写入的效率较RAID5还差，而且控制系统的设计也更为复杂，第二块的校验区也减少了有效存储空间。
基于电视台媒资系统对数据安全以及性能的要求以及对成本的考虑，最终数据存储划分为Raid6，源数据存储划分为Raid1。
2.2.3StorenextFileSystem（SNFS）
SN文件系统，是由多个某操作系统能识别的最大卷（对于32位的windows就是2TB，或者比较大的卷），组合成StripeGroup，再由实现不同功能的StripeGroup组合在一起的文件系统。
一个SN文件系统，对于SN的客户端来说，就是一块可以本地连接的本地硬盘。
一个SN文件系统，需要由3种StripeGroup构成，分别是META、JOURNAL、DATA。
METAStripeGroup最小应具备一个不小于100GB的LUN；
JOURNALStripeGroup最小应具备一个不小于50GB的LUN；
DATAStripeGroup所包含的LUN最好一样大，且数目最好是2或4的倍数。
（经验上一个StripeGroup包含4个LUN时的性能最好，所以建议一个StripeGroup最多包含4条LUN，也可以为2条LUN）一般，一个SN文件系统将由1个METAStripeGroup，1个JOURNALStripeGroup和多个DATAStripeGroup构成。
可根据具体项目所需访问带宽，安全系数，维护难度等纬度来设计。
双活RAID控制器等其他技术的优势研究。
2.3媒资及电视台其他系统发展趋势
随着时间的推移，媒资系统中资料越来越多以后，对各种存储设备的维护，保养费用，资料管理难度，需要的人力成本进行分析。
展望媒资系统中存储设备的发展方向。
媒资、制作网、播出等现有网络的资源如何进行虚拟化，数据中心设立（私有云）的设想。
分析数据中心、虚拟化的优点与劣势。
3.研究方案
3.1技术路线
3.2关键技术
搭建电视台媒体资产的存储系统需要的关键技术有：
FCSAN存储网络，用以保证资料在离线存储中快速、稳定地传送到在线存储中；
带宽要求高的服务器与站点能高效访问在线存储。
NAS存储网络，为编目站点和其他系统提供稳定带宽，后期扩容简洁方便，建设成本低。
双活RAID控制器、RAID6、RAID1，保证在线存储磁盘阵列高效、稳定。
虚拟化，分布式存储技术等。
3.3技术措施
采用SAN+NAS存储网络方案，保证系统稳定的前提下节约成本，降低实施的复杂度。
采用磁盘阵列技术使得前端带宽输出不小于2GB/s，保证磁盘阵列在内部物理硬盘重建状态下能够保持正常的IO速度无明显下降。
3.4技术条件
硬件设备有万兆以太交换机、光纤交换机、200T存储设备、50台服务器、100台工作站点。
经验丰富的现场人员和远程技术支持人员共同完成系统搭建。
4.进度安排及预期达到的目标
4.1进度安排
2015年9月~2015年11月查阅资料，整理参考文献。
2015年11月~2016年2月完成电视台媒资系统存储网络部分。
2016年2月~2016年5月完成磁盘阵列关键技术研究。
2016年6月~2016年9月完成对未来电视台数据中心、虚拟化的设计及关键技术研究。
2016年9月~2016年10月撰写毕业论文。
2016年12月准备答辩。
4.2预期达到目标
本课题最终要完成如下内容：
设计出适合电视台媒资系统的存储网络和在线存储设备。
研究成果符合电视台媒体资产存储系统对可靠性、可用性的要求。
5.研究过程中可能遇到的困难和问题及解决措施
困难：
磁盘阵列控制器的相关技术不了解
解决措施：
请教指导导师与设备厂商工程师讨论、查阅资料。
其他设计中的细节问题，不能查阅到的资料，与指导教师及其他厂商工程师探讨。
6．主要参考文献
[1]陈华英.磁盘阵列RAID可靠性分析[J].电子科技大学学报,2006,03:
403-405.
[2]朱月梅,徐豁,朱玉,滑海.FCSAN与IPSAN架构在数字图书馆中的应用研究[J].图书情报工作,2006,09:
113-116.
[3]谢胜彬,陶洋,王国梁.DAS、NAS与SAN的研究与应用[J].计算机与现代化,2003,07:
8-11.
[4]李晨迅.DAS、NAS和SAN存储方案的比较[J].信息与电脑（理论版）,2014,10:
205-206.
[5]李辉.浅议DAS、NAS、SAN三种模式[N].通信产业报,2003/04/23030.
[6]胡春宇.SAN与NAS融合的存储备份系统的设计与应用[D].电子科技大学,2007.
[7]项利萍.RAID-6存储系统中故障修复问题研究[D].中国科学技术大学,2013.
[8]章宏灿,薛巍,舒继武.一种可扩展分布式RAID存储集群系统[J].计算机研究与发展,2008,04:
741-746.
[9]黄诚,吉萍.基于云存储的媒资管理系统[J].传媒观察,2013,01:
31-32.
[10]张扬,郭森,季平.基于SAPERP信息系统的双活数据中心研究[J].电力信息化,2013,01:
87-91.
[11]唐文杰.基于存储型媒资的制播一体网设计与建设[J].中国有线电视,2011,09:
1060-1065.
[12]王双.基于网络存储技术的高清播出二级存储系统[D].哈尔滨工业大学,2013.
升级会员 