基于云存储的教学资源整合研究与实现.docx
《基于云存储的教学资源整合研究与实现.docx》由会员分享，可在线阅读，更多相关《基于云存储的教学资源整合研究与实现.docx（13页珍藏版）》请在冰点文库上搜索。
基于云存储的教学资源整合研究与实现
——————————
*基金项目:
2008年河南省科技攻关项目（No.082102210106网格Portal关键技术研究收稿日期:
2009年8月5日
97
第20卷现代教育技术Vo1.202010年第3期ModernEducationalTechnologyNo.32010
基于云存储的教学资源整合研究与实现*
高宏卿汪浩
（河南师范大学教育技术系,河南新乡453007
【摘要】互联网的迅速发展,促进了现代远程教育的兴起。
而教学资源的建设又是现代远程教育发展的基础。
文章分析了教学资源的现状和面临的问题,介绍了云存储的基本概念、结构模型和构建云存储的工具,给出了基于云存储的教育资源整合方案的体系结构,最后对该体系结构进行了实现和性能测试。
【关键词】云存储;教学资源;整合
【中图分类号】G40-057【文献标识码】A【论文编号】1009—8097（201003—0097—05
引言
互联网的迅速发展,促进了现代远程教育的兴起。
现代远程教育是一种基于计算机技术、网络技术和通信技术进行知识传输和知识学习的新型教育模式,在现代教育中扮演着非常重要的角色。
而教学资源的建设又是现代远程教育的重要组成部分,是现代远程教育的基础。
各种教学资源通过网络跨越时间和空间的限制,满足人们在自主学习中对教学资源的需要。
但是,随着教学资源的不断建设,一些弊端也凸显出来。
教学资源本身具有数量大、形式多样等特点,使得原先集中管理、集中存储的资源组织管理模式已经不能适应网络发展、资源应用等多种实际需求,而且教学资源的重复建设,也造成了资源的极大浪费。
云存储作为一种新的服务形式能够很好解决这些问题。
将云存储运用到教学资源的整合中,学校不仅能节省投资费用,简化复杂的设置和管理任务,而且把教学资源放在云中还便于从更多的地方访问资源,实现教学资源的共享[1]。
一教学资源的现状
教学资源[2]是教学工作开展的基础,包括文本资源、图形图像资源、动画资源、声音资源和视频资源等类型。
进行教学资源的整合有利于合理、高效地使用,促进教学质量的提高。
通过开展教学资源的整合活动,既可以应对高校扩招所形成的对教学资源需求的持续增长与教育投入增长不足、教学资源相对短缺所形成的矛盾,又可以实现教学资源的共享,提高优质教学资源的利用率,让更多的大学生获得优质的受教育机会。
然而现阶段教育资源的建设却存在如下问题。
教学资源分布不均:
师资力量大的学校有着得天独厚的
优势,往往能够获得更好的资源,比如试题库,教育视频等。
而对于有些学校,由于资金来源、教育水平等限制,往往面临着教学资源不足等状况,造成了教学资源分布的不平衡。
教学资源更新成本高:
技术飞速进步往往要求学校能够为学生提供最新的教学资源,资源的数据量呈几何曲线性增长,意味着需要更多的成本,更多的硬件设备投入和更多的机房环境设备投入,以及运行维护成本和人力成本的增加。
而现在仍然有很多学校,特别是经济条件不好的学校没有资金购买独立的、私有的存储设备,更没有存储技术工程师有效地完成存储设备的管理和维护。
这都给院校的教学资源建设带来了很大的压力。
教学资源共享程度低:
近些年远程教育和网络教育的发展,造成现有各种教育资源之间缺乏有效的互联互通机制,共享性差,协作困难。
而且教学资源的数据量很大,占用极大的储存空间,各学校教学资源的重复建设,致使信息垃圾增长过快,造成存储空间的浪费。
这些问题一方面造成了重复的教育资源投入,另一方面扩大了教学质量的差异。
因此如何对教学资源进行最大程度,最大范围的整合,成为减少教学成本,提高教学质量,加快国内高校教育水平的首要问题。
二存储方式的比较
下面就原先的教学资源存储方式和云存储方式进行了相关的比较分析。
可靠性:
在原先的教学资源存储方式中,资源如果因为某些原因损毁时,用户就无法进行访问,可靠性不高。
而云中的数据是分布式的存储,教学资源被切分为多个数据块分散存储在云中的节点中。
由于云存储中拥有副本备份机制,
每一块数据都有若干备份存储在不同的节点中。
当云中的某个节点发生错误时,不影响资源的完整性,具有很高的可靠性。
可用性:
原先的教学资源存储一般使用单一服务器,一旦服务器发生问题,用户既不能存储资源,也无法访问资源。
而云存储是一种分布式的结构,云中的控制节点通过“心跳检测”不断地监视存储节点的状态,当发现存储节点已经失效时,控制节点能够将工作负载交给那些运行正常的存储节点来完成。
这使得云存储具有很高的可用性。
存储成本:
原先的教学资源的存储一般使用专业的存储设备,由于专业存储设备价格不菲,使得资源存储的成本也随之提高。
而云中的存储设备都是廉价的商业机,跟单一的大容量专业存储设备相比较,存储容量更大,存储成本更低。
可扩展性:
通过对云中的存储节点进行动态的添加和移除,可以方便地改变云中的存储容量,而且不影响云中的数据,比原始的存储方式具有更高的可扩展性。
自动容错能力:
因为低成本的存储设备的损耗率很高,云存储能够在软件层做到自动容错而不依赖硬件本身的容错。
管理性:
将教学资源存储在云中,有利于对资源进行统一的管理,提高资源的使用率。
服务性能:
在原先对教学资源进行单点集中存储的方式中,当大量用户存储和访问数据的时候,很容易造成设备的压力过大,影响系统的性能。
由于云中的数据是分布式的存储,能够很好地分担存储和访问的压力,从而提高系统的性能。
三云存储
云存储是在云计算概念上延伸和发展起来的一个新概念。
云存储通过虚拟化技术,将服务器、存储设备和其他硬件视为一个资源池,而不是离散系统,从而可以根据需要分配这些资源。
这样,一个存储云就相当于一个虚拟化的存储资源池,用来容纳各种不同的工作模式,这些模式可以快速部署到物理设施上,并且按照用户需求动态地调用资源。
云存储主要是通过将庞大数据自动分拆成无数个较小的数据块,交由多部存储资源所组成的计算机集群系统进行分布式的存储。
云存储的核心是将应用软件与存储设备相结合,通过应用软件来实现存储设备向存储服务的转变。
1相关概念
云计算是分布式处理、并行处理和网格计算的发展。
云计算通过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,然后提交给由多部服务器所组成的庞大系统,经系统计算分析之后再将处理结果返回给用户[3]。
云计算在互联网充分应用的前提下,将计算资源以及存储资源放在网上,在网上建立一个具有更加广泛含义的计算平台,为人们提供动态资源池、虚拟化和高可用性的下一代计算平台。
通过云计算技术,网络服务提供者可以在数秒钟之内,处理数以千万计甚至亿计的信息,提供与超级计算机同样强大的网络服务。
云计算的一个关键之处是它对开发人员和最终用户隐藏了基础设施的复杂情况。
他们不知道或不需要知道云的内部构造,只需关心云计算提供给他们的服务。
云存储的概念与云计算类似,它是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问的功能[4]。
云存储的思想类似于互联网。
当我们使用互联网时,我们只需要知道是什么样的接入网和用户名、密码就可以连接到互联网,并不需要知道互联网中到底有多少台交换机、路由器、防火墙和服务器,不需要知道数据是通过什么样的路由到达我们的电脑,也不需要知道网络中的服务器分别安装了什么软件,更不需要知道网络中各设备之间采用了什么样的连接线缆和端口。
互联网对于具体的使用者是完全透明的,虽然这个互联网包含了许许多多的交换机、路由器、防火墙和服务器,但对具体的互联网用户来讲,这些都是不需要知道的。
互联网带给大家的互联互通的网络服务,无论我们在任何地方,都可以通过一个网络接入线缆和一个用户名、密码,就可以接入互联网,享受网络带给我们的服务。
如同互联网一样,云存储对使用者来讲,不是指某一个具体的设备,而是指一个由许许多多个存储设备和服务器所构成的集合体。
使用者使用云存储,并不是使用某一个存储设备,而是使用整个云存储系统带来的一种数据访问服务。
所以严格来讲,云存储不是存储,而是一种服务。
采用云存储,我们无须像使用某一个独立的存储设备时,要清楚这个存储设备是什么型号,什么接口和传输协议,存储系统中有多少块磁盘,分别是什么型号、多大容量,存储设备和服务器之间采用什么样的连接线缆。
而且对于保证数据安全和业务的连续性,无须自己建立相应的数据备份系统和容灾系统。
除此之外,用户也无需关心存储设备的状态监控、维护、软硬件更新和升级。
云状存储系统中的所有设备对使用者来讲都是完全透明的,任何地方的任何一个经过授权的使用者都可以通过一根接入线缆与云存储连接,对云存储进行数据访问,如图1所示。
图1云存储服务
2结构模型
与传统的存储设备相比,云存储不仅仅是一个硬件,而是一个由网络设备、存储设备、服务器、应用软件、公用访
98
99
问接口、接入网、和客户端程序等多个部分组成的复杂系统。
各部分以存储设备为核心,通过应用软件对外提供数据存储和业务访问服务。
云存储系统的结构模型由4层组成,自下而上分别为存储层、基础管理层、应用接口层和访问层,结构模型如图2所示。
图2云存储结构模型
存储层:
存储层是云存储最基础的部分。
存储设备可以是FC光纤通道存储设备,可以是NAS和iSCSI等IP存储设备,也可以是SCSI或SAS等DAS存储设备。
云存储中的存储设备往往数量庞大且分布在不同地域,彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。
存储设备之上是一个统一存储设备管理系统,可以实现存储设备的逻辑虚拟化管理、多链路冗余管理,以及硬件设备的状态监控和故障维护。
基础管理层:
基础管理层是云存储最核心的部分,也是云存储中最难以实现的部分。
基础管理层通过集群、分布式文件系统和网格计算等技术,实现云存储中多个存储设备之间的协同工作,使多个的存储设备可以对外提供同一种服务,并提供更大更强更好的数据访问性能。
CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问,同时,通过数据备份和容灾技术等措施可以保证云存储中的数据不会丢失,保证云存储自身的安全和稳定。
应用接口层:
应用接口层是云存储最灵活多变的部分。
不同的云存储运营单位可以根据实际业务类型,开发不同的应用服务接口,提供不同的应用服务。
比如视频监控应用平台、视频点播应用平台、网络硬盘引用平台和远程数据备份应用平台等。
访问层:
任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统,享受云存储服务。
但是云存储的运营单位不同,所提供的访问类型和访问手段也不同。
3Hadoop的分布式文件系统HDFS
云存储作为一种新型的服务模式,还处于早期发展阶段,全球各大IT公司现在都在进行投资和推广。
很多IT厂商比
如IBM、Google、Amazon等也推出了自己的云存储平台。
其中比较常用的是Apache基金会开发的开源项目Hadoop[5]。
Hadoop实现了Google的GFS和MapReduce算法,提供了简单易用的编程接口,是一种易于处理和保存大量数据的分布式云计算平台,并且具有扩容能力高、成本低、高效率、高可靠性的特点。
另外,Hadoop是一款完全用Java开发的开源软件,因此它可以运行在多种操作系统和商用硬件上。
HDFS（HadoopDistributedFileSystem是Hadoop的分布式文件系统,具有高容错性,并且可以被部署在低价的硬件设备之上。
HDFS提供对数据读写的高吞吐率,很适合那些有大数据集的应用。
HDFS是一个master/slave的结构,就通常的部署来说,在master上只运行一个Namenode,而在每一个slave上运行一个Datanode。
HDFS支持传统的层次文件组织结构,同现有的一些文
件系统在操作上很类似,比如创建和删除一个文件,把一个文件从一个目录移到另一个目录,重命名等操作。
Namenode管理着整个分布式文件系统,对文件系统的操作（如建立、删除文件和文件夹都是通过Namenode来控制。
Datanode是数据的实际存储节点。
HDFS的架构如图3所示。
HDFS采取了副本策略,其目的是为了提高系统的可靠性和可用性。
HDFS的副本个数默认为三个副本,一个放在本节点上,另一个放在同一机架中的另一个节点上,最后一个放在另一个不同的机架中的一个节点上。
图3HDFS架构
四基于云存储的教学资源整合模型与实现
在使用云存储整合教学资源之前,首先要构建一个云环境。
在这个云环境中,由动态可扩展的和虚拟化的存储资源来提供教学资源存储和访问服务。
透过云,可以将庞大的教学资源自动分拆成大量较小的数据块,交由多个节点所组成的庞大计算机集群系统进行分散存储。
1基于云存储的教学资源整合模型
基于云存储的教学资源整合模型可以划分为5层。
至上而下分别为客户端、Portal[6]层、应用服务层、存储层和基础设施层。
如图4所示。
100
图4基于云存储的教学资源整合模型
客户端:
客户端用来显示基于云存储的各种应用服务的Portal页面。
客户端一般是各种Web浏览器,比如IE、Firefox、Chrome等。
Portal页面一般是由多个窗口（Portlet组件组成。
每个Portlet是一个云服务,负责显示自己的服务内容。
Portal层:
Portal层由PortalServer和Portlet容器组成。
PortalServer负责接收来自客户端的HTTP请求,在Porlet容器中调用Portlet,并将Portlet产生的内容聚集到Portal页面返回给客户。
应用服务层:
应用服务层负责各种服务的具体实现。
包括用户的管理、资源的管理、资源目录的管理等。
存储层:
存储层负责将基础设施层的存储资源虚拟成一个文件系统,提供数据的分布式存储。
如使用Hadoop的分布式文件系统（HDFS。
基础设施层:
基础设施层主要包括各种存储资源,如硬盘、数据库等等。
2模型的实现
我们使用一般的商业机作为底层的存储设备。
使用Hadoop作为构建云存储环境的平台,管理底层的商业机,并虚拟出一个文件系统,即HDFS。
在HDFS的基础上,开发整合教学资源的应用服务模块,主要包括用户的管理,目录管理、资源管理、系统管理等。
我们使用Liferay作为Portal容器,将每一个服务模块封装为一个Portlet。
在云存储环境中对教学资源存储和访问的具体过程如图5所示。
图5云存储中教学资源的存储与访问过程
用户将一个教学资源存储在云环境的过程为:
用户通过Web浏览器访问教学资源的Portal页面,首先在用户认证的Portlet中输入用户名和密码。
用户的认证通过MyProxy实现,根据用户提供的用户名和密码,从MyProxy得到用户的合法代理证书。
此证书代表了用户的身份,通过证书可以合法访问相应的应用服务。
然后在访问资源存储服务Portlet时,用户需要提交本地资源的路径和资源存储在云中的路径。
存储服务会在本机上的临时文件夹中缓存这些数据,当临时文件夹中的数据块达到了设定的Block值（默认是64M时,Portlet便会通知云中的名称节点,名称节点便响应Portlet的请求,将资源的文件名插入云中的文件系统层次中并且在数据节点中找到一块空间存放该数据块,同时将该数据节点和对应的
存储空间信息告诉Portlet,Portlet便将本地临时文件夹中的数据块写入指定的数据节点,一个数据块存储完毕后,当临时文件夹中的数据块再次达到了设定的Block值时,Portlet会向名称节点申请下一个数据块的存储空间。
由于Hadoop拥有副本备份功能,每块数据块可以存在多个副本并存储在云中的其它节点上,起到改善服务伸缩性和容错的目的。
用户访问云环境中教学资源的步骤为:
用户通过Web浏览器访问教学资源的Portal页面并且通过身份认证。
在资源访问的Portlet中选择自己感兴趣的资源,然后Portlet将资源读取请求发送给名称节点,名称节点返回该资源的所有数据块所在的数据节点以及各个数据节点的当前负载情况。
Portlet从数据节点选取合适的节点并且并行地发出读请求,并行的读请求可以是针对不同的块也可以是同一个块的不同部分,但是不会是同一个块的同一个部分。
不同的请求一般会发送到不同的数据节点。
Portlet从不同的数据节点接收到数据后进行内容汇聚,然后显示给用户。
3性能分析
下面我们将对云存储系统读取和写入教学资源的速度进行测试。
在系统的实际运行中将包含几百台的数据节点存储教学资源,而且拥有大量的用户对资源进行访问。
但是为了便于测试,我们使用19台电脑构建云存储环境,其中1台设置为名称节点,18台为数据节点。
并且另外使用16台电脑作为客户端。
名称节点和数据节点的配置均为双核CPU,2GB内存,320G硬盘,一块100M全双工网卡,并以一台交换机相连。
16台客户端都配备一块100M全双工网卡,并以另一台交换机相连。
两台交换机之间使用1Gbps的链路相连。
我们分别在19台电脑上部署Hadoop-0.18.3构建云存储环境。
其中操作系统为FC10,Java版本为jdk1.5。
首先修改19台电脑Hadoop目录下的conf/hadoop-site.xml文件,其中fs.default.name为NameNode的IP地址和端口号;mapred.job.tracker为JobTracker的IP地址和端口号;fds.replication为HDFS中每个Block被复制的次数,起到数据冗余备份的作用,我们设置为3。
其次配置SSH,因为Hadoop启动以后,名称节点通过SSH（SecureShell来启动和停止各个数据节点上的各种守护进程的,这就需要在节点之间执行指令的时候不需要输入密码,所以需要配置SSH使用无密码公钥认证的方式。
（1数据读取
分别测试1到16个客户端从云中读取教学资源的速度。
101
每一个客户端从云中读取1G的数据。
501001501
4
7
10
13
16
客户端数量
读取速度（MB/s
图6数据读取速度
图6展示了客户端的合计读取速度和理论上限。
合计的理论上限是在两个交换机之间的1Gbps链路饱和的情况下达到,即125MB/s的速度,或者当客户端的100M网卡饱和的情况下,即12.5MB/s的速度。
当只有一个客户端读取的时候,观测到的读取速度是10MB/s,为理论上限的80%。
16个客户端的合计读取速度达到了94MB/s,大约是理论上限的75%。
由80%降低到75%的原因是由于读取者的增多,导致多个读取者同时从相同数据节点读取得可能性增加,导致的读取性能有所下降。
（2数据写入
分别测试1到16个客户端向云中写入教学资源的速度,每一个客户端向云中写入1G的数据,如图7所示。
因为每一个数据块有3个副本,需写入云中的3个数据节点,所以理论上总的写入速度的上限为67MB/s。
图7数据写入速度
因为网络协议栈的原因,每一个客户端的写入速度是6.3MB/s。
而且数据从一个副本传输到另一个副本产生了延时,导致了整个写入速度降低。
16个客户端的合计写入速度
差不多是35MB/s（每个客户端大概2.2MB/s,差不多是理论极限的一半。
和读取情况比较类似,这样的情况多半发生于多个客户端同步写入同一个数据节点时导致的性能下降。
此外,16个写入者要比16个读取者更容易产生冲突,这是因为每一个写入要写入三份副本的原因,写入速度比我们预期
的要慢一点。
在实际情况下,这并不是一个大问题,因为即使在单个客户端上能够感受到延时,也不会对大量客户端的情况下,对整个写入带宽造成明显的影响。
五结束语
教学资源的建设是远程教育发展的重要的环节,对教学资源进行整合有利于教学资源的共享,减少教学的成本,提高教学的质量。
而云存储作为一种新的服务形式,能够很好地解决教学资源整合中产生的问题。
云存储作为教育资源整合的有力手段,对教育资源的建设和发展有着积极的促进作用。
随着云存储的不断发展和完善,必然会在高等院校和教育网络中有着越来越多的应用。
——————————参考文献
[1]高宏卿,李静.网格技术及校园网资源建设研究[J].河南师
范大学学报,2005,33（3:
26-28.
[2]孔繁之,王春梅等.数字校园中教学资源库的建设与应用研究[J].中国教育信息化,2008,（05:
49-50.
[3]尚建新,解月光,王伟.云计算模型下的PLE构建初探[J].现代教育技术,2009,19（04:
46-49.
[4]李开复.云计算[J].中国教育网络,2008,（6:
34.[5][DB/OL].//hadoop.apache.org/.>
[6]陈海勇,伏汉英.基于Jetspeed的网格门户系统的设计[J].微
计算机信息,2005,21（30:
61-63.
ResearchandImplementationofEducationalResourcesIntegrationbasedonCloud
GAOHong-qingWANGHao
（DepartmentofEducationalTechnology,HenanNormalUniversity,Xinxiang,Henan,453007,China
Abstract:
TherapiddevelopmentofInternethaspromotedtheriseofthemoderndistanceeducation.Andtheconstructionofeducationalresourcesisthefoundationforthedevelopmentofthemoderndistanceeducation.Thispaperanalysesthestatusofeducationalresourcesandtheproblemsitfaced,introducesthebasicconceptsandstructuremodelsofcloudstorageandthetoolstobuildcloudstorage.Finally,theframeworkofeducationalre
升级会员 