XXX高校数字化校园数据中心建设方案.docx

1、XXX高校数字化校园数据中心建设方案XXX 高校数字校园数据中心建设方案建议书一、 项目概述 . 41.1 建设背景 . 41.2 建设目标 . 51.3 建设原则 . 61.4 云平台技术打造大数据与高性能优势 . 8二、 需求分析 . 102.1 现状分析 . 102.2 总体建设 . 102.2.1XXX高校校园云平台需求 . 112.2.2 大数据分析需求 . 132.2.3 高性能需求 . 15三、 数据中心总体规划 . 16四、 云数据中心建设规划 . 194.1 资源池规划 . 204.2 资源池规划内容 . 224.3 虚拟化软件选型规划 . 254.4 云管理平台建设规划 .

2、 264.5 数据中心统一管理平台规划 . 29五、 大数据建设规划 . 315.1 大数据平台规划 . 315.2 大数据架构介绍 . 365.3 新型分布式处理技术基础 . 375.4 分布式文件系统 . 375.5 MapReduce 计算框架 . 385.6 数据管理与分析 . 405.7 分布式数据库 . 405.8 Hive 数据仓库 . 415.9 大数据调优服务 . 41六、 高性能建设规划 . 446.1 高性能平台建设内容 . 446.2 高性能平台总体性能要求 . 446.3 节点配置详解 . 456.3.1 计算节点（大数据 DataNode 节点） . 456.3.2

3、 GPU节点 . 456.3.3 八路胖节点 . 466.3.4 管理节点（ NameNode节点） . 476.3.5 IO 节点（ JobTracker 、TaskTracker 节点） . 476.3.6 存储系统 . 486.3.7 计算网络 . 486.3.8 TSDM 集群部署软件介绍 . 536.3.9 备份还原软件介绍 . 556.3.10 集群并行环境介绍 . 56七、 机房建设规划 . 57八、 方案配置清单 . 58一、 项目概述1.5 建设背景遍布全球的互联网络正在无时无刻、 无所不在地渗透到人们工作、 生活和学习中，成为推动社会发展的强大动力。在商业化的世界中，众多企

4、业正在把自己转变成一种称为“数字神经系统”的新型组织，让企业能够以数字神经系统的方式对内部业务流程、知识共享和网络商务进行整合，快速响应全球化的竞争。高校不仅承担着人才培养的重任， 还承担了一些前沿科技和技术的研究。 同样，作为培养和造就新世纪人才的教育系统和学校，也面临同样的社会环境变化趋势。然而，很多学校却明显落在了互联网络时代的后面，尽管学校已经采用了一些先进的设备和工具，但是还在沿用千百年来的传统教学方法和管理模式。电化教学设备、电脑乃至校园网都变成了利用率很低的简单摆设，真正起决定性变化的管理和教学的方法和模式却没有随着社会发展的大趋势进行相应变革。面对知识全球化和民族素质提高的教育

5、要求，以及一系列的教育市场化竞争的挑战，“数字化校园”正在日臻成熟并发挥越来越重要的作用。“数字化校园” 的目标就是为了使校园的使用者可以更有效的利用校园来开展教学、科研活动并更方便快捷地进行学习、生活。因此校园的主人：学生教师管理人员就成为数字化校园的服务对象，他们的主要校园活动：教学科研管理生活就成为数字化校园的内容主体。 “数字化校园” 的目标用一个词来表示就是服务” ，为学生、教师、管理人员提供更好的服务就是数字化校园的宗旨。目前云计算、互联网 +、大数据分析、移动和物联网发展迅猛，数以亿计的用户通过互联网服务时时刻刻都产生大量的交互， 这些交互通过手持设备、 RFID、无线传感器产生

6、大量的数据， IDC 预计到 2020 年全球数据将增加到 35ZB（1ZB=1024EB、1EB=1024PB），是2009 年的 45 倍，其中 80%以上为非结构化数据。这些需要处理的数据量越来越大、增长迅猛，而业务需求和竞争压力对数据处理的实时性、有效性又提出来更高的要求，常规的数据库技术手段根本无法应付与处理。由此而生产了 Big Data 技术来处理此类问题。大数据技术将是IT 领域新一代的技术与架构，他将帮助人类从大量、复杂的数据中提取价值，它可以帮助决策者在储存的海量信息中挖掘出需要的信息，并且对这些信息进行分析研究，从而发现重要的趋势信息。因此大数据的有效管理和挖掘将成为未来

7、竞争和增长的基础，并日益成为企业的生产要素和战略资产，预计也将带来新一轮生产率的提升和消费者体验改善，类似工业革命的大数据时代已经来临，我们有理由相信未来大数据的产业规模将会至少以万亿美元来进行衡量。大数据将给 IT 行业开拓一个新的黄金时代， 作为成都重要的高校我们有义务在这些前沿科技上做出对人类、社会、四川、成都有帮助的研究并造福人类、造福四川和成都。云计算是一种新型的信息资源管理和计算服务模式， 是继大型计算机、 个人电脑、互联网之后信息产业的一次革命。云计算可将分散的计算、存储、服务资源有机整合起来管理和服务，转变了传统 IDC 运行管理理念，是未来计算的发展方向。云计算以其资源动态分

8、配、按需服务的设计理念，具有低成本解决海量信息处理的独特魅力。 云计算+大数据将会为现有的数据中心增加可用性特点能高效地、安全地运营；另一方面，并能降低数据中心的能源消耗和运行成本；我们对云计算的理解是：云计算一种基于网络的支持异构设施和资源流转的服务供给模型，它提供给客户可自治的服务，实现资源的按需分配、按量计费。云计算导致资源规模化，促进分工的专业化，使得资源供应商和用户都更加关注于自己的业务，有利于降低单位资源成本，促进全社会的开拓创新。浪潮从事教育行业已经有数十年经验， 致力于帮助教育用户提供一体化的数字化校园解决方案，在教育行业有数量众多的成功案例，浪潮承诺站在用户角度，寻求最为合理

9、的解决方案，最大限度满足客户需求。1.6 建设目标本次建设目标为： 利用云计算技术打造 XXX高校大数据分析、 高性能应用等高校科研基础平台。云计算资源中心建设后，将包括校园云计算虚拟化中心、大数据分析、和高性能计算中心，并为此三个中心提供统一管理平台。通过云计算资源中心的建设，物理资源将被组织起来统一调配和供应，提供给学校各学院、部门、教师及学生使用。 并且通过云数据中心为学校提供大数据分析和高性能计算服务。通过资源集中化，资源的共享得以实现，应用在资源之间的迁移也成为可能。当资源集中后，对于相同资源进行管理的代价将大幅度降低，而资源的使用率将成倍提升。从而解决数据中心当前面临的问题， 更有

10、效的推动信息化的发展。基于云计算的大数据和高性能中心建设目标主要有以下几个方面：1、资源纬度集约化。通过虚拟化方式，为各学院、部门和师生提供基础计算服务和数据存储。2、数据纬度一体化。方便数据共享，为大规模数据整合和交换提供可能。3、管理纬度服务化。利用云计算方式，实现基础软硬件资源的统一管理、按需分配、综合利用，降低各部门系统建设成本和日常运行维护费用。高校数字校园云计算平台建设着重点为：提供 IAAS服务的服务器虚拟化中心，提供校园师生教学办公用的校园云盘中心和提供高性能计算服务的高性能计算中心。建设完成后的高校云计算平台实现以下功能：1、建设服务器虚拟化中心；为学校各大业务平台提供 IA

11、AS服务， 以虚拟服务器的方式为校园各大业务平台提供业务支撑服务；2、建设大数据分析； 为前沿的大数据分析和研究提供服务，为部分在校学生课题提供服务；3、建设校园高性能计算中心； 为学校一些需要进行高性能计算的部门提供高性能计算基础平台，为业务部门高性能计算需求提供服务；4、建设云计算中心统一管理平台；为校园云计算中心中的业务云平台、 大数据分析系统、高性能计算中心提供统一的管理平台，为不同管理用户和业务用户提供统一入口；5、通过建设云计算平台， 学校实现对资源的大集中统一管理并提升整体计算能力；通过虚拟化技术提高资源利用率，避免重复建设，节约整体成本。1.7 建设原则结合本项目的实际应用和发

12、展要求，在进行云计算 +大数据+高性能平台方案设计过程中，应始终坚持以下原则：（1）可扩展性原则为了保护已有的投资以及不断增长的业务需求，系统必须具有灵活的结构并留有合理的扩充余地，以便根据需要进行适当的变动和扩充；主要业务平台系统应采用开放的结构，符合国际标准、工业标准和行业标准，适应技术的发展和变化。（2）合理性原则在一定的资金条件下，以适当的投入，建立性能价格比高的、先进的、完善的业务系统。所有软硬件的选型和配置要坚持性能价格比最优原则，同时兼顾与已有设备和系统的互联互通能力，以及与目前操作系统和应用系统的兼容性。在满足系统性能、 功能以及考虑到在可预见的未来不失去先进性的条件下，尽量取

13、得整个系统的投入合理性，以构成一个性能价格比优化的应用系统。系统架构的设计应尽可能地运用虚拟化、云计算等新技术，以符合未来的技术发展方向。这种设计方法可以最大化地利用投资，并在利用率、管理、能源等各方面提高用户投资的效率，降低总体拥有成本，减少浪费的发生。结合新技术的运用，也可以让各应用系统更好地融入未来整体 IT 建设规划中，避免发生推到重建的现象，从而更好地保护学校在信息系统上的投入。（3）可靠性原则系统要具有高可靠性及强大的容错能力。 该系统必须保证 7 24全天候不间断地工作，核心设备比如数据库服务器和存储设备具有全容错结构，并具有热插拔功能，可带电修复有关故障而不影响整个系统的工作，

14、设计应保持一定数量的冗余以保证整体系统的高可靠性和高可用性。即便是在系统建设初期也要着重考虑系统可用性、可靠性问题，防止出现系统停顿等问题造成信息系统的中断服务。通过结合云计算等新技术， 可以更好地提高系统的可靠性和可用性。（4）可管理性原则选择基于国际标准和开放的技术，采用标准化、规范化设计；同时采用先进的设备，易于日后扩展，便于向更新技术的升级与衔接，实现系统较长的生命力；保证在系统上进行有效的开发和使用，并为今后的发展提供一个良好的环境；在设计、组建中心机房系统时， 采用先进的、 标准的设备； 在选购服务器、存储和连接设备时，选用同一家公司的系列产品，确保系统部件间的严密配合和无缝联接，

15、并获得良好的售后服务和技术支持；整个系统建成后按照整理一套完整的文档资料，以便提高整个系统的可管理性与可维护性。1.8 云平台技术打造高校数字化校园优势通过建立云计算平台，通过服务的方式交付对物理硬件的需求，代替传统硬件设备跟随着应有系统的增加而增加的模式，对现有应用系统进行整合，实现IT 服务的快速交付，节能响应国家号召，提升业务系统安全。1、合理利用硬件资源，减少运行消耗云计算平台可将服务器物理资源转换成池化的可动态分配的计算单元，从学校业务具体需求出发， 在资源池中划分出适合具体业务需要的服务计算单元，不再受限于物理上的界限，从而提高资源的利用率，简化系统管理，让信息化建设对学校业务工作

16、的变化更具适应力，从而构建出信息系统平台的基础。云平台建成后，可减少物理服务器数量至原有数量的一半以上，机房空间占用面积大大减少，机房相应配套设施建设也可能够相应减少，在实际工作中预计可节省能源达到 70%以上，响应国家节能减排的要求。2、增强业务部署速度，提高即时响应能力云平台能够对学校业务系统提出的建设需求做到快速响应、快速部署，部署更新工作时间由原来数天或数星期缩短为只需几分钟即可完成。如果总资源池中的硬件计算资源告急，只需要添加相应的物理服务器，简单的将新购的服务器部署到资源池集群中，云平台会根据整体资源池的动态资源平衡来自动分配新增加的计算资源给应用程序，真正的实现新服务器的即插即用。3、完善应急安全机制云平台可以自动监控资源池中计算单元和应用单元的可用性，检测物理服务器故障，如果检测到故障，可重新在资源池中其他物理服务器上重新启动相关业务，整个过程无需人工干预。通过专线光纤将同城异地的两个云平台连接起来，既可形成一个稳定的基于云平台技术的容灾系统。 可以实现应用级数据备份和业务系统的应用级容灾，容灾系统切换时间可以实现分钟级，并且能进行容灾演练操作。4、提供便捷的管理运维方式。云平台可以通过一个统一的管理平台，来进行对平台中运行的各项业务设立不同权限的管理账号，根据工作需要设置不同的管理权限，并可通过其管理日志追溯操作过程。还可以通过在平台上安装第